💻 computer science

Understanding Axes of Difficulty For Long Context Tasks Via PredicateLongBench

Dit artikel introduceert PredicateLongBench, een nieuwe benchmark die is ontworpen om de langetermijncontext-capaciteiten van grote taalmodellen systematisch te evalueren door hun prestaties te testen over meerdere moeilijkheidsgraden via de identificatie van woordsubsequenties die aan specifieke predicaten voldoen, waarbij zowel synthetische als real-world generatiepipelines worden gebruikt om de huidige beperkingen van modellen te onthullen.

Oorspronkelijke auteurs: Siddhartha Jain, Ameya Velingker

Gepubliceerd 2026-07-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Siddhartha Jain, Ameya Velingker

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotbibliothecaris hebt gebouwd die een bibliotheek ter grootte van een kleine stad kan lezen in de tijd die het kost om met je ogen te knipperen. Iedereen juicht en zegt: "Wauw, deze robot kan elk boek aan!" Maar de auteurs van dit artikel, Siddhartha Jain en Ameya Velingker, besloten hun detectivehoed op te zetten en vroegen zich af: "Wacht eens even. Kan deze robot ook echt de specifieke pagina vinden die hij nodig heeft, of is hij gewoon aan het gokken?"

Ze bouwden een nieuw testterrein genaamd PREDICATELONGBENCH. Zie dit niet als een bibliotheek, maar als een gigantische, eindeloze lopende band van woorden. De taak van de robot is om een specifieke, verborgen trein van woorden op die band te vinden die aan een reeks geheime regels voldoet.

Het Spel: De Verborgen Trein Vinden

Het spel is simpel maar lastig. De lopende band zit vol met duizenden woorden. De robot krijgt een regel, zoals "Vind vijf woorden achter elkaar die in alfabetische volgorde staan" (zoals appel, banaan, kers, dadel, ei).

In de makkelijkste versie bestaat de band uit een lange lijst met willekeurige woorden, en zit er slechts één perfecte trein verstopt in de lijst. De robot moet hem alleen maar opsporen. Maar de auteurs realiseerden zich dat het vinden van de trein alleen niet genoeg is om te bewijzen dat de robot echt slim is. Ze wilden zien wat er gebeurt als ze het spel op specifieke manieren moeilijker maken.

De Moeilijkheidsgraad-draaiknop: De Temperatuur Verhogen

Het artikel suggereert dat de huidige "frontier" modellen (de slimste robots die we hebben) eigenlijk vrij fragiel zijn. Wanneer de auteurs de moeilijkheid op hun "moeilijkheidsgraad-draaiknop" hoger draaiden, zakte de prestatie van de robots niet alleen, maar stortte deze vaak volledig in naar bijna nul. Hier is hoe ze de temperatuur verhoogden:

De "Bijna-Goed"-vallen (Adversarial Decoys):
Stel je voor dat de lopende band een perfecte trein woorden heeft, maar dat er direct naast acht andere treinen staan die er bijna perfect uitzien. Ze zijn alfabetisch, behalve voor één kleine wisseling in het midden (zoals appel, kers, banaan, dadel, ei). Voor een mens is het makkelijk om de wissel te zien. Maar voor de robot zijn deze "bijna-goed" treinen als optische illusies. Het artikel vond dat wanneer deze vallen willekeurig over de band verspreid waren, zelfs de beste robots (zoals Opus 4.6) van een score van 97% naar slechts 7% zakten, en GPT-5.4 naar 5%. Het is alsof de robot zo verward raakte door de neptreinen dat hij vergat hoe hij moest lezen.
De "Zoekruimte"-val:
De auteurs testten of het uitmaakt hoeveel woorden er op de band staan, zelfs als de totale lengte van de tekst gelijk blijft. Ze maakten de woorden korter zodat ze 60.000 woorden op de band konden passen in plaats van 26.000, terwijl het totale aantal tokens gelijk bleef. Het is alsof je de letters op een pagina kleiner maakt zodat je er meer van kunt passen. Het resultaat? De nauwkeurigheid van de robot kelderde van 92% naar 10%. Deze specifieke daling trad echter op toen het model een enorme 128K output token budget kreeg om over het probleem na te denken, in plaats van het standaard 16K budget dat bij de meeste andere tests wordt gebruikt.
De "Universele" Vraag:
Normaal gesproken hoeft de robot alleen maar één juiste trein te vinden. De auteurs veranderden de regels door te vragen: "Vind alle juiste treinen en bewijs dat er geen andere zijn." Hoewel het antwoord nog steeds maar één trein was, moest de robot de gehele band controleren om er zeker van te zijn. Deze "universele" controle maakte de taak veel moeiliger, waardoor de nauwkeurigheid voor de meeste modellen aanzienlijk daalde.
De "Geclusterde" Aanwijzing:
Hier is een grappige wending. Toen de auteurs die verwarrende "bijna-goed" treinen bij elkaar klonterden in één hoek van de band (in plaats van ze te verspreiden), werden de robots plotseling weer heel goed in de taak! De nauwkeurigheid schoot weer omhoog naar 98%. Het lijkt erop dat robots moeite hebben wanneer de vallen overal verborgen zijn, maar als de vallen in een specifieke "gevarenzone" zitten, kunnen de robots hun aandacht richten en de taak oplossen.

Het Oordeel: Wie Is Geslaagd?

Het artikel mat de prestaties van verschillende topmodellen.

De Kampioenen: Het gesloten model Opus 4.6 was de duidelijke winnaar; het scoorde het hoogst op de meeste taken, vooral wanneer het zijn "redeneringsmodus" mocht gebruiken (langer nadenken). Zelfs dit model worstelde echter wanneer de moeilijkheidsgraad maximaal was.
De Moeilijke Klussen: De open-source modellen (de modellen die iedereen kan downloaden en draaien) faalden grotende most. Op de moeilijkste taken scoorden ze vaak 0%, wat betekent dat ze het antwoord helemaal niet konden vinden.
De "Denk"-factor: Het artikel mat dat het geven van de modellen meer "denktijd" (meer tokens voor redenering) hen enorm hielp. Maar zelfs met extra tijd konden ze niet volledig herstellen wanneer de "bijna-goed" vallen overal verspreid waren.

Wat Dit Papier Uitsluit

De auteurs argumenteren expliciet tegen het idee dat huidige modellen echt een begrip van lange context hebben beheerst.

Ze sluiten het idee uit dat perplexity (een veelgebruikte wiskundige score voor hoe goed een model tekst voorspelt) een goede maatstaf is voor lang-context vaardigheden. Ze suggeren dat een model een lage perplexity-score kan hebben, maar toch hopeloos kan falen bij het vinden van een speld in een hooiberg.
Ze sluiten het idee uit dat het simpelweg langer maken van de context de enige manier is om deze modellen te testen. Ze laten zien dat je de totale tekstlengte gelijk kunt houden, maar de zoektocht moeilijker kunt maken, en dat de modellen dan nog steeds zullen falen.
Ze beweren dat de "Needle in a Haystack" test (het vinden van één verborgen stukje informatie) te simpel is. Het test niet of het model in staat is om over het hele plaatje na te denken of complexe regels te hanteren.

Hoe Zeker Zijn Ze?

De auteurs zijn zeer zelfverzekerd over hun bevindingen omdat ze ze direct hebben gemeten. Ze hebben niet alleen geraden; ze hebben de modellen getest op 100 voorbeelden voor elk type taak (en 93 voor sommige open-source modellen). Ze zagen de cijfers consistent dalen over verschillende modellen en verschillende soorten vallen.

Ze beweren niet dat ze het probleem van lang-context AI hebben "opgelost". In plaats daarvan suggereren ze dat we betere manieren nodig hebben om deze robots te testen. Ze stellen voor dat de huidige generatie modellen als een student is die een heel boek kan uit het hoofd leren, maar de weg kwijtraakt als je vraat om een specifieke zin te vinden terwijl er andere vergelijkbare zinnen in de buurt verborgen zijn.

Kortom, het artikel suggereert dat hoewel onze AI-robots groter en sneller worden, ze nog steeds in de struikelblokken lopen bij eenvoudige trucjes wanneer de context echt lang en rommelig wordt. De auteurs hopen dat we, door precies te begrijpen waar en waarom ze falen, betere robots voor de toekomst kunnen bouwen.

Technische Samenvatting: PREDICATELONGBENCH

Probleemstelling

Hoewel Large Language Models (LLM's) een snel verbeterend lang-context vermogen hebben getoond, lijden bestaande evaluatiebenchmarks aan significante beperkingen. Huidige methoden, variërend van "Needle-in-a-Haystack" (NIAH) tests tot multi-hop redenering en samenvattingsopdrachten, meten voornamelijk de gemiddelde prestaties. Veel van deze benchmarks zijn ofwel verzadigd (waarbij modellen bijna perfecte scores behalen) of missen robuustheid. Cruciaal is er een systematische kloof in het begrip van hoe de prestaties van een model degraderen naarmate de moeilijkheid van lang-context taken wordt opgeschaald langs specifieke, gecontroleerde assen. Bovendien vertrouwen veel complexe benchmarks op door LLM gegenereerde contexten of judges, wat kan leiden tot mogelijke biases en circulaire redeneringen.

Methodologie: PREDICATELONGBENCH

Om deze hiaten aan te pakken, stellen de auteurs PREDICATELONGBENCH voor, een nieuwe familie van benchmarks die ontworpen is om lang-context redeneren te testen via algoritmisch eenvoudige maar uitdagende taken. De kernopdracht houdt in dat een model een lang contextvenster krijgt bestaande uit een door spaties gescheiden lijst met woorden, en vervolgens gevraagd wordt om de langste aaneengesloten subreeks van woorden te identificeren die voldoet aan een reeks gegeven predicaten of restricties.

Taakopzet

De benchmark definieert een taak door een lijst van predicaten $f_1, f_2, \dots, f_j$ . Het model moet de grootste $k$ identificeren waarvoor een aaneengesloten subreeks $w = (w_1, \dots, w_k)$ voldoet aan $f_i(w) = 1$ voor alle $i$ . De benchmark maakt gebruik van twee primaire predicaatklassen:

Unaire Predicaten: Afhankelijk van een enkel woord (bijv. prefix/suffix/string bevatting).
Binaire Predicaten: Afhankelijk van de relatie tussen twee woorden (specifiek lexicografische ordening waarbij $w_i \preceq w_{i+1}$ ).

Generatie Pipelines

De auteurs bieden twee complementaire generatie pipelines om robuustheid te garanderen:

Volledig Synthetisch: Gebruikt willekeurige, vaste-lengte strings (bijv. 8 of 12 tekens) die uniform worden getrokken uit het kleine Engelse alfabet. Dit maakt een precieze controle over de distributie mogelijk en zorgt ervoor dat er geen onbedoelde patronen bestaan.
Real-World: Samplet woorden uit natuurlijke documenten (gefilterd uit LongBench v2), waarbij de oorspronkelijke distributieve eigenschappen van natuurlijke taal behouden blijven terwijl artefacten die de taak triviaal zouden maken, worden verwijderd.

Assen van Moeilijkheid

De centrale innovatie van de benchmark is de systematische verkenning van meerdere assen om de taak moeilijkheid op te schalen zonder de taakcomplexiteit te verhogen of LLM-gebaseerde generatie te vereisen:

Computatie (Predicaat Ariteit): Opschalen van unair (onafhankelijke woordcontroles) naar binair (paargewijze relatiecontroles, bijv. lexicografische sortering).
Adversariële Afleiders (Decoys): Het introduceren van "near-miss" distractoren.
- Near-Miss: Het modificeren van een fractie van de woorden om aan predicaten te voldoen of het creëren van sequenties die gesorteerd zijn behalve één enkele verwisselde paren.
- Multi-List: Het creëren van geldige gesorteerde sequenties die sublijstgrenzen overschrijden, wat de restrictie schendt dat de oplossing binnen een enkele sublijst moet liggen.
Zoekruimte Grootte: Het vergroten van het aantal woorden in de context terwijl het totale aantal tokens gelijk blijft (door kortere woorden te gebruiken), waardoor de zoekruimte voor exacte algoritmen wordt vergroot.
Quantifier Complexiteit: Verschuiven van existentiële queries ("vind een sequentie") naar universele queries ("vind alle sequenties" of "vind de maximale lengte sequentie"), wat het model dwingt de gehele context te verifiëren.
Context Structuur: Het variëren van de ruimtelijke arrangement van afleiders (verspreid versus geclusterd) om navigatie in ongestructureerde versus gestructureerde ruimtes te testen.

Belangrijkste Bijdragen

PREDICATELONGBENCH Benchmark: Een suite van taken die algoritmisch eenvoudig zijn (vereisen geen LLM judges of generatoren) maar aanzienlijke uitdagingen vormen voor frontier modellen.
Systematische Moeilijkheidsassen: Een formele definitie en verkenning van assen van moeilijkheid (computatie, afleiders, zoekruimte, quantifiers, structuur) om de moeilijkheid op te schalen.
Empirische Inzichten: Demonstratie dat frontier modellen aanzienlijk worstelen naarmate de moeilijkheid opschaalt langs deze assen, wat specifieke beperkingen in huidige lang-context capaciteiten onthult.
Structuurgevoeligheid: Bewijs dat de ruimtelijke arrangement van informatie (verspreid versus geclusterd) de prestaties drastisch beïnvloedt, wat suggereert dat "moeilijkheid" in lang-context taken vaak een eigenschap is van de zoekruimte distributie in plaats van alleen de informatie-inhoud.

Resultaten

De auteurs evalueerden verschillende closed-source frontier modellen (GPT-5.4, Gemini 3.1, Opus 4.6, etc.) en open-source modellen (Qwen 3.5, GLM 5.1, Minimax 2.7) op de benchmark.

Baseline Prestaties: Closed-source modellen presteren over het algemeen goed op baseline unaire taken (bijv. ~90% accuratesse voor Opus 4.6). Echter, de prestaties dalen aanzienlijk voor binaire (lexicografische) taken, waarbij open-source modellen vaak volledig falen (bijna 0% accuratesse).
Impact van Moeilijkheidsassen:
- Quantifiers: Het schakelen van existentiële naar universele quantifiers veroorzaakt een uniforme crash in prestaties voor de meeste modellen, zelfs wanneer de antwoordset grootte effectief één blijft.
- Decoys: De introductie van verspreide near-sorted decoys leidt tot een catastrofale daling in accuratesse (bijv. Opus 4.6 daalt van ~97% naar <2% op lexicografische taken).
- Zoekruimte: Het vergroten van het aantal woorden (zoekruimte) terwijl het token aantal constant blijft, veroorzaakt een scherpe daling in prestaties (bijv. GPT-5.4 daalt van 92% naar 10%).
- Structuur: Het clusteren van decoys nabij de doelsequentie herstelt de prestaties naar bijna baseline niveaus, wat aangeeft dat de moeilijkheid voortkomt uit het navigeren door een grote, ongestructureerde zoekruimte in plaats van de decoys zelf.
Inference Compute: Prestaties zijn sterk gecorreleerd met het redeneerbudget (inference compute). Modellen met "hoge" redeneerinstellingen presteren beter dan die met "geen" of "lage" instellingen, hoewel zelfs high-reasoning modellen falen op de meest moeilijke varianten.
Foutmodi: Analyse suggereert dat modellen primair moeite hebben met het lokaliseren van de juiste sequentie in plaats van het reproduceren ervan. Falen betreft vaak het uitputten van het token budget of degeneratie naar het herhalen van de inputtekst.

Betekenis en Claims

Het artikel claimt dat PREDICATELONGBENCH een noodzakelijk instrument biedt voor het begrijpen van de beperkingen van huidige lang-context modellen. Door specifieke assen van moeilijkheid te isoleren, onthult de benchmark dat:

Huidige modellen zijn broos: Ze presteren goed bij eenvoudige retrieval maar falen snel bij adversariële distractoren, verhoogde zoekruimtes of complexe quantifier logica.
Context structuur doet ertoe: De "moeilijkheid" van lang-context taken is nauw verbonden met de ruimtelijke distributie van informatie; verspreide informatie is aanzienlijk moeilijker te verwerken dan geclusterde informatie.
Token aantal is onvoldoende: Prestatiedegradatie wordt gedreven door de zoekruimte grootte en structurele complexiteit, niet alleen door het ruwe aantal tokens.
Eenvoud is essentieel: De taken zijn conceptueel eenvoudig en vereisen geen LLM-gebaseerde generatie, wat hen een robuuste, niet-circulaire evaluatiemetriek maakt.

De auteurs concluderen dat hoewel frontier modellen veelbelovend zijn, ze de systematische navigatie door grote, ongestructureerde zoekruimtes die nodig is voor robuuste lang-context begrip nog niet beheersen. De benchmark biedt een pad om deze specifieke foutmodi te diagnosticeren en toekomstige modelontwikkeling te sturen.