Positional Failures in Long-Context LLMs: A Blind Spot in Reasoning Benchmarks
Dit artikel blootst een kritieke kloof in benchmarks voor redeneren met lange contexten door aan te tonen dat gangbare evaluaties geen rekening houden met de taakpositie, wat leidt tot aanzienlijke prestatiedalingen wanneer taken in het midden van lange contexten worden geplaatst als gevolg van interferentie door opvulmateriaal, en stelt het Context Rot Evaluation (CRE)-kader voor om dit structurele blinde punt aan te pakken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Idee: Het "Middenzitje"-probleem
Stel je voor dat je een zeer slimme student vraagt een wiskundeprobleem op te lossen. Je geeft hen een enorme leerboek (de "context") van 64.000 pagina's lang.
- De Oude Manier: Als je het wiskundeprobleem op de allerlaatste pagina van het boek zet, krijgt de student het bijna elke keer goed.
- De Nieuwe Ontdekking: Dit paper ontdekte dat als je datzelfde wiskundeprobleem naar het midden van het boek verplaatst, de student plotseling vergeet hoe het probleem op te lossen. Hun prestaties kunnen instorten van 96% correct naar slechts 8% correct.
De auteurs noemen dit "Positiefel". Ze betogen dat we, hoewel we uitstekende tests hebben om te controleren of een student een specifiek feit in een boek kan vinden (zoals "Een Naald in een Hooiberg"), we niet hebben getest of ze een probleem kunnen redeneren wanneer het begraven ligt in het midden van een lange tekst.
Het Onderzoek: Het Auditeren van de Tests
De onderzoekers traden op als detectives en keken naar 11 populaire "lange-context"-tests die worden gebruikt om AI-modellen te beoordelen.
- De Bevinding: Geen van deze tests controleert waar de vraag wordt geplaatst. Ze gebruiken gewoon natuurlijke documenten waarbij de vraag per toeval aan het begin, in het midden of aan het einde staat.
- De Leverancierscheck: Ze keken ook naar de officiële "rapporten" (modelkaarten) van vier grote AI-bedrijven (DeepSeek, MiMo, Kimi, GLM).
- Het Resultaat: Deze bedrijven tonen trots hun scores voor codering en agent-taken (zoals "kun je een programma schrijven?") in grote, vetgedrukte tabellen.
- Het Blinde Vlekje: Ze tonen bijna nooit hun scores voor "positiegecontroleerd redeneren". Ze verbergen het feit dat hun modellen mogelijk hopeloos falen wanneer een vraag in het midden van een lang document staat.
Het Experiment: De "Contextrot"-test
Om te bewijzen dat dit niet zomaar een toevalstreffer was, bouwden de auteurs een nieuwe test genaamd CRE (Context Rot Evaluation). Denk hierbij aan een stress-test voor de aandachtsspanne van de AI.
Ze namen twee soorten vragen:
- Wiskundeproblemen (GSM8K)
- Wetenschappelijke meerkeuzevragen (ARC-Challenge)
Vervolgens creëerden ze drie verschillende "achtergrondruis"-scenario's (opvulinhoud) om te zien wat de AI afleidde:
- De "Huiswerkassistent" (with_solutions): De achtergrondtekst bevatte andere wiskundeproblemen met hun uitgewerkte antwoorden.
- De "Onbeantwoorde Vragen" (questions_only_v2): De achtergrondtekst bevatte andere wiskundeproblemen zonder antwoorden.
- De "Willekeurige Ruis" (neutral_text): De achtergrondtekst bestond uit willekeurige Wikipedia-artikelen over katten en geschiedenis.
Ze testten 9 verschillende AI-modellen op drie verschillende "boeklengtes": 8K, 32K en 64K tokens.
De Schokkende Resultaten
De resultaten toonden aan dat sommige modellen ongelooflijk fragiel zijn, terwijl anderen taai zijn.
1. De "Middenzitje"-instorting
Voor sommige modellen (zoals MiMo-v2-Flash) veroorzaakte het verplaatsen van de vraag van het einde van het boek naar het midden een enorme daling in prestaties.
- Bij een lengte van 64K met "Huiswerkassistent"-ruis, daalde het model met 88 procentpunten. Het ging van een genie (96% nauwkeurigheid) naar nauwelijks slagen (8% nauwkeurigheid), alleen omdat de vraag naar het midden was verplaatst.
- Waarom? Het paper vond dat wanneer het model faalde in het midden, het vaak het verkeerde antwoord uit de achtergrondruis overnam. Het was alsof de student verward raakte door de andere huiswerkproblemen die naast de hoofdvraag zaten.
2. De "Immune" Modellen
Niet alle modellen faalden. DeepSeek-V3.2 was bijna immuun voor dit probleem wanneer de ruis "Huiswerkassistenten" was. Het kreeg de vraag goed, of deze nu aan het einde of in het midden stond. Echter, wanneer de ruis "Onbeantwoorde Vragen" was, begon zelfs dit sterke model te worstelen.
3. De "Nieuwere" Modellen
De auteurs testten vier gloednieuwe, opgewaardeerde modellen van dezelfde bedrijven.
- Goed Nieuws: Ze werden iets beter in het hanteren van de "Huiswerkassistent"-ruis in het midden.
- Slecht Nieuws: Ze worstelden nog steeds ernstig met "Onbeantwoorde Vragen" in het midden. Het probleem was niet opgelost; het had alleen van vorm veranderd.
De "Magische Truc"-diagnose
Om te bewijzen dat dit echt over positie ging en niet gewoon over het model dat "dom" was, deden de onderzoekers een truc.
- Ze plaatsten het wiskundeprobleem in het midden (waar het model meestal faalt).
- Vervolgens kopieerden en plakten ze het exacte probleem aan het zeer einde van het boek.
- Resultaat: Plotseling kreeg het model het antwoord weer goed!
Dit bewijst dat het model weet hoe het probleem op te lossen. Het kan het gewoon niet vinden of erop focussen wanneer het begraven ligt in het midden. Het is als een persoon die een puzzel kan oplossen als deze op zijn bureau ligt, maar als je het onder een stapel papieren verbergt, vergeet hij dat hij het heeft.
De Conclusie
Het paper concludeert dat de huidige manier waarop we AI testen, gebroken is.
- Het Gaping: We testen AI alleen op de "randen" van lange documenten (waar ze goed presteren). We negeren het "midden", waar ze vaak falen.
- Het Risico: Als een bedrijf zegt: "Onze AI is 95% accuraat op lange documenten", maar ze hebben alleen de vragen aan het zeer einde getest, dan is dat getal misleidend. De AI kan nutteloos zijn voor real-world taken waarbij de belangrijke informatie begraven ligt in het midden.
Kortom: Alleen omdat een AI een lang boek kan lezen, betekent niet dat het het antwoord in het midden ervan kan vinden. We moeten beginnen met het testen van het "midden" om een echt beeld te krijgen van hoe slim deze modellen echt zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.