Positional Failures in Long-Context LLMs: A Blind Spot in Reasoning Benchmarks
Dieser Artikel legt eine kritische Lücke in Benchmarks für das Schlussfolgern in langen Kontexten offen, indem er zeigt, dass gängige Evaluierungen die Aufgabenposition nicht kontrollieren, was zu signifikanten Leistungseinbußen führt, wenn Aufgaben aufgrund von Störungen durch Füllmaterial in die Mitte langer Kontexte platziert werden, und schlägt das Framework „Context Rot Evaluation" (CRE) vor, um diese strukturelle Blindecke zu adressieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Das „Mittelsitz"-Problem
Stellen Sie sich vor, Sie bitten einen sehr klugen Schüler, eine Matheaufgabe zu lösen. Sie geben ihm ein massives Lehrbuch (den „Kontext"), das 64.000 Seiten lang ist.
- Der alte Weg: Wenn Sie die Matheaufgabe auf die allerletzte Seite des Buches stellen, löst der Schüler sie fast jedes Mal richtig.
- Die neue Entdeckung: Dieses Paper zeigt, dass sich der Schüler plötzlich nicht mehr daran erinnert, wie man die Aufgabe löst, wenn man dieselbe Matheaufgabe in die Mitte des Buches verschiebt. Seine Leistung kann von 96 % richtigen Antworten auf nur noch 8 % einbrechen.
Die Autoren nennen dies „Positionsversagen". Sie argumentieren, dass wir zwar hervorragende Tests haben, um zu prüfen, ob ein Schüler eine bestimmte Tatsache in einem Buch finden kann (wie die „Nadel im Heuhaufen"-Aufgabe), wir aber nicht getestet haben, ob er in der Lage ist, ein Problem zu lösen, wenn es in der Mitte eines langen Textes begraben liegt.
Die Untersuchung: Prüfung der Tests
Die Forscher agierten wie Detektive und untersuchten 11 beliebte „Long-Context"-Tests, die zur Bewertung von KI-Modellen verwendet werden.
- Das Ergebnis: Keiner dieser Tests kontrolliert, wo die Frage platziert ist. Sie verwenden einfach natürliche Dokumente, bei denen die Frage zufällig am Anfang, in der Mitte oder am Ende steht.
- Der Anbieter-Check: Sie untersuchten auch die offiziellen „Zeugnisse" (Model Cards) von vier großen KI-Firmen (DeepSeek, MiMo, Kimi, GLM).
- Das Ergebnis: Diese Firmen zeigen ihre Ergebnisse bei Coding- und Agent-Aufgaben (wie „Können Sie ein Programm schreiben?") stolz in großen, fetten Tabellen.
- Der Blindfleck: Sie zeigen fast nie ihre Ergebnisse für „positionsgesteuertes Schlussfolgern". Sie verschweigen, dass ihre Modelle katastrophal versagen könnten, wenn eine Frage in der Mitte eines langen Dokuments steht.
Das Experiment: Der „Context Rot"-Test
Um zu beweisen, dass dies kein Zufall war, entwickelten die Autoren einen neuen Test namens CRE (Context Rot Evaluation). Stellen Sie sich dies als Belastungstest für die Aufmerksamkeitsspanne der KI vor.
Sie nahmen zwei Arten von Fragen:
- Matheaufgaben (GSM8K)
- Wissenschaftliche Multiple-Choice-Fragen (ARC-Challenge)
Anschließend erstellten sie drei verschiedene „Hintergrundrauschen"-Szenarien (Füllinhalte), um zu sehen, was die KI ablenkte:
- Der „Hausaufgaben-Helfer" (with_solutions): Der Hintergrundtext enthielt andere Matheaufgaben mit ausformulierten Lösungen.
- Die „unbeantworteten Fragen" (questions_only_v2): Der Hintergrundtext enthielt andere Matheaufgaben ohne Lösungen.
- Das „zufällige Rauschen" (neutral_text): Der Hintergrundtext bestand einfach aus zufälligen Wikipedia-Artikeln über Katzen und Geschichte.
Sie testeten 9 verschiedene KI-Modelle bei drei verschiedenen „Buchlängen": 8K, 32K und 64K Tokens.
Die schockierenden Ergebnisse
Die Ergebnisse zeigten, dass einige Modelle unglaublich zerbrechlich sind, während andere robust sind.
1. Der „Mittelsitz"-Absturz
Bei einigen Modellen (wie MiMo-v2-Flash) führte das Verschieben der Frage vom Ende des Buches in die Mitte zu einem massiven Leistungsabfall.
- Bei einer Länge von 64K mit „Hausaufgaben-Helfer"-Rauschen sank das Modell um 88 Prozentpunkte. Es ging von einem Genie (96 % Genauigkeit) auf ein knappes Bestehen (8 % Genauigkeit) zurück, nur weil die Frage in die Mitte gerückt war.
- Warum? Das Paper fand heraus, dass das Modell, wenn es in der Mitte versagte, oft die falsche Antwort aus dem Hintergrundrauschen kopierte. Es war, als würde der Schüler durch die anderen Hausaufgaben verwirrt werden, die neben der Hauptaufgabe lagen.
2. Die „immunen" Modelle
Nicht alle Modelle versagten. DeepSeek-V3.2 war bei „Hausaufgaben-Helfer"-Rauschen fast immun gegen dieses Problem. Es löste die Frage richtig, egal ob sie am Ende oder in der Mitte stand. Allerdings begann selbst dieses starke Modell zu kämpfen, wenn das Rauschen aus „unbeantworteten Fragen" bestand.
3. Die „neueren" Modelle
Die Autoren testeten vier brandneue, aktualisierte Modelle derselben Firmen.
- Gute Nachricht: Sie wurden etwas besser im Umgang mit „Hausaufgaben-Helfer"-Rauschen in der Mitte.
- Schlechte Nachricht: Sie hatten immer noch große Schwierigkeiten mit „unbeantworteten Fragen" in der Mitte. Das Problem wurde nicht behoben; es hat sich nur verändert.
Der „Zauberkunststück"-Diagnosetest
Um zu beweisen, dass es wirklich um die Position ging und nicht einfach darum, dass das Modell „dumm" ist, führten die Forscher einen Trick durch.
- Sie stellten die Matheaufgabe in die Mitte (wo das Modell normalerweise versagt).
- Dann kopierten und fügten sie dasselbe Problem exakt am Ende des Buches ein.
- Ergebnis: Plötzlich bekam das Modell die Antwort wieder richtig!
Dies beweist, dass das Modell weiß, wie man das Problem löst. Es kann es nur nicht finden oder sich nicht darauf konzentrieren, wenn es in der Mitte begraben ist. Es ist wie eine Person, die ein Rätsel lösen kann, wenn es auf ihrem Schreibtisch liegt, aber wenn man es unter einem Stapel Papier versteckt, vergisst sie, dass sie es hat.
Das Fazit
Das Paper kommt zu dem Schluss, dass die derzeitige Art, KI zu testen, kaputt ist.
- Die Lücke: Wir testen KI nur an den „Rändern" langer Dokumente (wo sie gut abschneidet). Wir ignorieren die „Mitte", wo sie oft versagt.
- Das Risiko: Wenn ein Unternehmen sagt: „Unsere KI ist bei langen Dokumenten zu 95 % genau", aber sie haben nur die Fragen am allerEnde getestet, ist diese Zahl irreführend. Die KI könnte für reale Aufgaben nutzlos sein, bei denen die wichtigen Informationen in der Mitte begraben sind.
Kurz gesagt: Nur weil eine KI ein langes Buch lesen kann, bedeutet das nicht, dass sie die Antwort in der Mitte finden kann. Wir müssen beginnen, die „Mitte" zu testen, um ein wahres Bild davon zu bekommen, wie intelligent diese Modelle wirklich sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.