Stellen Sie sich vor, Sie versuchen, einen riesigen, 100-seitigen Mystery-Roman zu lösen, aber Sie haben nur Zeit, um ein paar Seiten zu lesen. Sie wollen wissen: „Wenn ich den Großteil des Buches wegwerfe, werde ich das Rätsel trotzdem noch lösen können?“ Das ist die Art von Frage, die Wissenschaftler, die „denkende Maschinen“ (genannt Large Language Models) bauen, nachts wachhält. Diese Maschinen werden darauf trainiert, riesige Mengen an Text zu lesen, aber wenn der Text länger wird, werden sie manchmal verwirrt oder vergessen wichtige Details. Um dies zu beheben, schlagen einige Experten eine einfache Idee vor: „Weniger ist mehr.“ Sie denken, wenn wir einfach die langweiligen, irrelevanten Teile einer langen Geschichte herauscuten, bevor wir sie der Maschine zeigen, könnte die Maschine tatsächlich besser arbeiten, weil sie nicht durch das Rauschen abgelenkt wird.

Aber hier ist der knifflige Teil: Wie testen Sie, ob „weniger mehr ist“, ohne versehentlich die Hinweise wegzuwerfen? Wenn Sie einfach eine Schere nehmen und die Mitte des Buches herausschneiden, könnten Sie versehentlich genau die Seite herausschneiden, auf der der Detektiv den Namen des Mörders findet. Wenn die Maschine dann nicht in der Lage ist, das Rätsel zu lösen, liegt es daran, dass das Buch zu kurz war? Oder liegt es einfach daran, dass Sie die Antwort weggeworfen haben? Dieses Paper taucht genau in diese Verwirrung ein und versucht herauszufinden, ob Long-Context-Modelle tatsächlich schlechter werden, weil der Text lang ist, oder ob sie nur scheitern, weil wir sie auf eine Weise testen, die die Antworten verbirgt.

Das große „Mitte-rausschneiden“-Experiment

In der Welt der KI-Forschung gibt es eine populäre Theorie, dass kürzere Prompts besser sind. Die Idee ist, dass man ein Modell mit einer massiven Textwand füttert und es dadurch von „Distraktoren“ überwältigt wird – langweiligen, irrelevanten Wörtern, die nicht helfen, das Problem zu lösen. Deshalb begannen Forscher, dies zu testen, indem sie lange Geschichten nahmen und die mittleren Abschnitte herausschnitten, um zu sehen, ob die Modelle mit den kürzeren Versionen besser abschnitten.

Das Problem, wie dieses Paper aufzeigt, ist, dass diese „straightforward“ Art des Schneidens wie ein Spiel von „Nägel den Esel an die Wand“ mit verbundenen Augen ist. Man trifft vielleicht den Esel, oder man trifft die Wand. In vielen dieser Tests enthält die „Mitte“ der Geschichte tatsächlich die entscheidenden Hinweise, die benötigt werden, um die Frage zu beantworten. Als die Forscher die Mitte der Geschichte herausschnitten, entfernten sie nicht nur Ablenkungen; sie löschten versehentlich den Lösungsschlüssel.

Der Autor dieses Papers beschloss, einen faireren Test durchzuführen. Er nahm vier verschiedene Long-Context-Benchmarks (was im Grunde standardisierte Tests für KI sind) und führte sie auf vier verschiedenen KI-Modellen aus (drei aus der „Claude“-Familie und eines von „GPT“). Er testete diese Modelle auf vier verschiedenen Ebenen des „Gedächtnisses“: dem Behalten von 100 % des Textes, 75 %, 50 % und einem winzigen 25 %.

Er führte den Test für jede einzelne Frage zweimal durch:

1. Die „Straightforward“-Methode: Schneide einfach die Mitte des Textes heraus, ungeachtet dessen, was darin enthalten ist.
2. Die „Distraktor-bewusste“ Methode: Zuerst nutzten sie einen intelligenten Filter, um genau zu finden, welche Sätze das „Signal“ (die Hinweise, die zur Lösung des Puzzles benötigt werden) enthielten und welche nur „Distraktoren“ (Füllmaterial) waren. Dann schnitten sie nur das Füllmaterial heraus, um sicherzustellen, dass die Hinweise sicher und unversehrt blieben.

Die schockierenden Ergebnisse

Die Ergebnisse waren dramatisch, fast so, als würde man einen Zaubertrick beobachten, bei dem derselbe Kartentrick perfekt funktioniert, wenn man ihn auf eine Weise macht, aber kläglich scheitert, wenn man ihn auf eine andere Weise macht.

Als sie die „Straightforward“-Methode verwendeten (das Ausschneiden der Mitte):
Die KI-Modelle brachen zusammen und verbrannten. Als der Text kürzer wurde, sanken ihre Scores drastisch.

• Für das „Haiku“-Modell beim BABILong-Test sank der Score um 0,138.
• Für das „Sonnet“-Modell sank er um 0,175.
• Für das „Opus“-Modell stürzte er um 0,433 ab.
• Für das „GPT-5.5“-Modell stürzte er massiv um 0,613 ein.

Es sah so aus, als wäre die alte Theorie falsch: „Kurzer Kontext schadet!“ Die Modelle schienen den vollen, langen Text zu benötigen, um zu funktionieren.

Aber dann wechselten sie zur „Distraktor-bewussten“ Methode (die Hinweise sicher bewahren):
Plötzlich drehte sich die Geschichte komplett. Als die Modelle die gleiche Menge an Text erhielten (25 % des Originals), aber die Hinweise sorgfältig bewahrt wurden, änderten sich die Ergebnisse völlig.

• Die Haiku- und Sonnet-Modelle wurden tatsächlich besser. Ihre Scores stiegen um +0,083 bzw. +0,104. Sie lösten mehr Puzzles mit weniger Text, weil sie nicht durch das Rauschen abgelenkt wurden.
• Die Opus- und GPT-5.5-Modelle wurden nicht besser, aber sie wurden auch nicht schlechter. Sie blieben auf ihrem Top-Leistungsniveau, was bewies, dass sie den zusätzlichen Text nicht brauchten, solange die wichtigen Hinweise vorhanden waren.

Was das eigentlich bedeutet

Das Paper offenbart eine sehr wichtige Wahrheit: Die „straightforward“ Art des Testens (einfach die Mitte herausschneiden) maß gar nicht, wie gut die KI mit langem Text umgeht. Es maß lediglich, wie oft die Forscher versehentlich die Antwort weggeworfen hatten.

In den „Straightforward“-Tests, auf dem 25 %-Retention-Level, erhielten die Modelle in weniger als 1 % der Fälle beim BABILong-Test die Antwort. Man bat sie, ein Rätsel zu lösen, ohne den Namen des Verdächtigen zu kennen. Kein Wunder, dass sie scheiterten!

Aber in den „Distraktor-bewussten“ Tests wurden die Hinweise zu 100 % der Zeit bewahrt. Und als die Hinweise da waren, konnten die Modelle die Puzzles problemlos lösen, selbst mit einem winzigen Bruchteil des ursprünglichen Textes.

Das Fazit

Diese Studie sagt nicht, dass „weniger immer mehr ist“. Sie sagt, dass „weniger mehr ist“ nur dann, wenn man klug genug ist zu wissen, was man behalten muss. Wenn man einfach wahllos einen langen Dokument zerschneidet, wird man höchstwahrscheinlich die Informationen zerstören, die die KI benötigt. Aber wenn man in der Lage ist, das „Signal“ (die wichtigen Fakten) zu identifizieren und die „Distraktoren“ (das langweilige Zeug) zu entfernen, dann kann ein kürzerer Prompt kleinerer KI-Modelle tatsächlich helfen, besser zu performen, und er wird die größeren Modelle nicht beeinträchtigen.

Der Autor kommt zu dem Schluss, dass zukünftige Studien viel vorsichtiger sein müssen. Man kann nicht einfach sagen, dass „kurzer Kontext schlecht ist“, basierend auf einem Test, der versehentlich die Antworten löscht. Man muss sicherstellen, dass man das Richtige testet. Wenn wir bessere KI-Systeme bauen wollen, die lange Bücher lesen können, müssen wir aufhören, die Bücher blind zu zerstückeln, und statfangen zu lernen, wie man zuerst die guten Teile findet.