💬 NLP

Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge

Dieses Paper führt das „Information Abundance Paradox“ ein und zeigt auf, dass das Training großer Sprachmodelle mit übermäßig langen Kontexten deren Fähigkeit untergraben kann, Wissen parametrisch zu verinnerlichen, was dazu führt, dass sie sich zu stark auf kontextuelle Hinweise verlassen und letztlich die Leistung bei Aufgaben reduziert, die eine Wissensabfrage ohne Unterstützung erfordern.

Ursprüngliche Autoren: Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

Veröffentlicht 2026-08-13

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, Geschichten zu schreiben oder Rätsel zu lösen. Lange Zeit glaubten Wissenschaftler, der beste Weg wäre es, dem Roboter eine riesige Bibliothek aus Büchern, Codes und Gesprächen zu füttern, in der Hoffnung, dass er durch das Lesen immer klüger wird. Dies ist die Welt der Large Language Models (LLMs), der Art von KI, die heute Chatbots und Schreibassistenten antreibt. Die große Idee, der alle nachgejagt sind, war der „Kontext“: dem Roboter ein riesiges Fenster zu geben, durch das er blicken kann. Anstatt nur einen Satz nach dem anderen zu lesen, kann der Roboter eine ganze Seite, ein ganzes Buch oder sogar den gesamten Gesprächsverlauf auf einmal sehen. Die Annahme war simpel: Wenn man dem Roboter während des Lernens mehr Informationen zum Betrachten gibt, wird er später besser darin, diese Informationen zu nutzen. Es ist so, als würde man denken, dass man automatisch ein besserer Schüler wird, wenn man mit einem größeren Lehrbuch lernt.

Aber was, wenn dieses Lehrbuch zu hilfreich ist? Was, wenn der Roboter, weil die Antworten direkt vor seinen Augen liegen, während er lernt, entscheidet, dass sein Gehirn nichts mehr auswendig lernen muss? Man könnte sehr gut darin werden, die Antwort im Buch zu finden, aber wenn einem das Buch während der Prüfung wegnimmt, ist man völlig aufgeschmissen. Dies ist die knifflige Frage, die ein Forscherteam der Johns Hopkins University untersuchen wollte. Sie wollten sehen, ob es den KI-Modellen tatsächlich hilft, besser zu lernen, wenn man ihnen während des Trainings ein „supergroßes“ Sichtfenster bietet, oder ob dies sie versehentlich dazu bringt, sich gänzlich auf die Informationen direkt vor ihnen zu verlassen, anstatt ihr eigenes internes Wissen aufzubauen.

Das Paradoxon des Informationsüberflusses

Die Forscher entdeckten etwas, das sie das Paradoxon des Informationsüberflusses nennen. Es klingt schick, aber die Idee ist eigentlich spielerisch und ein wenig kontraintuitiv. Sie fanden heraus, dass, wenn man eine KI mit einer riesigen Menge an relevanten Informationen direkt in ihrem „Kontextfenster“ (dem Text, den sie während des Lernens sieht) trainiert, das Modell aufhört, die Fakten auswendig zu lernen. Stattdessen lernt es, einfach den gegebenen Text zu betrachten und die Antwort zu kopieren.

Denken Sie an einen Schüler, der eine Mathearbeit schreibt.

Der alte Weg (Parametrisches Wissen): Der Schüler lernt hart, merkt sich die Formeln und lernt die Regeln. Wenn er eine Aufgabe sieht, löst er sie mit dem, was er im Kopf hat.
Der neue Weg (Kontextualisierung): Dem Schüler wird erlaubt, sein Lehrbuch während des Lernens offen auf dem Tisch liegen zu lassen. Er erkennt, dass er die Formeln nicht auswendig lernen muss; er kann einfach in das Buch blättern und die Antwort sofort finden. Er wird ein Experte darin, das Buch zu nutzen.

Das Paradoxon ist, dass dieser „Open-Book“-Schüler perfekte Ergebnisse erzielt, solange das Buch da ist, aber kläglich scheitert, wenn man ihm das Buch wegnimmt. Die Forscher legen nahe, dass wir die KI durch das Überfluten mit zu viel hilfreichem Kontext während des Trainings versehentlich dazu erziehen, „kontextabhängig“ zu werden. Sie hört auf, ein starkes internes Gehirn aufzubauen, und beginnt, sich völlig auf den externen Text zu verlassen.

Der Beweis: Wenn größer nicht besser ist

Um dies zu beweisen, führten die Forscher eine Reihe von Experimenten durch, die sich wie eine wissenschaftliche Zaubershow anfühlten.

1. Das Pretraining-Experiment (Lernen von Grund auf)
Sie nahmen kleine KI-Modelle und trainierten sie auf einer massiven Sammlung von Büchern (Project Gutenberg). Sie variierten die Größe des „Fensters“, das die Modelle gleichzeitig sehen konnten, von winzigen 512 Wörtern bis hin zu riesigen 32.000 Wörtern.

Das Ergebnis: Zuer Sie wurden die Modelle klüger, wenn man das Fenster größer machte. Aber dann passierte etwas Seltsames. Nachdem das Fenster eine bestimmte Größe erreicht hatte (etwa 2.000 bis 8.000 Wörter, je nach Aufgabe), wurden die Modelle schlechter.
Die Analogie: Stellen Sie sich einen Schüler vor, der mit einem kleinen Notizblock beginnt. Er muss alles auswendig lernen, um gut zu sein. Dann bekommt er einen größeren Notizblock und wird noch besser. Aber dann bekommt er einen riesigen, unendlichen Papierstreifen. Plötzlich hört er auf, irgendetwas auswendig zu lernen. Er schaut einfach nur auf den Streifen. Wenn die Prüfung kommt und der Streifen weg ist, kann er sich an nichts erinnern. Der „Sweet Spot“ für das Lernen lag in der Mitte, nicht bei der maximalen Größe.

2. Das Fine-Tuning-Experiment (Lernen spezifischer Aufgaben)
Als Nächstes nahmen sie bestehende KI-Modelle und lehrten sie spezifische Fächer wie Recht, Medizin und Wirtschaft. Sie kontrollierten genau, wie viel „hilfreichen“ Text die Modelle während des Trainings sahen.

Das Ergebnis: Wenn die Modelle mit vielen hilfreichen Dokumenten trainiert wurden, wurden sie fantastisch darin, Fragen zu beantworten, wenn diese Dokumente erneut bereitgestellt wurden. Wenn die Dokumente jedoch entfernt wurden oder wenn die Dokumente irreführende Informationen enthielten, brachen die Modelle zusammen.
Je mehr hilfreichen Kontext sie während des Trainings sahen, desto weniger robust wurden sie. Sie wurden wie ein GPS, das perfekt funktioniert, wenn man ein Signal hat, aber wenn das Signal abfällt, weiß es nicht mehr, wie man anhand einer Karte oder der Sonne navigiert.

Warum passiert das? Das „effiziente“ Gehirn

Die Forscher grubben tief in das „Gehirn“ der KI, um zu sehen, was unter der Haube geschah. Sie fanden zwei Hauptgründe für dieses Verhalten.

1. Der Weg des geringsten Widerstands
Lernen ist harte Arbeit. Es kostet Energie, eine Regel zu memorieren und im Gehirn (den „Gewichten“ des Modells) zu speichern. Aber wenn die Antwort direkt dort im Text steht, ist es viel einfacher, sie einfach nachzuschlagen. Die Forscher fanden heraus, dass, wenn der Kontext reichhaltig und hilfreich war, die KI eine „Lösung mit geringerer Komplexität“ fand. Es war wie das Finden einer Abkürzung. Die KI erkannte: „Warum die Regel für das ‚Negieren eines Bits‘ auswendig lernen, wenn ich mir das Beispiel direkt hier ansehen kann?“ Also hörte sie auf zu memorieren und fing an zu schauen.

2. Die Verschiebung der Gehirnleistung
Sie schauten auch darauf, welche Teile des KI-Gehirns die Arbeit verrichten.

FFNs (Feed-Forward-Netzwerke): Denken Sie an diese als die „Gedächtnisspeicher“ des Modells, in denen es Fakten und Regeln speichert.
Attention-Module (Aufmerksamkeitsmodule): Denken Sie an diese als die „Augen“ des Modells, die den Text scannen, um Informationen zu finden.
Die Entdeckung: Wenn die KI mit langen, hilfreichen Kontexten trainiert wurde, verschob sich der „Druck“ beim Lernen. Die Aktualisierungen flossen nicht mehr in die Gedächtnisspeicher (FFNs), sondern konzentrierten sich vollständig auf die „Augen“ (Attention). Das Modell verdrahtete sich buchstäblich selbst um, um besser im Scannen von Text zu werden und schlechter im Speichern von Fakten.

Das Fazateum

Das Paper legt nahe, dass das Rennen um den Bau von „Infinite Context“-Modellen – KI, die ganze Bibliotheken in einem einzigen Blick lesen kann – gegen eine verborgene Wand stößt. Es ist nicht nur eine Frage davon, mehr Daten oder größere Computer zu haben. Wenn wir diese Modelle mit zu viel Information direkt vor ihren Augen trainieren, erschaffen wir möglicherweise Modelle, die unglaublich gut im Lesen, aber schrecklich darin sind, eigenständig zu denken.

Die Forscher sagen nicht, dass Modelle mit langem Kontext schlecht sind. Sie warnen uns lediglich davor, dass es keine einfache „Mehr ist besser“-Situation ist. Es gibt einen Trade-off. Wenn Sie ein Modell wollen, das Fragen beantworten kann, ohne ein Buch in der Hand zu halten, müssen Sie es möglicherweise mit weniger Kontext trainieren, um es zu zwingen, sein eigenes internes Wissen aufzubauen. Wenn es Ihnen nur darum geht, Modelle zu haben, die ein Dokument lesen und zusammenfassen können, dann ist der lange Kontext großartig. Aber wenn Sie einen wirklich intelligenten Assistenten wollen, der auch dann noch schlussfolgern kann, wenn die Information nicht bereitgestellt wird, deutet das „Paradoxon des Informationsüberflusses“ darauf hin, dass wir vorsichtig sein müssen, unsere KI nicht zu abhängig vom Buch zu machen.

Technisches Resümee: Das Informationsabundanz-Paradoxon

Problemstellung

Large Language Models (LLMs) werden zunehmend mit Kontextfenstern trainiert und eingesetzt, die Millionen von Token umfassen, getrieben von der impliziten Annahme, dass die Exposition von Modellen gegenüber reichhaltigeren, längeren Kontexten die Leistung durch Bereitstellung von mehr Evidenz linear verbessert. Empirische Beobachtungen legen jedoch nahe, dass die bloße Skalierung der Kontextlänge keine kontinuierliche Fortschrittsgarantie bietet; in einigen Fällen unterperformen Long-Context-Varianten von Modellen (z. B. Phi-3 128K, OLMo 3 65K) ihre Kurzkontext-Pendants in Standard-Benchmarks. Dies wirft eine fundamentale Frage auf: Ist der Weg hin zu nahezu unendlichem Kontext lediglich eine Frage der Bereitstellung von mehr Long-Context-Daten, oder verändert das Kontextfenster grundlegend die Lernmechanik des Modells?

Das Paper stellt die Sichtweise infrage, die das Kontextfenster als neutralen Kanal für Daten betrachtet. Stattdessen postuliert es, dass eine Fülle an relevanter Information im Trainingskontext die Lernstrategie des Modells weg von der parametrischen Internalisierung (Kodierung von Wissen in den Gewichten) hin zur Kontextualisierung (Verlass auf die im Input bereitgestellte Evidenz) verschieben kann. Dieser Übergang kann zu einer „Kontext-Sucht“ führen, bei der Modelle gut funktionieren, wenn Kontext vorhanden ist, aber signifikant an Leistung verlieren, wenn dieser fehlt oder irreführend ist.

Methodik

Die Autoren untersuchen diese Hypothese durch eine Kombination aus empirischen Experimenten, theoretischer Analyse und mechanistischer Untersuchung über zwei Trainingsregime hinweg: Pretraining und Supervised Fine-Tuning (SFT).

1. Empirische Experimente

Pretraining-Studie: Die Autoren pretrainen Llama-2-basierte Modelle in vier Skalierungen (20M bis 750M Parameter) auf einem festen Token-Budget (10B Tokens) aus Project Gutenberg. Sie variieren systematisch das Trainingskontextfenster ( $W \in \{512, \dots, 32768\}$ $W \in {512, \dots, 32768}$ ), während das gesamte Token-Budget und die Optimierungsschritte konstant gehalten werden.
- Evaluierung: Die Modelle werden in Sprachmodellierung (LAMBADA, WikiSPAN, PTB), allgemeinem Sprachverständnis (SuperGLUE) und Closed-Book Multiple-Choice-Fragen (MCQA) evaluiert, um das parametrische Wissen zu messen.
Supervised Fine-Tuning (SFT)-Studie: Unter Verwendung von Qwen3-Modellen (0.6B bis 14B) führen die Autoren ein Fine-Tuning auf MMLU-Pro-Domänen (Gesundheit, Wirtschaft, Recht, Psychologie) durch. Sie fixieren das Kontext-Budget (8 Dokumente), variieren jedoch die Informationsdichte des Kontextes ( $k \in \{0, 4, 8\}$ $k \in {0, 4, 8}$ domänenspezifische Dokumente).
- Evaluierung: Die Modelle werden unter drei Bedingungen getestet: unterstützender Kontext (korrekte Evidenz), widersprüchlicher Kontext (irreführende Evidenz) und kein Kontext.
Synthetisches Pretraining: Um den Mechanismus zu isolieren, trainieren die Autoren Modelle auf synthetischen Aufgaben (Bitweise Operationen, String-Transformationen, Mod10-Arithmetik, Caesar-Chiffre) mit variierender Anzahl an In-Context-Demonstrationen. Sie messen die „Supporting-Conflicting-Gap“, um die Kontextabhängigkeit zu quantifizieren, und nutzen die durchschnittlichen Gradientennormen als Proxy für die Komplexität der Lösung.

2. Theoretische Analyse

Die Autoren formalisieren den Tradeoff mittels Informationstheorie. Sie definieren die Parametrische Informationsfront ( $I_k(\rho)$ ) als die minimale Aufgabeninformation, die in den Gewichten gespeichert werden muss, um einen Risiko-Schwellenwert $\rho$ bei einer Kontextgröße $k$ zu erreichen. Sie beweisen, dass für verschachtelte Inputs gilt: $I_m(\rho) \leq I_k(\rho)$ für $m > k$ , was zeigt, dass längere Kontexte theoretisch die minimale Information in den Gewichten reduzieren, die erforderlich ist, um die gleiche Leistung zu erzielen.

3. Mechanistische Analyse

Gradienten-Allokation: Die Autoren analysieren das Verhältnis der Gradientennormen zwischen Feed-Forward-Netzwerken (FFNs) und Self-Attention (SA)-Modulen. FFNs sind mit parametrischem Wissen assoziiert, während SA mit kontextuellem Routing assoziiert ist.
Kausale Interventionen: Sie führen modulbeschränkte Fine-Tunings durch, indem sie nur FFNs oder nur SA-Heads aktualisieren, um kausale Effekte auf Robustheit und Kontextabhängigkeit zu beobachten.
Token-Level Attention: Sie messen die Attention-Masse, die während der Inferenz auf Kontext-Token verteilt wird, um die Verschiebung der Berechnung zu quantifizieren.

Kernergebnisse

1. Die Invertierte U-Performance-Kurve

Im Pretraining verbessert eine Erhöhung des Kontextfensters die Leistung bis zu einem intermediären Optimum (z. B. ~2048 Token für SuperGLUE/MCQA, ~8192 für Sprachmodellierung), bevor die Leistung konsistent abnimmt. Diese Degradation tritt trotz fester Token-Budgets und Modellkapazitäten auf, was darauf hindeutet, dass längere Kontexte nicht inhärent vorteilhaft sind, sobald ein gewisser Punkt überschritten wird.

2. Kontext-Sucht in SFT

In der Supervised Fine-Tuning Phase führt eine Erhöhung des aufgabenrelevanten Kontextes während des Trainings ( $k=8$ ) zu einer signifikanten Verbesserung der Genauigkeit, wenn zum Testzeitpunkt unterstützender Kontext verfügbar ist. Dies geht jedoch auf Kosten der Robustheit:

No-Context Performance: Modelle, die mit hochgradig informativem Kontext trainiert wurden, schneiden ohne Kontext signifikant schlechter ab als Modelle, die mit geringem Kontext-Relevanzgrad trainiert wurden.
Widersprüchlicher Kontext: Diese Modelle sind anfälliger für irreführenden Kontext und zeigen einen größeren Einbruch der Genauigkeit, wenn sie mit widersprüchlicher Evidenz konfrontiert werden.

3. Mechanistische Verschiebungen

Lösungskomplexität: In synthetischen Aufgaben tritt „Kontext-Sucht“ (große Supporting-Conflicting-Gaps) spezifisch in Aufgaben auf, in denen längere Kontexte geringere Komplexitätslösungen ermöglichen (indiziert durch sinkende durchschnittliche Trainingsgradientennormen). Aufgaben, die nicht von einfacheren kontextuellen Lösungen profitieren (z. B. Mod10-Arithmetik), zeigen diesen Shift nicht.
Gradienten-Reallokation: Das Training mit informativem Kontext verschiebt den Gradientendruck weg von FFNs (parametrische Internalisierung) hin zu Self-Attention-Modulen (Kontextualisierung). Dieser Shift wird sowohl im Pretraining als auch im SFT beobachtet.
Inferenz-Verhalten: Modelle, die mit reichhaltigem Kontext trainiert wurden, weisen während der Inferenz eine signifikant höhere Attention-Masse auf Kontext-Token auf, insbesondere in den mittleren Schichten, was die kausale Abhängigkeit von bereitgestellter Information bestätigt.

Zentrale Beiträge

Das Informationsabundanz-Paradoxon: Das Paper führt die Hypothese ein, dass eine Fülle an relevanter Information in Trainingskontexten den Anreiz für Modelle verringern kann, diese Informationen parametrisch zu kodieren, was zu einer Verschiebung von Internalisierung zu Kontextualisierung führt.
Empirischer Nachweis der nicht-monotonen Skalierung: Die Studie liefert robuste Belege dafür, dass die Skalierung von Kontextfenstern kein „Gratis-Gewinn“ ist; jenseits eines intermediären Optimums können längere Trainingskontexte die Closed-Book-Performance und Robustheit verschlechtern.
Mechanistische Erklärung: Die Arbeit identifiziert die spezifischen neuronalen Mechanismen, die dieses Phänomen antreiben: eine Verschiebung des Optimierungsdrucks von FFNs zu Attention-Modulen und die Adoption von Lösungen geringerer Komplexität, die auf Kontext statt auf Gewichten basieren.
Theoretische Formalisierung: Das Paper bietet einen theoretischen Beweis dafür, dass längere Kontexte die benötigte minimale parametrische Information erreichen, um ein Zielrisiko zu erfüllen, was erklärt, warum Modelle zugunsten der Kontextabhängigkeit Wissen „vergessen“ können.

Bedeutung und Ansprüche

Das Paper argumentiert, dass der Drang zu nahezu unendlichen Kontextfenstern nicht allein als Datenproblem verstanden werden kann. Stattdessen fungiert das Kontextfenster als ein Hyperparameter, der den Modus des Lernens steuert.

Herausforderung aktueller Paradigmen: Die Ergebnisse stellen die Annahme infrage, dass „mehr Long-Context-Daten“ immer der richtige Weg sind. Die Autoren legen nahe, dass die Skalierung der Kontextlänge verwertbares parametrisches Wissen gegen kontextabhängige Kompetenz eintauschen kann.
Implikationen für die Robustheit: Modelle, die mit hochinformativen langen Kontexten trainiert wurden, können zu „Kontext-Süchtigen“ werden, die versagen, wenn der Kontext fehlt oder korrumpiert ist. Dies hat kritische Auswirkungen auf den Einsatz in Szenarien, in denen die Verfügbarkeit von Kontext nicht garantiert ist.
Gestaltungsrichtlinien: Das Paper legt nahe, dass optimale Trainingsstrategien die Kontextlänge ausbalancieren müssen, um zu verhindern, dass der Lernmodus des Modells zu weit in Richtung Kontextualisierung driftet, was potenziell Curricula oder Beschränkungen erfordert, die das parametrische Wissen bewahren.

Die Autoren kommen zu dem Schluss, dass die Verarbeitung langer Kontexte zwar eine mächtige Fähigkeit ist, aber grundlegend verändert, was Modelle internalisieren und wie stark sie von Informationen zur Inferenzzeit abhängen, was eine Neubewertung der Skalierungsgesetze für Kontextfenster erforderlich macht.