🤖 machine learning

Understanding Generalization and Forgetting in In-Context Continual Learning

Dieser Beitrag stellt den ersten theoretischen Rahmen für kontextbasiertes kontinuierliches Lernen vor und zeigt, dass Standard-Aufmerksamkeitsmechanismen in Transformern bei der Verarbeitung sequenzieller heterogener Aufgaben unvermeidlich zu Interferenz zwischen den Aufgaben und zu systematischen Verzerrungen führen, wodurch fundamentale Grenzen der Generalisierung und das Auftreten von Vergessen in langen Prompts erklärt werden.

Ursprüngliche Autoren: Guangyu Li, Meng Ding, Lijie Hu

Veröffentlicht 2026-05-28

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guangyu Li, Meng Ding, Lijie Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Der „Super-Schüler", der keine Notizen macht

Stellen Sie sich einen brillanten Schüler (das Large Language Model) vor, der während seines Trainings bereits eine riesige Bibliothek an Büchern gelesen hat. Er ist unglaublich intelligent, folgt aber einer einzigartigen Regel: Er darf sein Gehirn nicht verändern und keine Notizen machen.

Wenn Sie ihm einen neuen Test geben, können Sie ihm keine neuen Fakten beibringen. Stattdessen müssen Sie ihm die Antworten auf vorherige Fragen direkt neben die neue Frage in dasselbe Gespräch flüstern. Dies nennt man In-Context Learning (ICL). Der Schüler betrachtet die Beispiele, die Sie im Chat bereitgestellt haben, und erkennt das Muster im laufenden Betrieb.

Dieses Paper stellt eine spezifische Frage: Was passiert, wenn Sie diesem Schüler ein langes Gespräch geben, das eine Mischung aus verschiedenen Testtypen enthält?

Stellen Sie sich beispielsweise ein einzelnes Chat-Fenster vor, in dem Sie ihn zuerst mathematische Probleme lösen lassen, dann auf Französisch-Übersetzung wechseln und schließlich zum Schreiben von Gedichten übergehen, alles ohne das Gespräch zu unterbrechen. Wird der Schüler besser in Mathe, weil er mehr Beispiele gesehen hat? Oder verwirrt die französische Übersetzung seine Mathe-Fähigkeiten?

Die Kernentdeckung: Das Problem des „Mischtopfs"

Die Forscher bauten ein mathematisches Modell, um zu verstehen, wie das „Gehirn" des Schülers (speziell der Attention-Mechanismus) dieses lange, durcheinandergewürfelte Gespräch verarbeitet.

Sie entdeckten, dass das Gehirn des Schülers wie ein Mischtopf funktioniert. Wenn der Schüler das Gespräch betrachtet, um eine Frage zu beantworten, schaut er nicht nur auf die Mathe-Beispiele; er betrachtet alles im Topf (Mathe, Französisch, Gedichte) und vermischt sie zu einer Antwort.

Hier sind die drei Hauptpunkte, die sie fanden:

1. Die „Zu viel Kontext"-Falle (Generalisierung)

Die Intuition: Man könnte denken: „Wenn ich dem Schüler mehr Beispiele für das Mathe-Problem gebe, wird er besser in Mathe."
Die Realität: Dies gilt nur, wenn sich alle Beispiele auf Mathe beziehen. Wenn Sie ihm 10 Mathe-Beispiele gefolgt von 10 Französisch-Beispielen geben, gerät der Schüler in Verwirrung. Die Französisch-Beispiele wirken wie „Rauschen" im Mathe-Topf.
Die Analogie: Stellen Sie sich vor, Sie versuchen, ein bestimmtes Gewürz in einer Suppe zu schmecken. Wenn die Suppe nur dieses Gewürz enthält, macht das Hinzufügen von mehr davon den Geschmack stärker. Aber wenn Sie beginnen, riesige Mengen Schokolade und Brokkoli in denselben Topf zu geben, hilft das Hinzufügen von mehr Gewürz nicht; es lässt die Suppe nur seltsam und chaotisch schmecken.
Das Ergebnis: Das Paper zeigt, dass das Hinzufügen von mehr Kontext (mehr Beispiele) nicht immer hilft. Wenn die Aufgaben unterschiedlich sind, kann das Hinzufügen von mehr Beispielen den Schüler tatsächlich schlechter bei der aktuellen Aufgabe machen, weil die „falschen" Informationen aus vorherigen Aufgaben hineingemischt werden.

2. Die „Katastrophale Amnesie" (Vergessen)

Die Intuition: Da der Schüler nichts aus dem Chatverlauf löscht, sollte er sich doch alles perfekt merken, oder?
Die Realität: Obwohl die Informationen noch da sind, „vergisst" der Schüler, wie man sie nutzt.
Die Analogie: Stellen Sie sich vor, der Schüler versucht, am Ende eines 100-seitigen Dokuments ein Mathe-Problem zu lösen. Die Mathe-Beispiele befinden sich auf Seite 1. Die Französisch-Beispiele auf Seite 50. Das Gehirn des Schülers ist so ausgelegt, dass es auf die neuesten Dinge achtet, die er gelesen hat. Während er die Französisch- und Gedicht-Abschnitte liest, „übertönen" diese neuen Wörter die Mathe-Wörter von Seite 1. Die Mathe-Informationen stehen zwar noch auf der Seite, aber der Aufmerksamkeitsmechanismus des Schülers hat seinen Fokus so stark auf das Neue verlagert, dass die alte Mathe-Information nutzlos wird.
Das Ergebnis: Der Schüler vergisst die ersten Aufgaben nicht, weil die Daten weg sind, sondern weil sich die Art und Weise ändert, wie er die Informationen gewichtet. Je mehr unterschiedliche Aufgaben Sie hinzufügen, desto mehr vergisst der Schüler die früheren.

3. Die Reihenfolge ist wichtig (Sequenzempfindlichkeit)

Die Intuition: Es sollte keine Rolle spielen, ob Sie zuerst Mathe und dann Französisch oder zuerst Französisch und dann Mathe fragen.
Die Realität: Es macht einen großen Unterschied.
Die Analogie: Denken Sie daran, wie man eine Wand streicht. Wenn Sie eine Wand blau (Aufgabe A) streichen und sie sofort mit Rot (Aufgabe B) übermalen, ist die Endfarbe ein schmutziges Lila. Wenn Sie zuerst rot und dann blau streichen, erhalten Sie einen anderen Lila-Nuance. Die Reihenfolge, in der Sie die Aufgaben präsentieren, verändert, wie sich die „Farben" (Informationen) vermischen.
Das Ergebnis: Das Paper beweist mathematisch, dass die Reihenfolge der Aufgaben eine spezifische „Verzerrung" (Bias) erzeugt. Wenn Sie ähnliche Aufgaben zusammenstellen (z. B. Mathe dann Algebra), kommt der Schüler gut zurecht. Wenn Sie sehr unterschiedliche Aufgaben zusammenstellen (Mathe dann Gedichte), gerät der Schüler in Verwirrung und performt schlecht.

Das „Bias-Variance-Interferenz"-Rezept

Die Autoren zerlegten die Fehler des Schülers in drei Zutaten:

Varianz: Der Schüler rät einfach, weil er nicht genug Beispiele der aktuellen Aufgabe gesehen hat. (Lösung: Fügen Sie mehr Beispiele der gleichen Aufgabe hinzu).
Bias: Der Schüler ist verwirrt, weil die Beispiele, die er gesehen hat, von einer anderen Aufgabe stammen. (Lösung: Mischen Sie keine unterschiedlichen Aufgaben).
Interferenz: Der Schüler mischt aktiv die falschen Aufgaben zusammen und erzeugt einen systematischen Fehler, der mit der Länge des Gesprächs schlimmer wird.

Das Fazit

Dieses Paper erklärt, warum Large Language Models manchmal Schwierigkeiten haben, wenn Sie ihnen lange, komplexe Prompts mit vielen verschiedenen Fragetypen geben.

Es ist kein Fehler; es ist eine Eigenschaft des Designs. Der Mechanismus, der es ihnen ermöglicht, in Echtzeit aus Beispielen zu lernen (Attention), ist genau derselbe Mechanismus, der dazu führt, dass sie alte Aufgaben vergessen, wenn neue, unterschiedliche Aufgaben eintreffen.
Mehr ist nicht immer besser. Nur weil Sie mehr Text in den Prompt einfügen können, bedeutet das nicht, dass das Modell es besser versteht. Wenn Sie zu viele verschiedene „Geschmacksrichtungen" von Aufgaben mischen, wird das Modell überfordert und macht systematische Fehler.
Das „Vergessen" ist strukturell. Das Modell löscht alte Informationen nicht; es hört einfach auf, ihnen Beachtung zu schenken, weil die neuen Informationen im Mischtopf lauter sind.

Kurz gesagt: Wenn Sie wollen, dass ein Large Language Model eine hervorragende Arbeit bei einer bestimmten Aufgabe leistet, halten Sie das Gespräch fokussiert. Wenn Sie zu viele verschiedene Themen in einen langen Chat mischen, wird das Modell unvermeidlich verwirrt und vergessen, wie es die früheren Aufgaben ausführt.

Technische Zusammenfassung: Verständnis von Generalisierung und Vergessen beim In-Context Continual Learning

Problemstellung

Während Large Language Models (LLMs) bemerkenswerte Fähigkeiten im In-Context Learning (ICL) zeigen, indem sie sich über Prompts an neue Aufgaben anpassen, ohne Parameter-Updates vorzunehmen, analysieren bestehende theoretische Rahmenwerke ICL hauptsächlich in Single-Task-Szenarien. In realen Szenarien enthalten Prompts oft Sequenzen heterogener Aufgaben. Dies wirft eine kritische Frage auf: Führen LLMs während der Inferenz implizit Continual Learning durch, und wenn ja, wie managen sie Generalisierung und Vergessen über sequenzielle Aufgaben hinweg?

Die aktuelle Forschung fehlt es an einem theoretischen Verständnis dafür, wie gemeinsame Aufmerksamkeitsmechanismen (Attention Mechanisms) mehrere sequenzielle Aufgaben innerhalb eines einzelnen Prompts verarbeiten. Insbesondere ist unklar, ob LLMs aufgabenrelevante Informationen über lange Kontexte hinweg akkumulieren und wiederverwenden können, oder ob sie – trotz des Fehlens von Parameter-Updates – an Interferenz und katastrophalem Vergessen leiden, ähnlich wie beim traditionellen Continual Learning während des Trainings.

Methodik

Die Autoren schlagen den ersten theoretischen Rahmen für In-Context Continual Learning (ICCL) vor. Der Kern ihres Ansatzes umfasst:

Modellierungsaufbau:
- Sie modellieren einen vortrainierten Transformer, der eine Sequenz von $T$ Aufgaben verarbeitet, die zu einem einzigen Prompt verkettet sind.
- Der Rahmen konzentriert sich auf lineare Regressionsaufgaben, bei denen Aufgabenparameter ( $w_t$ ) aus einer Verteilung gesampelt werden.
- Sie analysieren zwei Aufmerksamkeitsmechanismen:
  - Lineare Self-Attention (LSA): Aggregiert Informationen gleichmäßig über alle Tokens hinweg.
  - Maskierte Lineare Self-Attention (MSA): Verwendet eine kausale Maske, um sicherzustellen, dass Informationen nur vorwärts fließen und dabei Aufgabenreihenfolge und -grenzen respektiert werden.
Theoretische Herleitung:
- Die Autoren leiten explizite Fehlerausdrücke für Modellvorhersagen unter sequenziellen Aufgaben-Prompts ab.
- Sie zerlegen den Vorhersagefehler in ein Bias-Variance-Interference-Rahmenwerk.
- Sie definieren den Generalisierungsfehler ( $G_t$ ) als die Vorhersagegenauigkeit bei der Abfrage der aktuellen Aufgabe und Vergessen ( $F_t$ ) als die Zunahme des Fehlers bei einer zuvor gesehenen Aufgabe nach der Verarbeitung nachfolgender Aufgaben.
Empirische Validierung:
- Experimente wurden mit decoder-basierten GPT-2-Architekturen (Standard- und Tiny-Konfigurationen) durchgeführt, die auf linearer Regression trainiert wurden.
- Theoretische Vorhersagen wurden gegen empirische mittlere quadratische Fehler (MSE) bei variierenden Kontextlängen ( $M$ ), Aufgabenähnlichkeiten und Aufgabenreihenfolgen validiert.
- Der Rahmen wurde zusätzlich an nicht-linearen Aufgaben (sparse lineare Regression, ReLU-Netzwerke) und realen LLMs (Qwen2.5-1.5B-Instruct) unter Verwendung heterogener Textklassifizierungsaufgaben (SST-2 und AG News) getestet.

Hauptbeiträge

1. Erste theoretische Formalisierung von ICCL

Die Arbeit formalisiert ICCL als Setting, in dem ein vortrainierter Transformer sequenzielle Aufgaben über gemeinsame Aufmerksamkeit ohne Parameter-Updates verarbeitet. Dies überbrückt explizit die Lücke zwischen ICL und Kernkonzepten des Continual Learning wie Aufgabenreihenfolge, historischer Akkumulation und Interferenz.

2. Bias-Variance-Interference-Zerlegung

Die Autoren liefern eine explizite Zerlegung des Vorhersagefehlers, die Folgendes aufzeigt:

Varianz entsteht durch endliche In-Context-Stichproben und nimmt mit zunehmender Kontextlänge ( $M$ ) ab.
Bias resultiert aus der Fehlausrichtung zwischen der aktuellen Aufgabe und historischen Aufgaben.
Interferenz ist eine strukturelle Eigenschaft der Aufmerksamkeitsaggregation, bei der historische Kontexte einen systematischen Bias induzieren.
Entscheidend zeigen sie, dass eine Erhöhung der Kontextlänge oder des Aufgabenverlaufs die Leistung nicht universell verbessert; sie kann die Generalisierung verschlechtern, wenn Aufgaben aufgrund eines erhöhten Bias fehljustiert sind.

3. Theoretische Fundierung empirischer Phänomene

Der Rahmen erklärt mehrere beobachtete Phänomene in realen Modellen:

Reihenfolgeabhängiges Vergessen: Vergessen ist nicht lediglich ein Informationsverlust, sondern entsteht durch die Neu-Gewichtung von Aufgabenbeiträgen durch den Aufmerksamkeitsmechanismus. Vergangene Aufgaben erhalten negative Koeffizienten in der finalen Vorhersage und kompensieren ihre Repräsentationen aktiv.
Effekte der Aufgabenähnlichkeit: Positiver Transfer tritt auf, wenn historische Aufgaben mit der Zielaufgabe übereinstimmen. Umgekehrt verstärkt das Erlernen zukünftiger Aufgaben, die statistisch ähnlich zur aktuellen sind, das Vergessen, während orthogonale Aufgaben die Leistung erhalten.
Grenzen langer Kontexte: Der Nutzen längerer Kontexte stagniert oder kehrt sich um, wenn die Aufgabenmittelwerte fehljustiert sind, da der irreduzible Bias durch die Mittelwert-Fehlausrichtung unabhängig von der Kontextlänge bestehen bleibt.

Ergebnisse

Generalisierung: In Multi-Task-Szenarien reduziert eine Erhöhung der Anzahl der In-Context-Beispiele ( $M$ ) den Fehler zunächst (Varianzreduktion), kann jedoch den Fehler letztendlich erhöhen, wenn der hinzugefügte Kontext systematischen Bias durch unähnliche Aufgaben einführt.
Vergessen: Vergessen erweist sich als intrinsische Konsequenz der aufmerksamkeitsbasierten Aggregation. Selbst ohne Parameter-Updates „vergisst" das Modell frühere Aufgaben, weil der Aufmerksamkeitsmechanismus historische Kontexte mit festen, abklingenden Gewichten aggregiert, was zu systematischer Interferenz führt.
Aufgabenreihenfolge: Die Reihenfolge der Aufgaben hat einen erheblichen Einfluss auf die Leistung. Sequenzen, bei denen spätere Aufgaben mit früheren fehljustiert sind, induzieren stärkere Interferenz.
Validierung in der Praxis: Experimente mit Qwen2.5-1.5B-Instruct bestätigten, dass die Einführung einer zweiten heterogenen Aufgabe (Aufgabe B) nach Aufgabe A zu schwerwiegender negativem Transfer führt (Abfall der Genauigkeit von Aufgabe B um >15 % bei niedrigem $M$ ) und zu katastrophalem Vergessen von Aufgabe A (Abfall der Genauigkeit von 0,934 auf 0,472), was die theoretischen Vorhersagen irreduzibler Mittelwert-Fehlausrichtung validiert.

Bedeutung und Behauptungen

Die Arbeit beansprucht, den ersten theoretischen Rahmen zum Verständnis von In-Context Continual Learning zu liefern. Ihre primäre Bedeutung liegt in:

Identifikation fundamentaler Grenzen: Sie zeigt, dass aufmerksamkeitsbasierte Continual-Inferenz inhärente Grenzen aufweist. Selbst ohne Parameter-Updates akkumulieren LLMs über lange Kontexte hinweg aufgabenspezifische Informationen, interferieren miteinander und vergessen diese teilweise.
Erklärung von Mechanismen: Sie bietet eine mathematische Erklärung dafür, warum Standard-Aufmerksamkeitsmechanismen inter-task Interferenz und systematischen Bias induzieren, was zu Reihenfolgeempfindlichkeit und Leistungsverschlechterung bei langen Prompts führt.
Leitlinien für die Praxis: Die Ergebnisse liefern konkrete Anleitungen für das Prompt-Design und die Multi-Task-Evaluierung und legen nahe, dass eine bloße Erhöhung der Kontextlänge oder die Wiederverwendung historischer Prompts kein Allheilmittel ist und sogar schädlich sein kann, wenn die Aufgabenjustierung nicht berücksichtigt wird.

Die Autoren betonen, dass ihre Arbeit erklärt, wann und warum In-Context-Generalisierung gelingt oder scheitert, und hervorheben, dass die „parameterfreie" Natur von ICL die fundamentalen Herausforderungen des Continual Learning, wie Interferenz und Vergessen, nicht ausschließt.