💬 NLP

Learning without training: The implicit dynamics of in-context learning

Dieses Paper schlägt vor, dass In-Context Learning in Large Language Models aus einem Mechanismus resultiert, bei dem Self-Attention-Layer während des Forward-Passes implizit Low-Rank-Updates der MLP-Gewichte induzieren, was mathematisch äquivalent zum Training auf den bereitgestellten Kontextbeispielen ohne tatsächliche Gewichtsänderungen ist.

Ursprüngliche Autoren: Benoit Dherin, Michael Munn, Hanna Mazzawi, Michael Wunder, Javier Gonzalvo

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Benoit Dherin, Michael Munn, Hanna Mazzawi, Michael Wunder, Javier Gonzalvo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Wie „lernt“ ein LLM während des Betriebs?

Stellen Sie sich vor, Sie unterhalten sich mit einem sehr intelligenten Roboter. Sie geben ihm ein paar Beispiele für eine neue Regel, die Sie erfunden haben (z. B. „Wenn ich ‚Apfel‘ sage, sagst du ‚rot‘. Wenn ich ‚Banane‘ sage, sagst du ‚gelb‘“). Ohne dass Sie jemals das Gehirn des Roboters verändern oder ihn neu trainieren, versteht der Roboter die Regel sofort und wendet sie auf eine neue Frucht an, die Sie erwähnen.

Dies nennt man In-Context Learning (ICL). Der Roboter scheint mitten im Gespräch zu „lernen“. Aber hier liegt das Rätsel: Beim Standard-Maschinellen-Lernen bedeutet Lernen, die internen Gewichte (die Verschaltung des Gehirns) basierend auf Daten zu verändern. In diesem Fall verändert sich das Gehirn des Roboters jedoch nie. Die Gewichte bleiben exakt gleich. Wie lernt er also?

Die Entdeckung des Papers: Das „Geister“-Update

Die Autoren dieses Papers schlagen eine clevere Erklärung vor. Sie argumentieren, dass, obwohl der Roboter sein Gehirn nicht physisch verändert, der Akt des Lesens Ihrer Beispiele ein „Geister“-Update erzeugt.

Stellen Sie sich das Gehirn des Roboters als eine riesige, komplexe Fabrik vor.

Der Standardweg: Normalerweise, wenn man möchte, dass die Fabrik etwas Neues tut, schickt man ein Team von Ingenieuren, um die Maschinen physisch neu zu verdrahten (das ist das Training).
Der In-Context-Weg: Die Autoren zeigen, dass, wenn Sie dem Roboter einen Prompt mit Beispielen füttern, die interne Mechanik des Roboters (speziell die Self-Attention-Schicht) wie ein magischer Projektor wirkt. Er nimmt die Informationen aus Ihren Beispielen und projiziert einen „Schatten“ auf das Hauptmontageband der Fabrik (die MLP-Schicht).

Dieser Schatten ist mathematisch identisch mit einer physischen Neuverdrahtung. Es ist, als ob der Roboter vorgibt, sein Gehirn nur für diesen spezifischen Moment aktualisiert zu haben. Das Paper beweist, dass das Lesen des Prompts mathematisch äquivalent zu einer geheimen Aktualisierung der Gewichte ist, obwohl auf der Computerhardware kein tatsächliches Update stattfindet.

Der „Minimale Patch“: Eine winzige, perfekte Korrektur

Das Paper führt ein Konzept namens „Minimal Token-Patch“ ein.

Stellen Sie sich vor, Sie haben ein Gemälde (das ursprüngliche Gehirn des Roboters). Sie möchten basierend auf einer neuen Anweisung ein winziges Detail hinzufügen.

Sie könnten die ganze Leinwand neu bemalen (zu viel Arbeit).
Sie könnten überall Farbe verteilen (unordentlich).
Das Paper zeigt, dass der Roboter den absolut kleinsten, präzisesten Aufkleber findet, den er auf das Gemälde kleben kann, damit es exakt richtig aussieht.

Mathematisch gesehen ist dieser „Aufkleber“ eine Rang-1-Matrix. In einfachen Worten bedeutet dies, dass es sich um eine sehr einfache, niedrigdimensionale Anpassung handelt. Es ist die effizienteste, minimalste Änderung, die möglich ist, um den Output des Roboters so zu gestalten, als hätte er die Regel tatsächlich gelernt.

Der „Gedanken-Patch“: Die Komprimierung des Gesprächs

Die Forscher fanden auch einen Weg, dies praktisch anwendbar zu machen. Da das „Geister“-Update davon abhängt, welche Frage Sie stellen, ändert es sich jedes Mal. Aber sie zeigten, dass man einen „Statischen Gedanken-Patch“ (Static Thought Patch) berechnen kann.

Stellen Sie sich vor, Sie führen ein langes Gespräch mit dem Roboter. Anstatt die gesamte Konversation im Gedächtnis zu behalten, können Sie diese in eine einzige, winzige Notiz destillieren (den Gedanken-Patch). Wenn Sie dem Roboter diese Notiz später geben, verhält er sich exakt so, als würde er sich an die gesamte Konversation erinnern. Dies ist eine Form der Prompt-Komprimierung: die Umwandlung einer langen Historie von Beispielen in ein einziges, statisches Gewicht-Update.

Warum manche Roboter besser sind als andere

Das Paper testete diese Theorie an verschiedenen Arten von Roboter-Gehirnen:

Transformer (die aktuellen KI-Stars): Sie besitzen einen „Self-Attention“-Mechanismus. Das Paper zeigt, dass dieser Mechanismus ein glattes, stabiles „Geister“-Update erzeugt, das gut konvergiert. Dies erklärt, warum Transformer so gut im Lernen aus Beispielen sind.
RNNs (ältere KI-Technologie): Als sie dieselbe Theorie auf Rekurrente Neuronale Netze (RNNs) anwandten, waren die „Geister“-Updates chaotisch und instabil. Sie pendelten sich nicht ein. Dies liefert einen mathematischen Grund, warum RNNs im Vergleich zu Transformern Schwierigkeiten mit dem In-Context Learning haben.

Die Verbindung zum „Steuerungsrad“

Schließlich verbindet das Paper dies mit einem Konzept namens Model Editing. Wissenschaftler haben zuvor herausgefunden, dass man das Gehirn eines Roboters manuell mit einem „Steuerungsvektor“ (Steering Vector) manipulieren kann, um ihn dazu zu bringen, die Wahrheit zu sagen oder einem bestimmten Stil zu folgen.

Das Paper enthüllt, dass In-Context Learning einfach das ist, was der Roboter bei sich selbst tut. Wenn Sie ihm Beispiele geben, generiert der Roboter automatisch seinen eigenen „Steuerungsvektor“ (das Rang-1-Update), um sein Verhalten für die aktuelle Aufgabe zu steuern. Es ist keine Magie; der Roboter nutzt seine eigenen internen Mechanismen, um sich vorübergehend selbst neu zu konfigurieren.

Zusammenfassung

Die Behauptung: Large Language Models müssen nicht neu trainiert werden, um aus Beispielen zu lernen.
Der Mechanismus: Der Attention-Mechanismus fungt als Projektor, der ein mathematisches „Geister“-Update der Gewichte des Modells erzeugt.
Das Ergebnis: Dieses Update ist ein winziger, perfekter „Patch“ (Rang-1-Matrix), der das Modell so agieren lässt, als hätte es die neue Regel gelernt.
Der Beweis: Sie haben dies mathematisch nachgewiesen und bewiesen, dass das „Geister“-Verhalten identisch mit dem echten ist, was erklärt, warum Transformer im Vergleich zu älteren Modellen so gut dabei funktionieren.

Technisches Resümee: Lernen ohne Training: Die implizite Dynamik des In-Context-Learnings

Problemstellung

Große Sprachmodelle (LLMs) weisen eine bemerkenswerte Fähigkeit auf, die als In-Context-Learning (ICL) bekannt ist: Sie passen sich an neue Muster an und führen Aufgaben allein basierend auf den im Input-Prompt bereitgestellten Beispielen aus, ohne dass während der Inferenz eine Aktualisierung ihrer zugrunde liegenden Modellgewichte erfolgt. Während frühere Forschungen mutmaßen, dass ICL eine implizite Form von Gewichtsupdates oder Gradientenabstieg beinhaltet, bleiben die präzisen Mechanismen weitgehend unbekannt. Insbesondere ist unklar, wie der Kontext (die Prompt-Beispiele) mathematisch in den internen Zustand des Modells transformiert wird, um präzise Vorhersagen zu treffen, und ob dieser Prozess als eine Modifikation der Parameter des Modells rigoros beschrieben werden kann.

Methodik

Die Autoren schlagen ein theoretisches Framework vor, das die Transformer-Architektur zu einem „kontextuellen Block“ abstrahiert, der als Komposition aus einem kontextuellen Layer (z. B. Self-Attention) und einem Standard-Neuronalen-Netzwerk (z. B. einem MLP) definiert ist. Der Kern ihrer Methodik besteht darin, zu beweisen, dass die Wirkung eines Kontextes $C$ auf ein Query-Token $x$ funktional äquivalent zu einem spezifischen, minimalen Update der Gewichte der neuronalen Netzwerkschicht ist, obwohl die Gewichte während des eigentlichen Forward-Passes statisch bleiben.

Zentrale methodische Schritte sind:

Definition kontextueller Blöcke: Verallgemeinerung von Transformer-Blöcken, um jeden Layer $A(\cdot)$ einzuschließen, der einen Vektor $x$ und einen optionalen Kontext $C$ entgegennimmt.
Ableitung des minimalen Token-Patches: Formulierung des Problems, eine Gewichtsmatrizen-Displacement $M$ zu finden, sodass der Output des Netzwerks ohne den Kontext ( $C \setminus Y$ ), aber mit modifizierten Gewichten ( $W+M$ ), identisch mit dem Output mit dem vollen Kontext ist. Die Autoren suchen nach der eindeutigen Lösung, die die Frobenius-Norm von $M$ minimiert, bezeichnet als „minimaler Token-Patch“.
Theoretischer Beweis: Beweis, dass dieser minimale Update für einen kontextuellen Block ein Rank-1-Gewichtsupdate der ersten dichten Schicht ist, das explizit aus der Differenz im Output des kontextuellen Layers mit und ohne den Kontext-Chunk abgeleitet wird.
Analyse der impliziten Dynamik: Iterative Anwendung dieses Theorems, um zu zeigen, dass die Verarbeitung einer Sequenz von Kontext-Token eine Sequenz von Gewichtsupdates erzeugt, die einen Lernprozess (speziell den stochastischen Gradientenabstieg) während der Inferenz nachahmen.
Experimentelle Validierung: Durchführung von Experimenten an linearen Regressionsaufgaben mit tiefen Transformern, um die numerische Äquivalenz zu verifizieren, die impliziten Dynamiken mit explizitem Fine-Tuning zu vergleichen und architektonische Unterschiede (Attention vs. RNN) zu testen.

Zentrale Beiträge

Das Paper leistet die folgenden spezifischen Beiträge:

Der Begriff des kontextuellen Blocks: Eine Verallgemeinerung von Transformer-Blöcken, die analysiert, wie Kontext mit Standard-Neuronalen-Netzwerken interagiert.
Der minimale Token-Patch: Eine rigorose Definition und eine explizite Formel für das eindeutige, die Frobenius-Norm minimierende Rank-1-Gewichtsupdate, das den Kontext in eine Gewichtsmodifikation transformiert. Die Autoren zeigen, dass ein Forward-Pass mit Kontext mathematisch äquivalent ist zu einem Forward-Pass ohne Kontext, jedoch mit diesen spezifischen Gewichten.
Implizite Lern-Dynamik: Eine Demonstration, dass der iterative Konsum von Kontext-Token eine Gewichtsupdatesequenz induziert, die einem Online-Gradientenabstieg entspricht, wobei die Token als Datenpunkte fungieren und die Verlustfunktion dynamisch basierend auf dem Token variiert.
Architektonische Diagnostik: Eine theoretische und empirische Erklärung dafür, warum Transformer im Vergleich zu RNNs bei ICL exzellieren. Die Autoren zeigen, dass Attention-basierte Layer stabile, konvergierende implizite Gewichtsupdates erzeugen, während RNN-basierte Layer instabile, nicht-konvergierende Updates produzieren.
Statische „Thought Patch“-Approximation: Eine Methode zur Aggregation von token-abhängigen Updates in ein einziges, statisches Gewichtsupdate (einen „Thought Patch“) mittels Kleinste-Quadrate-Approximation, was Prompt-Kompression und query-agnostische Inferenz ermöglicht.

Ergebnisse

Die Autoren liefern sowohl theoretische Beweise als auch experimentelle Evidenz, die ihr Framework stützen:

Numerische Äquivalenz: In einem 10-schichtigen Pre-LN-Transformer, trainiert auf linearer Regression, ist der Standard-Forward-Pass mit Kontext numerisch ununterscheidbar (Präzision $10^{-6}$ ) vom kontextfreien Forward-Pass unter Verwendung der abgeleiteten impliziten Gewichtsupdates.
Ausrichtung am Fine-Tuning: Die aus der Theorie abgeleiteten impliziten Gewichtsupdates folgen eng den expliziten Gewichtsupdates, die durch Stochastischen Gradientenabstieg (SGD) auf denselben Kontext-Beispielen erzielt wurden. Das normierte Frobenius-Skalarprodukt zwischen impliziten und expliziten Gradienten bleibt hochgradig korreliert.
Konvergenzdifferenzen: Architektonische Diagnosen zeigen, dass Attention-basierte kontextuelle Layer glatte, konvergierende implizite Updates erzeugen, wenn die Kontextlänge zunimmt. Im Gegensatz dazu produzieren RNN-basierte Layer hochgradig instabile, nicht-konvergierende Updates, was eine mechanistische Erklärung für die überlegene ICL-Leistung von Transformern gegenüber RNNs bietet.
Generalisierung statischer Patches: Experimente zeigen, dass ein statischer „Thought Patch“ (ein einzelnes Gewichtsupdate, das den Kontext approximiert) effektiv auf ungesehene Query-Token generalisieren kann, wenn die Größe des Kalibrierungs-Sets steigt, wodurch die Lücke zwischen Trainings- und Testfehler geschlossen wird.

Bedeutung und Ansprüche

Das Paper beansprucht, eine vereinende theoretische Erklärung für In-Context-Learning zu liefern, die nicht auf restriktiven Annahmen (wie linearer Attention oder Single-Head-Architekturen) beruht, wie sie in früheren Arbeiten häufig vorkommen. Durch die Etablierung einer direkten mathematischen Äquivalenz zwischen Kontext und Low-Rank-Gewichtsupdates argumentieren die Autoren:

ICL als implizites Fine-Tuning: ICL kann als implizites, Low-Rank Fine-Tuning der Feedforward-Gewichte des Modells verstanden werden, das durch den Kontext getrieben wird.
Verbindung zum Model Editing: Die abgeleiteten Rank-1-Updates verbinden ICL-Mechanismen natürlich mit bestehenden Techniken des Model Editing (z. B. ROME, MEND) und Steering-Vektoren, was darauf hindeutet, dass dies unterschiedliche Manifestationen desselben zugrunde liegenden Phänomens sind: kontextinduzierte Gewichtsmodulation.
Prompt-Engineering-Theorie: Die algebraische Abbildung von Prompt-Segmenten auf lineare Operatoren legt den Grundstein für eine formale Theorie des Prompt Engineerings und bewegt sich über Trial-and-Error hinaus.
Mechanistische Interpretierbarkeit: Die Fähigkeit, exakte Meta-Gradienten im Zusammenhang mit der Generierung zu extrahieren, bietet ein neues Werkzeug zur Überwachung der Modellgesundheit, um potenziell Halluzinationen oder Mode Collapse zu erkennen.
Architekturdesign: Das Framework legt nahe, dass die Fähigkeit, konvergente implizite Lern-Dynamiken zu erzeugen, ein kritischer Faktor im Architekturdesign für ICL ist, was die Dominanz von Attention-Mechanismen erklärt.

Die Autoren wahren eine bescheidene Haltung und merken an, dass ihre Theorie zwar den Mechanismus von ICL als implizites Gewichtsupdate erklärt, aber nicht behauptet, dass das Modell diese Updates während der Inferenz explizit berechnet. Vielmehr sind die Lern-Dynamiken eine abstrakte mathematische Äquivalenz zum Standard-Forward-Pass. Sie räumen zudem ein, dass der exakte Update zwar query-abhängig ist, ihr vorgeschlagener statischer Ansatz jedoch die Lücke zwischen theoretischer Beschreibung und praktischer Prompt-Kompression überbrückt.