💬 NLP

IA2: Alignment with ICL Activations Improves Supervised Fine-Tuning

Die vorgestellte Arbeit führt die ICL-Aktivierungs-Alignment-Methode (IA2) ein, eine Selbst-Distillierungstechnik, die durch die Nachahmung von In-Context-Learning-Aktivierungsmustern während des Fine-Tunings die Genauigkeit und Kalibrierung von Sprachmodellen erheblich verbessert.

Ursprüngliche Autoren: Aayush Mishra, Daniel Khashabi, Anqi Liu

Veröffentlicht 2026-03-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Aayush Mishra, Daniel Khashabi, Anqi Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🧠 Der Trick, um KI-Modelle „besser zu denken" zu lassen

Stell dir vor, du hast einen sehr klugen, aber noch etwas rohen Schüler (das KI-Modell). Du möchtest ihm eine neue Fähigkeit beibringen, zum Beispiel, wie man einen bestimmten Text zusammenfasst oder eine Matheaufgabe löst.

Es gibt im Grunde zwei Wege, diesem Schüler beizubringen, was er tun soll:

Der „Kopier"-Ansatz (SFT - Supervised Fine-Tuning):
Du gibst dem Schüler einen Stapel mit Aufgaben und den perfekten Lösungen daneben. Er lernt auswendig: „Wenn die Frage so aussieht, muss die Antwort so klingen."
- Das Problem: Der Schüler lernt oft nur die Oberfläche. Er kann die Antwort auswendig aufsagen, aber er versteht nicht wirklich den Weg, wie man darauf kommt. Wenn die Frage dann ein bisschen anders formuliert ist, stolpert er. Außerdem ist er oft unsicher: Er sagt die Antwort, ist sich aber nicht sicher, ob sie stimmt (schlechte Kalibrierung).
Der „Lernende"-Ansatz (ICL - In-Context Learning):
Du gibst dem Schüler keine neuen Gewichte, sondern sagst ihm: „Hier sind drei Beispiele, wie man das macht. Und hier ist deine neue Aufgabe." Der Schüler schaut sich die Beispiele an, denkt kurz nach und leitet die Antwort daraus ab.
- Der Vorteil: Er ist viel flexibler und versteht den Kontext besser. Er ist auch sicherer in seiner Antwort.
- Der Nachteil: Es kostet viel Zeit und Rechenleistung, jedes Mal die Beispiele neu vorzulesen. Man möchte das Wissen eigentlich in den Kopf des Schülers „einbrennen", damit er es ohne die Beispiele kann.

🚀 Die große Frage der Forscher

Die Forscher von Johns Hopkins stellten sich folgende Frage:

„Können wir die internen Gedankenprozesse des Schülers beim Lernen mit Beispielen (ICL) einfangen und nutzen, um ihn beim Auswendiglernen (SFT) besser zu machen?"

Bisher dachte man, das sei unmöglich. Wenn man dem Schüler die Lösungen gibt (SFT), denkt er anders als wenn er die Beispiele liest (ICL). Es ist, als würde er beim Auswendiglernen eine andere Art von Muskel benutzen als beim Verstehen.

💡 Die Lösung: IA2 (ICL-Activation Alignment)

Die Forscher haben eine geniale Methode entwickelt, die sie IA2 nennen. Stell dir das wie einen Zwischenschritt vor, bevor der Schüler richtig lernt.

Die Metapher: Der Tanz-Coach

Stell dir vor, der Schüler soll einen komplexen Tanz lernen.

Normales SFT: Der Trainer zeigt dem Schüler nur das Endergebnis: „Stell dich genau hier hin und hebe den Arm." Der Schüler lernt die Pose, aber nicht die Bewegung.
IA2 (Der neue Ansatz): Bevor der Schüler die Pose einnimmt, lässt der Trainer ihn erst einmal die Bewegung nachmachen, die er machen würde, wenn er die Beispiele (den Tanzfilm) ansehen würde.
- Der Trainer sagt: „Schau dir an, wie dein Körper sich bewegt, wenn du die Beispiele siehst. Spüre diese Muskelspannung. Halte genau diese Haltung!"
- Erst wenn der Schüler diese „ICL-Haltung" (die internen Aktivierungen) verinnerlicht hat, gibt ihm der Trainer die eigentliche Aufgabe und sagt: „Okay, jetzt mach die Pose."

Was passiert da technisch?
Das Modell wird nicht nur darauf trainiert, die richtige Antwort zu geben. Es wird zuerst darauf trainiert, die inneren Gedankenmuster (die Aktivierungen) zu imitieren, die es hat, wenn es Beispiele liest. Es lernt also, wie man denkt, bevor es lernt, was zu sagen ist.

🌟 Warum ist das so cool?

Die Ergebnisse sind beeindruckend:

Bessere Ergebnisse: Modelle, die diesen „IA2-Schritt" durchlaufen haben, sind viel genauer als Modelle, die nur die Antworten auswendig gelernt haben.
Mehr Sicherheit: Sie sind „kalibrierter". Das heißt, wenn sie eine Antwort geben, sind sie sich auch wirklich sicher, dass sie richtig ist. Sie raten nicht mehr blind.
Weniger Daten nötig: Das funktioniert besonders gut, wenn man nur wenige Beispiele hat (wenig Daten). Das ist in der echten Welt oft der Fall.

📊 Das Fazit in einem Satz

Die Forscher haben herausgefunden, dass man KI-Modelle nicht nur lehren kann, was sie sagen sollen, sondern dass man sie auch lehren kann, wie sie denken sollen, indem man ihre inneren Denkprozesse (die sie beim Lesen von Beispielen nutzen) in ihre Gewichte „einbrennt".

Es ist, als würde man einem Schüler nicht nur die Lösung einer Matheaufgabe geben, sondern ihm erst einmal zeigen, wie ein Genie denkt, bevor er die Lösung hinschreibt. Das Ergebnis? Ein Schüler, der nicht nur die Antwort kennt, sondern sie wirklich versteht.

Titel und Kontext

Titel: IA2: Alignment with ICL Activations Improves Supervised Fine-Tuning
Veröffentlicht: ICLR 2026
Autoren: Aayush Mishra, Daniel Khashabi, Anqi Liu (Johns Hopkins University)

1. Problemstellung

Große Sprachmodelle (LLMs) werden oft für spezialisierte Aufgaben angepasst. Die zwei gängigsten Methoden sind:

Supervised Fine-Tuning (SFT): Das Modell wird auf einem gelabelten Datensatz trainiert, um Gewichte zu aktualisieren. Dies ist effizient beim Inferenzlauf (keine zusätzlichen Tokens im Prompt nötig), erfordert aber viele gelabelte Daten und neigt in datenarmen Szenarien (Few-Shot) zu Overfitting oder „Shortcut Learning" (das Modell lernt oberflächliche Muster statt tieferer Zusammenhänge).
In-Context Learning (ICL): Das Modell wird zur Inferenzzeit durch Beispiele im Prompt (Demonstrationen) gesteuert, ohne Gewichte zu ändern. ICL zeigt oft bessere Generalisierung und Kalibrierung in datenarmen Settings, ist aber rechenintensiv und verbraucht wertvollen Kontextraum.

Die zentrale Forschungsfrage: Können die internen Berechnungen (Aktivierungen) von ICL genutzt werden, um die Qualität von SFT zu verbessern?
Die Autoren stellen fest, dass ICL und SFT trotz ähnlicher Ausgabe auf oberflächlicher Ebene unterschiedliche Aktivierungsmuster im Inneren des Modells erzeugen. SFT-Modelle verpassen oft die reichen, generalisierbaren Muster, die ICL aus dem Kontext extrahiert.

2. Methodik: IA2 (ICL Activation Alignment)

Die Autoren schlagen IA2 vor, eine Selbst-Distillations-Technik, die als Vorstufe (Priming) vor dem eigentlichen SFT durchgeführt wird. Das Ziel ist es, die funktionalen Verhaltensweisen von ICL in die Gewichte des SFT-Modells zu „injizieren".

Der zweistufige Pipeline-Ansatz:

IA2-Priming (Aktivierungs-Alignment):
- Ziel: Die Gewichte des Modells so anpassen, dass die internen Aktivierungen bei Eingabe einer Query (ohne ICL-Demos) den Aktivierungen entsprechen, die entstehen, wenn das gleiche Modell ICL-Demos im Kontext hat.
- Prozess:
  - Für einen Trainingsdatensatz werden ICL-Aktivierungen ( $A_{ICL}$ ) gesammelt, indem das Modell mit Demonstrationen ( $I$ ) und der Query ( $X$ ) gefüttert wird.
  - Anschließend wird das Modell nur mit der Query ( $X$ ) gefüttert, um die aktuellen Aktivierungen ( $A$ ) zu erhalten.
  - Ein Verlust ( $L_{IA2}$ ) wird berechnet, der den Mean Squared Error (MSE) zwischen den ICL-Aktivierungen und den reinen Query-Aktivierungen minimiert.
  - Dies zwingt das Modell, die „Logik" des ICL (wie es Kontext verarbeitet) direkt in seine Gewichte zu kodieren, ohne auf die Zielantworten (Ground Truth) zu achten.
Standard SFT:
- Nach dem IA2-Priming wird das Modell mit dem Standard Cross-Entropy-Verlust auf den Ground-Truth-Antworten trainiert.
- Da das Modell durch IA2 bereits in einem günstigeren Gewichtsraum (Subspace) gestartet ist, konvergiert es zu einer besseren Lösung mit höherer Genauigkeit und besserer Kalibrierung.

Technische Details:

Es werden Parameter-effiziente Fine-Tuning-Methoden (LoRA) verwendet, um die Gewichtsmatrizen der Self-Attention-Schichten ( $W_Q, W_K, W_O$ ) zu modifizieren.
Der Ansatz ist eine Form der Selbst-Distillation, da das Modell sich selbst als Lehrer (via ICL-Kontext) nutzt.

3. Wichtige Beiträge

Nachweis funktionaler Diskrepanz: Die Autoren zeigen empirisch, dass ICL und SFT (selbst bei denselben Daten) signifikant unterschiedliche Aktivierungsmuster erzeugen. SFT-Modelle weichen besonders in den mittleren Schichten des Transformers von ICL ab, wo abstrakte Muster verarbeitet werden.
Entwicklung von IA2: Einführung einer neuen Trainingsstrategie, die ICL-Aktivierungen als Lehrsignal nutzt, um SFT-Modelle zu „primen".
Verbesserung von Genauigkeit und Kalibrierung: Die Kombination aus IA2 und SFT führt zu Modellen, die nicht nur genauer sind, sondern auch besser kalibriert (weniger Expected Calibration Error - ECE) als reine SFT-Modelle.
Subraum-Analyse: Durch Analyse der LoRA-Gewichte wird gezeigt, dass IA2-Modelle einen Gewichtsraum besetzen, der für reines SFT unzugänglich ist. SFT-only-Modelle entwickeln Gewichte, die fast orthogonal zu denen von IA2-Modellen sind.

4. Ergebnisse

Die Methode wurde an 12 Benchmarks (einschließlich Sentiment-Analyse, Mathematik, Multiple-Choice-Fragen) und zwei Modellfamilien (Llama-3.2 und Qwen3) getestet.

Single-Token-Aufgaben (Klassifikation):
- IA2 $\rightarrow$ SFT übertrifft reines SFT in fast allen Fällen signifikant sowohl bei der Genauigkeit (Accuracy) als auch bei der Kalibrierung (ECE).
- In vielen Szenarien erreicht IA2 $\rightarrow$ SFT eine Genauigkeit, die der von ICL entspricht oder diese sogar übertrifft, bei gleichzeitigem Wegfall des ICL-Overheads (kein Kontextverbrauch).
- Beispiel (Qwen3-4B, N=4): Auf dem SST2-Datensatz erreichte IA2 $\rightarrow$ SFT 71,4 % Genauigkeit gegenüber 59,4 % bei reinem SFT.
Multi-Token-Aufgaben (Generierung/Mathematik):
- Auch bei komplexeren Aufgaben wie GSM8K (Mathe) zeigt IA2 $\rightarrow$ SFT Verbesserungen gegenüber reinem SFT.
- In einigen Fällen bleibt ICL selbst noch leicht überlegen (besonders bei sehr wenigen Shots), da ICL in bestimmten Domänen (z. B. STEM-Daten bei Qwen) extrem sample-effizient ist. Dennoch schließt IA2 $\rightarrow$ SFT die Lücke schnell und ist konsistent besser als SFT-only.
Vergleich mit anderen Methoden:
- Wissensdistillation (Soft Labels): IA2 übertrifft oder gleicht Soft-Label-Distillation ab, ist aber konsistenter über verschiedene Aufgaben hinweg.
- IA2 + SFT (gleichzeitiges Training): Ein gleichzeitiges Training von IA2- und SFT-Verlusten ist schwierig, da die Ziel-Aktivierungen (ICL-Antworten) oft von den Ground-Truth-Antworten abweichen. Die sequenzielle Methode (IA2 $\rightarrow$ SFT) erwies sich als robuster.

5. Bedeutung und Fazit

Praktischer Nutzen: IA2 bietet einen Weg, die Vorteile von ICL (Generalisierung, Kalibrierung) in effiziente SFT-Modelle zu übertragen. Dies ermöglicht den Einsatz von spezialisierten Modellen ohne den hohen Inferenzkosten von ICL.
Konzeptioneller Einblick: Die Arbeit liefert Einblicke in die „innere Mechanik" der Modelladaptation. Sie zeigt, dass SFT nicht nur Output-Alignment benötigt, sondern auch funktionales Alignment mit den internen Verarbeitungspfaden von ICL, um Overfitting zu vermeiden und generalisierbare Muster zu lernen.
Zukunftsaussichten: Die Autoren schlagen vor, IA2 auch auf RL-tuned Modelle anzuwenden und die Selektivität der Aktivierungsalignment (welche Schichten alignen) weiter zu erforschen.

Zusammenfassend beweist das Paper, dass die Nutzung von ICL-Aktivierungen als Lehrsignal für SFT eine einfache, aber hochwirksame Methode ist, um die Leistung von Fine-Tuning in datenarmen Szenarien drastisch zu verbessern.