💬 NLP

Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning

Dieser Beitrag stellt den Linear Task Vector (LTV) vor, eine Methode, die Task-Vektoren durch Minimierung der Verteilungsabweichung zwischen der Inferenz auf Basis von Task-Vektoren und der Inferenz mittels In-Context-Learning entwirft und dadurch die Genauigkeit sowie Effizienz bei Klassifikations-, Regressions- und Cross-Model-Transfer-Aufgaben erheblich verbessert.

Ursprüngliche Autoren: Jihoon Kwon, Jiwon Choi, Jy-yong Sohn

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jihoon Kwon, Jiwon Choi, Jy-yong Sohn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „schwere Rucksack" des Lernens

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (ein Large Language Model), der neue Aufgaben lernen kann, indem er einfach Beispiele liest. Dies nennt man In-Context Learning (ICL).

Wenn Sie möchten, dass der Roboter ein Gedicht im Stil von Shakespeare schreibt, müssen Sie das Gehirn des Roboters nicht neu trainieren. Sie geben ihm einfach ein paar Beispiele für Shakespeares Gedichte an den Anfang seines Bildschirms und bitten ihn dann, eines zu schreiben. Das funktioniert hervorragend!

Aber es gibt einen Haken: Jedes Mal, wenn Sie ein Beispiel hinzufügen, muss der Roboter einen schwereren „Rucksack" voller Informationen tragen. Wenn Sie ihm 50 Beispiele geben, wird der Rucksack riesig. Dies macht den Roboter langsam und teuer im Betrieb, da er jedes Mal, wenn er eine Frage beantwortet, all diese Beispiele durchlesen muss.

Die vorgeschlagene Lösung: Der „Spickzettel" (Task Vectors)

Forscher wollten einen Weg finden, den Roboter schnell, aber dennoch intelligent zu halten. Sie kamen auf die Idee eines Task Vectors.

Stellen Sie sich den Task Vector als einen verdichteten Spickzettel vor. Anstatt den Roboter jedes Mal 50 Beispiele lesen zu lassen, lesen Sie diese einmal, extrahieren die „Essenz" der Aufgabe und schreiben sie auf einen winzigen Klebezettel (den Vektor). Dann kleben Sie diesen Zettel auf die Stirn des Roboters. Nun kann der Roboter die Aufgabe erledigen, ohne den schweren Rucksack voller Beispiele zu lesen.

Das Problem mit alten Spickzetteln:
Bis jetzt wusste niemand, wie man den besten Spickzettel schreibt. Forscher probierten einfach verschiedene Methoden aus, um sie herzustellen, und sahen, welche die besten Testergebnisse lieferte. Es war, als würde man versuchen, einen Kuchen zu backen, indem man das Rezept errät: „Vielleicht füge ich mehr Salz hinzu? Nein, das schmeckt schlecht. Vielleicht weniger Mehl?" Sie hatten keine Möglichkeit zu messen, warum ein Rezept besser war als ein anderes, bis sie den fertigen Kuchen probierten.

Die neue Idee: Den „Geschmack" abgleichen (Distributional Alignment)

Die Autoren dieses Papers schlagen einen neuen Weg vor, um diese Spickzettel zu bewerten. Sie sagen: „Ein guter Spickzettel sollte den Roboter dazu bringen, genau so zu denken, wie er es täte, wenn er alle Beispiele gelesen hätte."

Sie entwickelten eine Metrik namens dNTP (was wie ein komplizierter mathematischer Begriff klingt, aber denken Sie daran als „Score für Geschmacksabweichung").

Szenario A (Schwerer Rucksack): Der Roboter liest die Beispiele und rät das nächste Wort.
Szenario B (Spickzettel): Der Roboter schaut auf den Klebezettel und rät das nächste Wort.

Wenn der „Score für Geschmacksabweichung" hoch ist, ist der Spickzettel schlecht, weil der Roboter anders rät, als er sollte. Wenn der Score niedrig ist, ist der Spickzettel perfekt, weil der Roboter genau so denkt, wie er es mit dem vollen Rucksack tun würde.

Die Entdeckung: Sie stellten fest, dass der Roboter tatsächlich besser in den Tests wird, wenn man diese „Geschmacksabweichung" minimiert. Das bedeutet, Sie müssen nicht raten; Sie müssen nur sicherstellen, dass der Spickzettel den „Geschmack" der vollständigen Beispiele trifft.

Die neue Methode: Der „Lineare Task Vector" (LTV)

Unter Verwendung dieser neuen Regel entwickelten die Autoren eine neue Methode namens Linear Task Vector (LTV).

Stellen Sie sich vor, Sie versuchen herauszufinden, wie stark die Beispiele das Gehirn des Roboters verändern.

Alte Methoden waren wie der Versuch, die Veränderung zu erraten, indem man das Gehirn des Roboters auf sehr komplizierte, umständliche Weise betrachtet.
LTV ist wie die Verwendung eines geraden Lineals. Es betrachtet das Gehirn des Roboters ohne Beispiele, betrachtet das Gehirn mit Beispielen und zieht eine gerade Linie, um genau zu berechnen, wie stark die Dinge durch die Beispiele verändert wurden.

Da es einen einfachen mathematischen Trick mit einer geraden Linie verwendet (sogenannte lineare Regression), ist die Berechnung unglaublich schnell. Sie rechnen einmal, schreiben den Spickzettel, und dann ist der Roboter startklar.

Die Ergebnisse: Schneller, intelligenter und übertragbar

Die Autoren testeten dies an acht verschiedenen Aufgaben (wie das Sortieren von Nachrichtenartikeln oder die Analyse von Filmrezensionen) und fünf verschiedenen Robotermodellen.

Bessere Genauigkeit: Die neue LTV-Methode war in allem die Beste. Im Durchschnitt verbesserte sie die Genauigkeit des Roboters um 9,2 % im Vergleich zu den alten Methoden.
Schnellere Geschwindigkeit: Da die Mathematik einfach ist, beantwortet der Roboter Fragen fast so schnell, als hätte er gar keinen Spickzettel. Es spart eine enorme Menge an Zeit und Geld.
Der „Großbruder"-Effekt: Sie entdeckten etwas Cooleres: Man kann einen Spickzettel mit einem riesigen, superschlauen Roboter (wie einem 72-Milliarden-Parameter-Modell) erstellen und ihn einem kleineren, schwächeren Roboter (wie einem 7-Milliarden-Parameter-Modell) geben.
- Analogie: Stellen Sie sich vor, ein genialer Professor schreibt einen Lernzettel für eine schwierige Prüfung. Er gibt diesen Leitfaden einem High-Schüler. Obwohl der Schüler nicht so schlau ist wie der Professor, hilft ihm dieser spezifische Leitfaden, die Prüfung viel besser zu bestehen, als er es allein könnte.
- Ergebnis: Der kleine Roboter wurde 6,4 % besser in Aufgaben, nur weil er den vom großen Roboter erstellten Spickzettel verwendete.

Zusammenfassung

Das Problem: Das Lesen von Beispielen macht KI langsam und teuer.
Die alte Lösung: Versuchen, Beispiele in einen „Vektor" zu komprimieren, aber wir wussten nicht, wie man misst, ob die Komprimierung gut war.
Die neue Erkenntnis: Eine gute Komprimierung lässt die KI genau so denken, wie sie es mit den vollständigen Beispielen tun würde.
Das neue Werkzeug: Ein einfacher, schneller mathematischer Trick (LTV), der die bestmögliche Komprimierung erstellt.
Der Gewinn: Es ist genauer, schneller und ermöglicht es sogar großen Robotern, kleinen Robotern zu helfen, besser zu lernen.

Technische Zusammenfassung: Distributionale Ausrichtung als Kriterium für die Gestaltung von Task-Vektoren im In-Context Learning

Problemstellung

In-Context Learning (ICL) ermöglicht es Large Language Models (LLMs), sich an neue Aufgaben anzupassen, indem beschriftete Demonstrationen der Eingabeabfrage vorangestellt werden. Obwohl ICL effektiv ist, verursacht es mit zunehmender Kontextlänge steigende Inferenzkosten und Speicherüberhead, was seine praktische Nutzbarkeit unter Ressourcenbeschränkungen behindert. Um dies zu adressieren, haben neuere Forschungen Task-Vektoren (TVs) vorgeschlagen: kompakte verborgene Zustandsdarstellungen, die aus den internen Aktivierungen eines LLM während des ICL extrahiert werden. Diese Vektoren kapseln aus den Demonstrationen abgeleitete Aufgabeninformationen ein und ermöglichen dem Modell die Aufgabenanpassung während der Zero-Shot-Inferenz ohne erneute Verarbeitung der Demonstrationen.

Allerdings fehlt es den bestehenden Methoden zur Extraktion von Task-Vektoren an einem prinzipiellen Gestaltungskriterium. Derzeit wird die Qualität einer Task-Vektor-Extraktionsmethode ausschließlich anhand der Genauigkeit bei nachgelagerten Aufgaben bewertet. Diese indirekte Metrik bietet nur begrenzte Einblicke, warum eine Methode eine andere übertrifft oder wie effektivere Extraktionsmechanismen gestaltet werden können. Es besteht ein Bedarf an einem direkten, theoretisch fundierten Kriterium zur Bewertung und Optimierung der Qualität von Task-Vektoren.

Methodik

1. Das vorgeschlagene Kriterium: Distributionale Ausrichtung

Die Autoren gehen davon aus, dass das primäre Ziel eines Task-Vektors darin besteht, den Effekt der Demonstrationen so zu kondensieren, dass die resultierende Vorhersageverteilung eng mit der der Standard-ICL übereinstimmt. Um diese Ausrichtung zu quantifizieren, führen sie dNTP (Diskrepanz in der Next-Token-Wahrscheinlichkeit) ein.

Definition: dNTP misst die Kullback-Leibler-Divergenz (KL-Divergenz) zwischen der Vorhersageverteilung des nächsten Tokens unter ICL ( $P_{icl}$ ) und der Verteilung unter taskvektorbasierter Inferenz ( $P_{tv}$ ).
$dNTP(f; Z) = \mathbb{E}_{x \sim D} \left[ D_{KL} \left( P_{icl}(\cdot | x, Z) \parallel P_{tv}(\cdot | x, f(Z)) \right) \right]$
wobei $f$ die Extraktionsfunktion ist und $Z$ die Demonstrationen repräsentiert.
Validierung: Eine empirische Analyse über mehrere Modelle und Benchmarks hinweg zeigt eine starke negative Korrelation zwischen dNTP und der Genauigkeit bei nachgelagerten Aufgaben. Ein niedrigeres dNTP sagt konsistent eine höhere Genauigkeit voraus und etabliert dNTP als gültigen Proxy für die Qualität von Task-Vektoren, der keine Testset-Markierungen erfordert.

2. Vorgeschlagene Methode: Linearer Task-Vektor (LTV)

Motiviert durch das Ziel, dNTP zu minimieren, schlagen die Autoren den Linearen Task-Vektor (LTV) vor. Die Methode leitet sich aus einem Proxy-Optimierungsproblem ab.

Begründung: Die direkte Minimierung von dNTP ist unlösbar, da sie keine geschlossene Formlösung besitzt und iterative Updates erfordert. Die Autoren beweisen, dass die Minimierung des mittleren quadratischen Fehlers (MSE) zwischen den verborgenen Zuständen von ICL ( $h_{icl}$ ) und dem Zero-Shot-verborgenen Zustand plus dem Task-Vektor ( $h_{zs} + v$ ) als obere Schranke für dNTP dient.
$LMSE(f) = \mathbb{E} \left[ \| h_{icl} - (h_{zs} + f(Z)) \|_2^2 \right]$
Lineare Abbildung: Um den „training-freien" Vorteil von ICL zu bewahren (Vermeidung von Modellparameter-Updates), beschränkt LTV die Extraktionsfunktion $f$ auf eine lineare Abbildung. Der Task-Vektor $v$ wird als lineare Transformation des Zero-Shot-verborgenen Zustands $h_{zs}$ geschätzt:
$v = W h_{zs}(x)$
Geschlossene Formlösung: Die optimale lineare Abbildung $W^*$ wird mittels Ridge-Regression auf einem Satz unbeschrifteter Trainingsabfragen berechnet. Die Regression zielt auf die Differenz zwischen dem ICL-verborgenen Zustand und dem Zero-Shot-verborgenen Zustand ( $h_{icl} - h_{zs}$ ) ab.
$W^* = \arg\min_W \left( \| Y - W H \|_F^2 + \lambda \| W \|_F^2 \right)$
wobei $H$ Zero-Shot-verborgene Zustände enthält und $Y$ die Ziel-Differenzen enthält. Dies liefert eine geschlossene Formlösung und gewährleistet Effizienz.

Hauptbeiträge

dNTP-Metrik: Einführung einer Metrik, die die Diskrepanz zwischen TV-basierten und ICL-basierten Inferenzverteilungen quantifiziert. Die Arbeit zeigt, dass dNTP ein starker Leistungsproxy ist, der negativ mit der Genauigkeit bei nachgelagerten Aufgaben korreliert.
Linearer Task-Vektor (LTV): Entwicklung einer Task-Vektor-Extraktionsmethode, die dNTP durch eine geschlossene lineare Abbildung minimiert. Dieser Ansatz vermeidet iterative Optimierung und Feinabstimmung des Modells.
Empirische Überlegenheit: Umfassende Experimente zeigen, dass LTV bestehende training-freie Baselines (Function Vector, Task Vector, State Vector, I2CL) über acht Klassifizierungs-Benchmarks und fünf LLMs hinweg übertrifft.
Modellübergreifende Übertragbarkeit: Demonstration, dass Task-Vektoren, die aus einem größeren Modell (z. B. 72B) extrahiert wurden, auf ein kleineres Modell (z. B. 7B) übertragen werden können, um die Leistung zu verbessern, was Szenarien adressiert, in denen das Inferenzmodell eine begrenzte Kapazität oder Kontextlänge aufweist.

Experimentelle Ergebnisse

Klassifizierungsleistung: Über fünf LLMs (einschließlich LLaMA-2/3 und Qwen-Varianten) und acht Benchmarks (z. B. SST-2, AGNews, DBPedia) hinweg erreichte LTV die höchste durchschnittliche Genauigkeit. Insbesondere bei LLaMA-2-13B verbesserte LTV die durchschnittliche Genauigkeit um 9,2 % gegenüber der besten Baseline (State Vector) und erreichte 79,46 %.
Effizienz: LTV behält eine Inferenz-Latenz bei, die mit der Zero-Shot-Inferenz vergleichbar ist (ca. 0,0226 s pro Probe), was deutlich schneller ist als ICL. Obwohl die Extraktion einmalige Vorausberechnungskosten erfordert, werden diese über das Testset amortisiert.
Regressionsaufgaben: LTV wurde auch an linearen und ReLU-Regressionsaufgaben evaluiert und erzielte den niedrigsten mittleren quadratischen Fehler (MSE) unter allen Task-Vektor-Baselines.
Robustheit: Die Methode bleibt robust gegenüber Variationen in Hyperparametern (Anzahl der Trainingsabfragen $N$ und Regularisierung $\lambda$ ) sowie der Anzahl der Demonstrationen ( $k$ ).
Übertragbarkeit: Die Übertragung von LTV von einem Qwen-2.5-72B-Modell auf ein Qwen-2.5-7B-Modell verbesserte die durchschnittliche Klassifizierungsgenauigkeit des kleineren Modells um 6,43 % und erreichte in einigen Fällen sogar die Leistung des eigenen LTV des größeren Modells.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass distributionale Ausrichtung ein fundamentales und nützliches Kriterium für die Gestaltung von Task-Vektor-Extraktionsmethoden ist. Durch die Verschiebung des Evaluierungsfokus von indirekter nachgelagerter Genauigkeit auf direkte distributionale Diskrepanz (dNTP) bieten die Autoren einen prinzipiellen Rahmen zum Verständnis und zur Verbesserung von Task-Vektoren.

Die Bedeutung von LTV liegt in seiner Fähigkeit:

Die Lücke zu schließen zwischen dem theoretischen Ziel von ICL (implizite bayesianische Inferenz) und der praktischen Implementierung (kompakte Vektoren) ohne Modell-Updates.
Eine rechnerisch effiziente Alternative zu ICL zu bieten, die die Inferenz-Latenz reduziert und gleichzeitig eine hohe Genauigkeit beibehält.
Modellübergreifende Übertragbarkeit zu ermöglichen, was darauf hindeutet, dass aus größeren, leistungsfähigeren Modellen extrahierte Aufgabenrepräsentationen als Ressource für kleinere Modelle mit begrenztem Kontext oder begrenzter Kapazität dienen können.

Die Autoren schließen, dass LTV einen effizienteren und effektiveren Rahmen für die Aufgabenkompression in LLMs bietet und die Hypothese validiert, dass die Minimierung der Diskrepanz zwischen TV- und ICL-Verteilungen zu einer überlegenen Aufgabenanpassung führt.