🤖 machine learning

Compositional Generalization in Autoregressive Models via Logit Composition

Dieser Beitrag stellt eine prinzipielle Strategie zur Logit-Komposition für autoregressive Modelle vor, die von Diffusionsmethoden inspiriert ist und eine projektive Kontrolle über Ausgabesubräume sowie die Erhaltung der Längengeneralisierung unter Faktorisierten-Bedingungsannahmen gewährleistet.

Ursprüngliche Autoren: Aakash Kumar, Maria Sofia Bucarelli, Emanuele Natale

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aakash Kumar, Maria Sofia Bucarelli, Emanuele Natale

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von drei sehr spezifischen Köchen, die in einer Küche arbeiten.

Chef Basis (Der Hintergrund): Dieser Koch ist hervorragend darin, das Rezept genau so zu befolgen, wie es geschrieben steht. Wenn Sie ein einfaches Sandwich bestellen, fertigt er ein perfektes einfaches Sandwich an. Er fügt nichts Zusätzliches hinzu.
Chef Math: Dieser Koch ist ein Zauberer beim Hinzufügen von Käse und Gewürzen, aber nur, wenn das Rezept dies verlangt. Wenn das Rezept „Käse hinzufügen" sagt, erledigt er dies perfekt. Wenn nicht, lässt er das Sandwich unberührt.
Chef Code: Dieser Koch ist ein Experte beim Hinzufügen von Salat und Tomaten, aber nur, wenn das Rezept dies verlangt.

Das Problem:
Normalerweise müssen Sie, wenn Sie ein Sandwich mit sowohl Käse als auch Salat wünschen, einen riesigen Koch einstellen, der weiß, wie man alles gleichzeitig macht. Oder Sie versuchen, die drei Köche zu vermischen, indem Sie ihre Schürzen (Gewichte) verschmelzen oder ihnen befehlen, sich abzuwechseln (Routing). Doch oft entsteht dadurch Chaos: Chef Math versucht möglicherweise, Käse hinzuzufügen, während Chef Code versucht, Salat hinzuzufügen, oder sie streiten darüber, wie das Sandwich fertigzustellen ist, was zu einem chaotischen, ungenießbaren Haufen Essen führt.

Die Lösung des Papiers: „Logit Composition"
Die Autoren dieses Papiers schlagen eine neue Art vor, diese Köche zu kombinieren. Anstatt ihre Schürzen zu vermischen oder sie sich abwechseln zu lassen, lassen sie alle drei Köche gleichzeitig ihre Vorschläge für die nächste Zutat äußern, jedoch mit einer speziellen Regel:

Die Regel: Sie nehmen den Vorschlag von Chef Math, addieren den Vorschlag von Chef Code und subtrahieren dann den Vorschlag von Chef Basis.
Die Magie: Da Chef Basis nur die „einfache" Version ist, hebt das Subtrahieren seiner Stimme das Rauschen auf.
- Wenn das Rezept Käse benötigt, ist Chef Math laut, Chef Code ist leise (weil er nichts über Käse weiß), und Chef Basis ist neutral. Die Mathematik ergibt sich so, dass die endgültige Entscheidung „Käse hinzufügen" lautet.
- Wenn das Rezept Salat benötigt, ist Chef Code laut, Chef Math ist leise, und Chef Basis ist neutral. Die endgültige Entscheidung lautet „Salat hinzufügen".
- Wenn das Rezept nichts Besonderes benötigt, sind alle leise, und das Sandwich bleibt einfach.

Warum dies funktioniert (Das „Disjunkte" Geheimnis)
Das Papier argumentiert, dass dies nur dann perfekt funktioniert, wenn die Köche disjunkte Aufgaben haben.

Chef Math berührt nur die „Käse-Schritte".
Chef Code berührt nur die „Salat-Schritte".
Sie versuchen niemals gleichzeitig, die Aufgabe des anderen zu erledigen.

Wenn Chef Math versucht, Käse hinzuzufügen, während Chef Code Salat hinzufügt, könnten sie gegeneinander prallen. Wenn sie jedoch genau wissen, wann sie handeln müssen (z. B. „Ich handle nur bei Schritt 3, du handelst nur bei Schritt 5"), können sie nahtlos zusammenarbeiten, ohne zu streiten. Das Papier nennt dies „Factorized Conditionals".

Die „Projektive" Garantie
Das Papier beweist, dass, wenn die Köche in ihren spezifischen Zonen bleiben, das endgültige Sandwich (die Ausgabe) genau das sein wird, was man erhalten würde, wenn man einen Super-Koch eingestellt hätte, der beide Fähigkeiten perfekt beherrscht.

Der „Käse"-Teil des Sandwichs stammt zu 100 % von Chef Math.
Der „Salat"-Teil stammt zu 100 % von Chef Code.
Der „Brot"-Teil stammt zu 100 % von Chef Basis.

Sie stören sich nicht gegenseitig. Es ist wie eine Projektion: Wenn Sie nur den Käse-Teil betrachten, sieht er genau so aus, als hätte Chef Math ihn gemacht. Wenn Sie den Salat betrachten, sieht er genau so aus, als hätte Chef Code ihn gemacht.

Funktioniert es für lange Rezepte? (Längengeneralisierung)
Das Papier hat auch überprüft, ob dies für sehr lange Rezepte (wie ein 100-seitiges Kochbuch) funktioniert, die die Köche noch nie gesehen haben. Sie stellten fest, dass die kombinierte Mannschaft, solange die Köche ihre spezifischen „Zonen" kennen (z. B. „Ich handle Schritte 10–20") und das Rezept demselben Muster folgt, das lange Rezept genauso gut bewältigen kann wie das kurze. Sie geraten nicht nur deshalb in Verwirrung, weil das Buch dicker ist.

Realwelt-Test
Die Autoren testeten dies mit echten KI-Modellen (Large Language Models):

Sie nahmen ein Basis-Modell (Gemma 2).
Sie nahmen eine Version, die für Mathematik feinabgestimmt war.
Sie nahmen eine Version, die für Programmierung feinabgestimmt war.
Sie kombinierten sie mit ihrer „Rufen"-Regel.

Das Ergebnis:
Das neue kombinierte Modell wurde besser im Programmieren als der Programmier-Experte allein, und es behielt fast alle Fähigkeiten des Mathematik-Experten bei. Es verlor seine mathematischen Fähigkeiten nicht einfach nur deshalb, weil es Programmieren lernte. Es war eine „Beste aus beiden Welten"-Situation, ohne das gesamte Team von Grund auf neu trainieren zu müssen.

Der Haken
Das Papier räumt ein, dass dies am besten funktioniert, wenn die Aufgaben klar getrennt sind. Wenn Sie versuchen, zu viele Experten zu kombinieren (z. B. einen „Poesie"-Koch und einen „Geschichte"-Koch hinzuzufügen), könnte das Team verwirrt werden, wann sie aufhören sollen zu sprechen, was zu Kauderwelsch führt. Aber für klare, getrennte Fähigkeiten ist diese „Logit Composition" eine leistungsstarke, prinzipiengeleitete Methode, um modulare KI-Systeme zu erstellen.

Technische Zusammenfassung: Kompositionelle Generalisierung in autoregressiven Modellen durch Logit-Komposition

Problemstellung

Das Kombinieren spezialisierter generativer Modelle, um Systeme zu schaffen, die modular, wiederverwendbar und kontrollierbar sind, bleibt eine Kernherausforderung in der Forschung zu Large Language Models (LLMs). Bestehende Ansätze für autoregressive Modelle operieren typischerweise im Parameterraum (z. B. Gewichtsinterpolation, Task-Arithmetik, sparsitätsbasiertes Zusammenführen) oder im Architekturraum (z. B. Mixture-of-Experts mit dynamischem Routing). Während diese Methoden feinabgestimmte Checkpoints kombinieren, fehlt es ihnen oft an expliziten, statischen Garantien bezüglich der resultierenden Ausgabeverteilung oder sie liefern keine prinzipielle Regel dafür, wie Komponenten ohne Interferenz interagieren.

Im Gegensatz dazu haben Diffusionsmodelle Erfolge bei der kompositionellen Generierung gezeigt, indem sie Score-Funktionen linear kombinieren, eine Perspektive, die kürzlich von Bradley et al. [2025] durch das Konzept der projektiven Komposition formalisiert wurde. Dieses Framework wurde jedoch nicht auf autoregressive Modelle übertragen, bei denen die Generierung inhärent sequentiell ist und von einem sich entwickelnden Präfix abhängt, wodurch die Anwendbarkeit spezifischer Fähigkeiten vom aktuellen Zustand der generierten Sequenz abhängt.

Methodik

Die Autoren schlagen eine selektive Kompositionsstrategie für autoregressive Systeme (wie Transformer) vor, die direkt im Wahrscheinlichkeitsraum und nicht im Parameterraum operiert. Gegeben ein Hintergrundmodell $p_b$ und eine Menge spezialisierter Modelle $\{p_1, \dots, p_k\}$ , wird das zusammengesetzte Modell $\hat{p}$ durch eine explizite arithmetische Regel definiert, die auf bedingte Next-Token-Verteilungen angewendet wird:

$\hat{p}(y_t | x, y_{<t}) = \frac{1}{Z_t} p_b(y_t | x, y_{<t}) \prod_{i=1}^k \frac{p_i(y_t | x, y_{<t})}{p_b(y_t | x, y_{<t})}$

wobei $Z_t$ eine Normalisierungskonstante ist. Diese Formulierung fügt effektiv die Log-Wahrscheinlichkeiten der Experten hinzu und subtrahiert die Log-Wahrscheinlichkeiten des Hintergrundmodells.

Theoretisches Framework

Die Arbeit etabliert Bedingungen, unter denen diese Komposition nachweislich korrekt ist und die unterschiedlichen Verhaltensweisen der Komponentenmodelle erhält:

Faktorisierbare Konditionale (Token-Raum): Die Autoren definieren eine Eigenschaft, bei der der Generierungsraum in disjunkte Mengen von Token-Indizes (Masken) partitioniert wird. Wenn jedes spezialisierte Modell $p_i$ unabhängig auf seiner zugewiesenen Maske $M_i$ wirkt und andernorts mit dem Hintergrundmodell $p_b$ übereinstimmt, ist die Komposition projektiv. Dies bedeutet, dass die Randverteilung des zusammengesetzten Modells auf jeder Maske $M_i$ identisch mit der des spezialisierten Modells $p_i$ ist.
Faktorisierbarkeit von Fähigkeiten (Sequentielle Einstellung): Unter Berücksichtigung, dass autoregressive Aufgaben (wie trigonometrische Beweise) von der Historie der generierten Token abhängen, führen die Autoren die Faktorisierbarkeit von Fähigkeiten ein. Ein Modell ist faktorisierbar, wenn sein Verhalten in eine Hintergrundphase, eine spezifische Fähigkeitsphase (definiert durch Stoppzeiten $\tau_1, \tau_2$ ) und eine Rückkehr zur Hintergrundphase zerlegt werden kann.
Gemeinsame Faktorisierbarkeit: Damit eine Sammlung von Modellen korrekt komponiert werden kann, müssen ihre aktiven Intervalle (in denen sie vom Hintergrund abweichen) paarweise disjunkt sein. Unter dieser Bedingung wendet das zusammengesetzte Modell jede Fähigkeit genau während ihres zugewiesenen Intervalls an und kehrt andernfalls zum Hintergrundmodell zurück.
Erweiterung auf Merkmalsräume: Das Framework wird über eine invertierbare Abbildung $D$ auf abstrakte Merkmalsräume erweitert. Wenn die Pushforward-Verteilungen die Eigenschaft faktorisierter Konditionaler im Merkmalsraum erfüllen, bleibt die Komposition gültig, was die Kombination von Modellen ermöglicht, die möglicherweise keine disjunkten Token-Domänen, aber disjunkte „konzeptionelle" Domänen haben.
Längengeneralisierung: Die Arbeit argumentiert, dass, wenn die Faktorisierungsannahmen und Komponenten-Garantien bei einer Ziel-Länge einheitlich gelten, das zusammengesetzte Modell das längengeneralisierende Verhalten seiner Komponenten erbt.

Verbindung zur Modell-Zusammenführung

Die Autoren ziehen eine theoretische Verbindung zwischen ihrer Komposition im Wahrscheinlichkeitsraum und der Task-Arithmetik (Ilharco et al. [2023]). Sie zeigen, dass in einem linearen Setting das Hinzufügen von Task-Vektoren im Parameterraum mathematisch äquivalent zur multiplikativen Komposition von Ausgabeverteilungen ist. Dies legt nahe, dass der empirische Erfolg von Techniken zur Modellzusammenführung durch ein zugrundeliegendes additives Kompositionsprinzip erklärt werden kann, bei dem Task-Updates disjunkte Regionen des Ausgaberaums beeinflussen.

Hauptbeiträge

Prinzipielles Framework: Einführung eines Rahmens im Wahrscheinlichkeitsraum zur Komposition autoregressiver Modelle, der das Konzept der projektiven Komposition von Diffusionsmodellen auf sequentielle Generierung erweitert.
Korrektheitsgarantien: Identifizierung spezifischer Bedingungen (faktorisierbare Konditionale und gemeinsame Faktorisierbarkeit), unter denen die Komposition nachweislich korrekt ist und sicherstellt, dass Komponenten die Kontrolle über ihre zugewiesenen Teilräume ohne Interferenz behalten.
Längengeneralisierung: Nachweis, dass die Komposition das längengeneralisierende Verhalten erhält, wenn die Faktorisierungsannahmen bei der Ziel-Länge einheitlich gelten.
Theoretische Brücke: Verbindung des vorgeschlagenen Frameworks mit bestehenden Methoden zur Modellzusammenführung (insbesondere Task-Arithmetik) und Bereitstellung einer theoretischen Erklärung dafür, warum bestimmte Zusammenführungsheuristiken erfolgreich sind.
Empirische Validierung: Verifizierung des Ansatzes sowohl an synthetischen Aufgaben als auch an Benchmarks für Large Language Models.

Ergebnisse

Die Autoren validieren ihren Ansatz durch zwei primäre experimentelle Settings:

Kontrollierte Toy-Aufgabe: In einer Buchstaben-Ersetzungsaufgabe, bei der Modelle trainiert wurden, bestimmte Zeichen zu ersetzen (z. B. 'A' $\to$ 'B', 'C' $\to$ 'D'), erreichte das zusammengesetzte Modell 100 % Erfolg bei der gleichzeitigen Durchführung beider Transformationen. Dies bestätigte, dass der Kompositionsoperator disjunkte Fähigkeiten korrekt integriert.
LLM-Benchmarks: Unter Verwendung eines Gemma 2 2B Basismodells ( $p_{base}$ $p_{ba se}$ ) und zwei feinabgestimmter Experten ( $p_{math}$ $p_{ma t h}$ und $p_{coding}$ $p_{co d in g}$ ) stellten die Autoren ein Modell $\hat{p}$ $\overset{p}{^}$ zusammen und evaluierten es auf vier Benchmarks:
- Coding: Auf HumanEval+ und MBPP+ übertraf das zusammengesetzte Modell den Coding-Experten allein (30,5 vs. 24,4 bzw. 39,4 vs. 38,1).
- Mathematik: Auf GSM8K und MATH behielt das zusammengesetzte Modell signifikante Leistung des Math-Experten bei (41,2 vs. 50,2 bzw. 24,2 vs. 25,5), was zeigt, dass die Coding-Fähigkeit das mathematische Denken nicht katastrophal störte.
- Einschränkung: Die Autoren stellen fest, dass die Komposition von mehr als zwei Experten zu einer starken Verschlechterung der Generierungsqualität führte, wahrscheinlich aufgrund von Instabilität bei der Vorhersage von End-of-Sequence-Token und dem Terminierungsverhalten.

Bedeutung und Behauptungen

Die Arbeit behauptet, ein prinzipielles Verständnis dafür zu liefern, wann und warum Modellkomposition und -zusammenführung in autoregressiven Systemen erfolgreich sind. Durch die Verlagerung des Fokus vom Parameterraum auf den Wahrscheinlichkeitsraum identifizieren die Autoren Bedingungen, unter denen Interaktionen zwischen Modellen stabil und nicht-interferierend bleiben.

Die Bedeutung liegt in der Bereitstellung einer statischen, expliziten Kompositionsregel mit theoretischen Garantien, im Gegensatz zu dynamischen Routing-Methoden oder heuristischer Parameterdurchschnittsbildung. Die Arbeit legt nahe, dass die Komposition autoregressiver Modelle als strukturierte probabilistische Operation verstanden werden kann, was potenziell den Aufbau modularerer und kontrollierbarer LLMs ermöglicht. Die Autoren bleiben jedoch bescheiden und erkennen an, dass ihre Faktorisierungsannahmen in der Praxis möglicherweise nicht für alle vortrainierten Modelle vollständig gelten und dass die empirische Evaluation derzeit in ihrem Umfang begrenzt ist.