💬 NLP

Context Parametrization with Compositional Adapters

Das Paper stellt CompAs vor, ein Meta-Learning-Framework, das mehrere Kontext-Chunks in algebraisch komponierbare Adapter-Parameter übersetzt und somit eine effizientere, stabilere und umkehrbare Alternative zum In-Context Learning und zum Supervised Fine-Tuning für die Skalierung großer Sprachmodelle bietet.

Ursprüngliche Autoren: Josip Jukić, Martin Tutek, Jan Šnajder

Veröffentlicht 2026-01-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Josip Jukić, Martin Tutek, Jan Šnajder

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „überfüllte Rucksack“

Stellen Sie sich vor, ein Large Language Model (LLM) ist ein brillanter Student, der versucht, eine Frage zu beantworten. Um sein Bestes zu geben, muss er einige Hintergrundinformationen lesen (wie Anweisungen, Beispiele oder Fakiken).

Derzeit gibt es zwei Hauptwege, um diesem Studenten diese Informationen zu geben:

In-Context Learning (ICL): Sie kopieren alle Hintergrundinformationen direkt in das Lesematerial des Studenten.
- Das Problem: Wenn Sie ihm 100 Seiten an Beispielen geben, wird der Student überfordert. Er beginnt, den Anfang des Textes zu vergessen, wird verwirrt und es dauert lange, alles durchzulesen. Es ist, als würde man versuchen, einen Rucksack zu tragen, der mit jedem neuen Buch, das man hinzufügt, schwerer wird.
Fine-Tuning (SFT): Sie trainieren den Studenten speziell für diese eine Aufgabe.
- Das Problem: Das ist so, als würde man für jedes einzelne Fach einen neuen Tutor einstellen. Es ist teuer, langsam und man kann die Tutoren nicht einfach austauschen, wenn sich die Aufgabe ändert.

Die Lösung: COMPAS (Die „magischen Notizbücher“)

Die Autoren führen COMPAS ein, eine neue Art, den Modell zu lehren. Anstatt Seiten von Text in den Prompt einzufügen, verwandelt COMPAS diesen Text in eine winzige, unsichtbare „Anweisungskarte“ (einen sogenannten Adapter), die direkt am Gehirn des Modells befestigt wird.

Denken Sie an Folgendes:

Der alte Weg (ICL): Sie überreichen dem Studenten jedes Mal, wenn er eine Prüfung schreibt, einen Stapel von 50 Referenzbüchern.
Der COMPAS-Weg: Sie lesen diese 50 Bücher einmal, destillieren die wichtigsten Lektionen in ein einziges, winziges magisches Notizbuch und kleben dieses Notizbuch an die Stirn des Studenten. Jetzt muss der Student die Bücher nicht erneut lesen; er schaut einfach auf das Notizbuch.

Das Geheimrezept: „Kompositionell“ (Die Lego-Steine)

Die wahre Magie von COMPAS besteht nicht nur darin, ein einzelnes Notizbuch zu erstellen, sondern viele kleine Notizbücher zu erstellen, die man zusammenstecken kann.

Stellen Sie sich vor, Sie haben einen Satz Lego-Steine.

Kontext 1 (z. B. ein Mathebeispiel) wird zu Stein A.
Kontext 2 (z. B. ein Naturwissenschaftsbeispiel) wird zu Stein B.
Kontext 3 (z. B. ein Geschichtsbeispiel) wird zu Stein C.

In der alten Welt mussten Sie, wenn Sie alle drei verwenden wollten, sie zu einem einzigen, riesigen, unordentlichen Block aus Text zusammenkleben. Mit COMPAS können Sie einfach Stein A, Stein B und Stein C mathematisch zusammenstecken.

Die Arbeit beweist, dass, wenn Sie diese „Adapter-Steine“ zusammenfügen, das Modell sich exakt so verhält, als hätte es alle ursprünglichen Texte kombiniert gelesen. Das bedeutet:

Geschwindigkeit: Das Modell muss den Text nicht jedes Mal neu lesen.
Stabilität: Es wird nicht durch lange Listen von Informationen verwirrt.
Flexibilität: Sie können „Stein A“ gegen ein anderes Mathebeispiel austauschen, ohne das gesamte System neu trainieren zu müssen.

Wie es funktioniert (Das Lehrer-Schüler-Spiel)

Um das Modell zu lehren, wie man diese magischen Notizbücher erstellt, nutzen die Autoren ein „Lehrer-Schüler“-Setup:

Der Lehrer: Ein leistungsfähiges Modell, das den gesamten langen Text liest und die korrekte Antwort gibt.
Der Schüler: Ein Modell, das nur die Frage und das „magische Notizbuch“ (den Adapter) sieht.
Das Ziel: Der Schüler versucht, die Antwort unter Verwendung nur des Notizbuchs zu erraten. Das System passt das Notizbuch so an, dass der Schüler die Leistung des Lehrers erreicht.

Sie fügen auch eine spezielle Regel hinzu: Die „Additionsregel“. Das System zwingt den Generator dazu, sicherzustellen, dass, wenn Sie zwei separate Texte haben, das Notizbuch für „Text A + Text B“ exakt dasselbe ist wie „Notizbuch A + Notizbuch B“. Dies stellt sicher, dass die Lego-Steine perfekt zusammenpassen.

Warum das wichtig ist (Die Ergebnisse)

Die Arbeit hat dies bei verschiedenen Aufgaben getestet (wie dem Beantworten von Multiple-Choice-Fragen und dem Finden von Fakten in langen Dokumenten). Sie fanden heraus:

Es ist intelligenter: Wenn Sie dem Modell viele Beispiele geben (wie 16 oder mehr), schneidet COMPAS besser ab, als wenn man sie einfach alle in den Prompt kopiert.
Es ist stabiler: Wenn die Menge der Informationen wächst, geht das Modell nicht „in der Mitte des Textes verloren“.
Es ist umkehrbar: Das „magische Notizbuch“ ist so treu gegenüber dem Originaltext, dass man das Notizbuch, wenn man wollte, tatsächlich wieder in den ursprünglichen Text dekodieren könnte. Dies ist ein Sicherheitsmerkmal, das sicherstellt, dass das Modell keine geheimen Daten verbirgt.

Zusammenfassung

COMPAS ist eine Methode, die lange, unordentliche Anweisungen und Beispiele in kompakte, mathematische „Anweisungskarten“ verwandelt. Diese Karten können wie Lego-Steine zusammengefügt werden. Dies ermöglicht es KI-Modellen, riesige Mengen an Informationen schnell und präzise zu verarbeiten, ohne durch das Lesen langer Texte jedes Mal überfordert zu werden.

Technisches Resümee: Kontext-Parametrisierung mit kompositorischen Adaptern (COMPAS)

1. Problemstellung

Große Sprachmodelle (LLMs) passen sich typischerweise an neue Aufgaben durch In-Context Learning (ICL) oder Supervised Fine-Tuning (SFT) an. Beide Ansätze stehen jedoch vor erheblichen Einschränkungen, wenn sie auf eine Vielzahl von Demonstrationen oder abgerufenen Passagen skaliert werden müssen:

ICL-Ineffizienz: Mit zunehmender Anzahl an Kontext-Token (Instruktionen, Demonstrationen, Evidenz) wird ICL rechenintensiv, da die Inferenzkosten linear skalieren. Zudem destabilisieren lange Kontexte die Attention-Mechanismen, was zu Leistungsabfällen führt (das „Lost in the Middle“-Phänomen).
SFT-Rigidität: SFT erfordert das Training eines separaten Modells oder Adapters für jede spezifische Aufgabe oder jeden Kontext, was einen hohen Trainingsaufwand verursacht und nicht die Flexibilität besitzt, neue Informationen dynamisch zu integrieren, ohne ein Retraining durchzuführen.
Kontextfenster-Limits: Wenn der Input das Kontextfenster des Modells überschreitet, können weder ICL noch Standard-SFT die vollständigen Informationen effektiv nutzen.

Während vorangegangene Arbeiten bereits die Generierung von Adaptern aus einem einzelnen Kontext untersucht haben, wurde die Notwendigkeit, mehrere Informationsfragmente zu integrieren, weitgehend vernachlässigt. Bestehende Methoden lassen einen prinzipiellen Mechanismus vermissen, um Adapter algebraisch zu komponieren, um die Konkatenation von Kontexten abzubilden, wodurch die Art und Weise, wie LLMs mehrere Informationsquellen kombinieren, nicht erfasst wird.

2. Methodik: COMPAS

Die Autoren führen COMPAS (Compositional Adapters) ein, ein Meta-Learning-Framework, das Kontext in kompositorische Adapterparameter übersetzt, die algebraisch zusammengeführt werden können.

2.1. Theoretische Grundlage

Das Framework basiert auf einem Teacher-Student-Setup, bei dem das Ziel darin besteht, sicherzustellen, dass aus einzelnen Kontexten generierte Adapter im Parameterraum komponiert werden können, um den Effekt der Kontext-Konkatenation im Input-Raum zu replizieren.

Teacher-Modell ( $f_T$ ): Verarbeitet den konkatenierten Input $[c_1; \dots; c_k; q]$ .
Student-Modell ( $f_S$ ): Verarbeitet nur den Query $q$ unter Verwendung der Basenparameter $\theta$ , die durch die Summe der Adapter modifiziert wurden: $\theta \oplus \sum \phi_i$ .
Generator ( $G$ ): Ein Netzwerk, das einen Kontext $c$ auf die Adapterparameter $\phi = G(c)$ abbildet.

Die Kernanforderung ist, dass der Generator als Monoid-Homomorphismus fungiert, der das freie Monoid der Kontexte (Konkatenation) auf das additive Monoid der Adapterparameter (Addition) abbildet. Idealerweise gilt $G([c_1; c_2]) = G(c_1) + G(c_2)$ . Die Arbeit etabliert eine Kompositionalitäts-Schranke (Theorem 2.1) und beweist, dass der Fehler zwischen dem Output des Studenten (Summe der Adapter) und dem Output des Teachers (konkatenierter Kontext) durch den Additivitätsfehler des Generators und den Student-Teacher-Mismatch, skaliert durch die Lipschitz-Konstante des Studenten, begrenzt ist.

2.2. Architektur

Generator: Erweitert das Basis-LM um trainierbare Komponenten: einen LoRA-Adapter, der in das LM eingefügt ist, sowie einen linearen Bottleneck gefolgt von Projektionsstämmen. Er verarbeitet einen Kontext $c$ , um eine gepoolte Hidden-Repräsentation zu erzeugen, die in einen kompakten latenten Raum $z(c)$ projiziert wird. Dieser latente Vektor wird dann via linearer Projektionen abgebildet, um die LoRA-Matrizen ( $A$ und $B$ ) für alle Zielmodule im Studentenmodell zu generieren.
Student: Ein Standard-LLM mit LoRA-Adaptern. Während der Inferenz erhält er nur den Query und die Summe der für die relevanten Kontexte generierten Adapter.

2.3. Trainingsziele

Der Trainingsverlust ( $L_{COMPAS}$ ) ist eine gewichtete Summe aus drei Komponenten, die darauf ausgelegt sind, Kompositionalität und Treue (Faithfulness) zu erzwingen:

Student-Teacher-Alignment ( $L_{ST}$ ): Minimiert die KL-Divergenz zwischen der Verteilung des Studenten (unter Verwendung summierter Adapter) und der Verteilung des Teachers (unter Verwendung von konkatenierten Kontexten). Dies wird sowohl für einzelne Kontexte ( $k=1$ ) als auch für konkatenierte Kontexte ( $k=2$ ) angewendet, um die kompositorische Konsistenz zu erzwingen.
Additivitäts-Regularisierung ( $L_{ADD}$ ): Bestraft die Diskrepanz zwischen dem für einen konkatenierten Kontext generierten Adapter $G([c_1; c_2])$ und der Summe der einzelnen Adapter $G(c_1) + G(c_2)$ . Dies minimiert direkt den Additivitätsfehler $\eta$ des Generators.
Rekonstruktion ( $L_{RECON}$ ): Ein Hilfsziel, bei dem der Student die ursprünglichen Kontext-Token autoregressiv aus dem Adapter-Zustand unter Verwendung eines speziellen [RECON]-Tokens rekonstruieren muss. Dies stellt sicher, dass die Adapter die Input-Informationen getreu kodieren und verhindert triviale Lösungen.

3. Zentrale Beiträge

COMPAS-Framework: Ein Teacher-Student-Meta-Learning-Framework, das Kontext in kompositorische Adapter kodiert, was eine algebraische Kombination im Parameterraum ermöglicht.
Theoretische Garantien: Die Etablierung theoretischer Bedingungen (Theorem 2.1), unter denen die Addition im Parameterraum das Verhalten einer Kontext-Konkatenation nachweislich approximiert, wobei der Fehler in interpretierbare Quellen zerlegt wird.
Empirische Validierung: Demonstration, dass COMPAS das Standard-ICL, SFT und bestehende generatorbasierte Methoden (wie GenAda und WILDA) übertrifft, insbesondere beim Skalieren auf eine große Anzahl von Demonstrationen oder abgerufenen Passagen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten COMPAS in Multiple-Choice-Aufgaben (MMLU, ARC-Challenge) und bei Extraktions-QA (HotpotQA) unter Verwendung von LLaMA-3.1 (8B), LLaMA-3.2 (3B) und Qwen-2.5 (7B).

Performance vs. ICL: COMPAS übertraf das Standard-ICL konsistent über alle Modelle und Shot-Anzahlen hinweg. Die Gewinne waren bei höheren Shot-Anzahlen (z. B. 12–16 Demonstrationen) am ausgeprägtesten, wo die ICL-Performance aufgrund der Kontextlänge oft degradiert.
Vergleich mit SFT und Generatoren: COMPAS erreichte oder übertraf die Performance von WILDA (welches einen spezifischen Adapter pro Kontext feinjustiert), während es die Effizienz eines einzelnen Generators beibehielt. Es übertraf zudem signifikant GenAda, welches keinen expliziten linearen Bottleneck und keine Additivitätsbeschränkungen besitzt.
Skalierung: In Experimenten mit 16 Demonstrationen erreichte COMPAS eine höhere Genauigkeit als ICL und GenAda. Beispielsweise erreichte COMPAS bei MMLU mit LLaMA 8B (4×4 Komposition) eine Genauigkeit von 72,2 % gegenüber 64,2 % bei ICL.
Robustheit: COMPAS zeigte eine überlegene Robustheit gegenüber verrauschten, widersprüchlichen oder themenfremden Kontexten im Vergleich zu ICL, was darauf hindeutet, dass die Komprimierung des Kontextes in Parameter die Auswirkungen spurer Signale mildert.
Effizienz: Durch die Entkopplung der Inferenzkosten von der Kontextlänge erreichte COMPAS signifikante Beschleunigungen (bis zu 4,1× bei 16-Shot) und reduzierte den Spitzenarbeitsspeicher im Vergleich zu ICL, das linear mit der Kontextgröße skaliert.
Rekonstruktion: Das Framework behielt eine hohe Rekonstruktionstreue (Token-Level F1 > 85 % für Einzelheiten) bei, was bestätigt, dass die Adapterparameter den semantischen Gehalt des ursprünglichen Kontextes beibehalten.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass COMPAS die kompositorische Adapter-Generierung als praktische und effiziente Alternative zur Skalierung des LLM-Deployments etabliert. Die Bedeutung liegt in:

Effizienz: Es reduziert die Inferenzkosten und den Speicherbedarf, indem es lange Prompt-Token durch kompakte, wiederverwendbare Adapterparameter ersetzt.
Stabilität: Es mildert die Instabilität und den Leistungsabfall ab, die mit der Verarbeitung langer Kontexte in Transformern einhergehen.
Skalierbarkeit: Es bietet eine fundierte Lösung für den Umgang mit Inputs, die das Kontextfenster des Modells überschreiten, indem es die Generierung und Komposition von Adaptern unabhängig gestaltet.
Sicherheit und Interpretierbarkeit: Die reversible Kodierung von Informationen in Adapter erleichtert die Wiederherstellung der ursprünglichen Input-Kontexte, was für Sicherheit und Audits entscheidend ist.

Die Autoren positionieren diese Arbeit nicht als Ersatz für alle Anpassungsstrategien, sondern als skalierbaren Mechanismus zur Integration externer Evidenz und multipler Demonstrationen ohne die rechnerischen Nachteile traditioneller Prompting-Verfahren oder die Rigidität eines pro-Aufgabe-spezifischen Fine-Tunings.