💬 NLP

Context Parametrization with Compositional Adapters

Het artikel introduceert CompAs, een meta-leersframework dat meerdere contextchunks vertaalt naar algebraïsch composabele adapterparameters, wat een efficiënter, stabieler en reversibel alternatief biedt voor in-context learning en supervised fine-tuning voor het schalen van grote taalmodellen.

Oorspronkelijke auteurs: Josip Jukić, Martin Tutek, Jan Šnajder

Gepubliceerd 2026-01-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Josip Jukić, Martin Tutek, Jan Šnajder

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Overvolle Rugzak"

Stel je voor dat een Large Language Model (LLM) een briljante student is die probeert een vraag te beantwoorden. Om zijn best te doen, moet de student wat achtergrondinformatie lezen (zoals instructies, voorbeelden of feiten).

Momenteel zijn er twee belangrijke manieren om deze informatie aan de student te geven:

In-Context Learning (ICL): Je plakt alle achtergrondinformatie direct in het leesmateriaal van de student.
- Het Probleem: Als je ze 100 pagina's aan voorbeelden geeft, raakt de student overweldigd. Ze beginnen het begin van de tekst te vergeten, raken in de war en het kost veel tijd om alles door te lezen. Het is alsof je probeert een rugzak te dragen die zwaarder en zwaarder wordt bij elk nieuw boek dat je toevoegt.
Fine-Tuning (SFT): Je traint de student specifiek voor die ene taak.
- Het Probleem: Dit is als het inhuren van een nieuwe tutor voor elk afzonderlijk vak. Het is duur, traag, en je kunt niet gemakkelijk van tutor wisselen als de taak verandert.

De Oplossing: COMPAS (De "Magische Notitieblokken")

De auteurs introduceren COMPAS, een nieuwe manier om het model te onderwijzen. In plaats van pagina's tekst in de prompt te plakken, verandert COMPAS die tekst in een klein, onzichtbaar "instructiekaartje" (een adapter) dat direct aan het brein van het model wordt bevestigd.

Denk er zo over na:

De Oude Manier (ICL): Je overhandigt de student elke keer dat hij een toets maakt een stapel van 50 naslagwerken.
De COMPAS-Manier: Je leest die 50 boeken één keer, destilleert de belangrijkste lessen tot een enkel, klein magisch notitieblok, en plakt dat notitieblok op het voorhoofd van de student. Nu hoeft de student de boeken niet opnieuw te lezen; hij kijkt gewoon naar het notitieblok.

Het Geheime Ingrediënt: "Compositional" (De Lego-blokjes)

De echte magie van COMPAS is niet alleen het maken van één notitieblok; het is het maken van veel kleine notitieblokken die aan elkaar geklikt kunnen worden.

Stel je voor dat je een set Lego-blokjes hebt.

Context 1 (bijv. een wiskundevoorbeeld) wordt Steentje A.
Context 2 (bijv. een wetenschapvoorbeeld) wordt Steentje B.
Context 3 (bijv. een geschiedenisvoorbeeld) wordt Steentje C.

In de oude wereld, als je alle drie wilde gebruiken, moest je ze aan elkaar lijmen tot één groot, rommelig blok tekst. Met COMPAS kun je Steentje A, Steentje B en Steentje C simpelweg wiskundig aan elkaar klikken.

Het paper bewijst dat als je deze "adapter-steentjes" bij elkaar optelt, het model zich precies zo gedraagt alsof het alle originele teksten gecombineerd heeft gelezen. Dit betekent:

Snelheid: Het model hoeft de tekst niet elke keer opnieuw te lezen.
Stabiliteit: Het model raakt niet in de war door lange lijsten met informatie.
Flexibiliteit: Je kunt "Steentje A" vervangen door een ander wiskundevoorbeeld zonder het hele systeem opnieuw te trainen.

Hoe het werkt (Het Leraar-Leerling Spel)

Om het model te leren hoe het deze magische notitieblokken moet maken, gebruiken de auteurs een "Teacher-Student" opstelling:

De Leraar: Een krachtig model dat de volledige lange tekst leest en het juiste antwoord geeft.
De Leerling: Een model dat alleen de vraag en het "magische notitieblok" (de adapter) ziet.
Het Doel: De Leerling probeert het antwoord te raden met behulp van alleen het notitieblok. Het systeem past het notitieblok aan totdat de prestaties van de Leerling overeenkomen met die van de Leraar.

Ze voegen ook een speciale regel toe: De "Optelregel" (Addition Rule). Het systeem dwingt de generator om ervoor te zorgen dat als je twee aparte teksten hebt, het notitieblok voor "Tekst A + Tekst B" exact hetzelfde is als "Notitieblok A + Notitieblok B". Dit zorgt ervoor dat de Lego-blokjes perfect in elkaar klikken.

Waarom dit ertoe doet (De Resultaten)

Het paper heeft dit getest op diverse taken (zoals het beantwoorden van meerkeuzevragen en het vinden van feiten in lange documenten). Ze ontdekten dat:

Het is Slimmer: Wanneer je het model veel voorbeelden geeft (zoals 16 of meer), presteert COMPAS beter dan wanneer je ze gewoon allemaal in de prompt plakt.
Het is Stabieler: Naarmate de hoeveelheid informatie groeit, raakt het model niet "verloren in het midden" van de tekst.
Het is Omkeerbaar: Het "magische notitieblok" is zo getrouw aan de originele tekst dat je, als je dat zou willen, het notitieblok daadwerkelijk kunt decoderen naar de oorspronkelijke tekst. Dit is een veiligheidsfunctie die garandeert dat het model geen geheime gegevens verbergt.

Samenvatting

COMPAS is een methode die lange, rommelige instructies en voorbeelden omzet in compacte, wiskundige "instructiekaartjes". Deze kaartjes kunnen worden opgeteld als Lego-blokjes. Hierdoor kunnen AI-modellen enorme hoeveelheden informatie snel en nauwkeurig verwerken zonder overweldigd te raken door telkens weer lange teksten te moeten lezen.

Technische Samenvatting: Context Parametrisatie met Compositionele Adapters (COMPAS)

1. Probleemstelling

Grote taalmodellen (LLM's) passen zich doorgaans aan nieuwe taken aan via In-Context Learning (ICL) of Supervised Fine-Tuning (SFT). Beide benaderingen kampen echter met aanzienlijke beperkingen bij het schalen naar meerdere demonstraties of opgehaalde passages:

Inefficiëntie van ICL: Naarmate het aantal contexttokens (instructies, demonstraties, bewijsstukken) toeneemt, wordt ICL computationeel duur vanwege de lineair schalerende inferentiekosten. Bovs wordt de aandacht (attention) in lange contexten instabiel, wat leidt tot prestatievermindering (het "lost in the middle"-fenomeen).
Rigiditeit van SFT: SFT vereist het trainen van een apart model of een aparte adapter voor elke specifieke taak of context, wat hoge trainingsoverhead met zich meebrengt en niet de flexibiliteit biedt om nieuwe informatie dynamisch te integreren zonder opnieuw te trainen.
Contextvensterlimieten: Wanneer de input de contextwindow van het model overschrijdt, kunnen noch ICL noch standaard SFT de volledige informatie effectief benutten.

Eerdere werken hebben onderzocht hoe adapters gegenereerd kunnen worden vanuit een enkele context, maar hebben grotendeels de noodzaak genegeerd om meerdere brokken informatie te integreren. Bestaande methoden missen een principieel mechanisme om adapters algebraïsch te componeren om geconcateneerde contexten te representeren, waardoor ze er niet in slagen te vatten hoe LLM's meerdere informatiebronnen combineren.

2. Methodologie: COMPAS

De auteurs introduceren COMPAS (Compositional Adapters), een meta-learning framework dat context vertaalt naar adapterparameters met een compositionele structuur, waardoor deze algebraïsch samengevoegd kunnen worden.

2.1. Theoretische Fundering

Het framework is gebouwd op een teacher-student setup waarbij het doel is om te waarborgen dat adapters gegenereerd uit individuele contexten gecomponeerd kunnen worden in de parameterruimte om het effect van context-concatenatie in de inputruimte te repliceren.

Teacher Model ( $f_T$ ): Verwerkt de geconcateneerde input $[c_1; \dots; c_k; q]$ .
Student Model ( $f_S$ ): Verwerkt alleen de query $q$ met basisparameters $\theta$ die gemodificeerd zijn door de som van de adapters: $\theta \oplus \sum \phi_i$ .
Generator ( $G$ ): Een netwerk dat een context $c$ mapt naar adapterparameters $\phi = G(c)$ .

De kernvereiste is dat de generator fungeert als een monoid-homomorfisme van het vrije monoid van contexten (concatenatie) naar het additieve monoid van adapterparameters (optelling). Ideaal gezien geldt $G([c_1; c_2]) = G(c_1) + G(c_2)$ . Het artikel stelt een Compositionaliteitsbegrens (Theorem 2.1) vast, die bewijst dat de fout tussen de output van de student (som van adapters) en de output van de teacher (geconcateneerde context) begrensd wordt door de additiviteitsfout van de generator en de student-teacher mismatch, geschaald door de Lipschitz-constante van de student.

2.2. Architectuur

Generator: Augmenteert het basis-LM met trainbare componenten: een LoRA-adapter ingevoegd in het LM en een lineaire bottleneck gevolgd door projectie-trunks. Het verwerkt een context $c$ om een gepoolde verborgen representatie te produceren, die vervolgens wordt geprojecteerd in een compacte latente ruimte $z(c)$ . Deze latente vector wordt vervolgens via lineaire projecties gemapt om de LoRA-matrices ( $A$ en $B$ ) voor alle doelmodules in het studentmodel te genereren.
Student: Een standaard LLM met LoRA-adapters. Tijdens inferentie ontvangt het alleen een query en de som van de adapters die gegenereerd zijn voor de relevante contexten.

2.3. Trainingsdoelstellingen

De trainingsverliesfunctie ( $L_{COMPAS}$ ) is een gewogen som van drie componenten die ontworpen zijn om compositionaliteit en getrouwheid (faithfulness) af te dwingen:

Student-Teacher Alignment ( $L_{ST}$ ): Minimaliseert de KL-divergentie tussen de distributie van de student (gebruikmakend van gesommeerde adapters) en de distributie van de teacher (gebruikmakend van geconcateneerde contexten). Dit wordt toegepast voor zowel enkelvoudige contexten ( $k=1$ ) als geconcateneerde contexten ( $k=2$ ) om compositionele consistentie af te dwingen.
Additiviteitsregularisatie ( $L_{ADD}$ ): Bestraft de discrepantie tussen de adapter gegenereerd voor een geconcateneerde context $G([c_1; c_2])$ en de som van individuele adapters $G(c_1) + G(c_2)$ . Dit minimaliseert direct de additiviteitsfout $\eta$ van de generator.
Reconstructie ( $L_{RECON}$ ): Een hulpdoelstelling waarbij de student de originele contexttokens autoregressief moet reconstrueren vanuit de adapter-toestand met behulp van een speciale [RECON] token. Dit zorgt ervoor dat de adapters de inputinformatie getrouw coderen en voorkomt triviale oplossingen.

3. Belangrijkste Bijdragen

COMPAS Framework: Een teacher-student meta-learning framework dat context codeert in compositionele adapters, wat algebraïsche combinatie in de parameterruimte mogelijk maakt.
Theoretische Garanties: De vaststelling van theoretische condities (Theorem 2.1) waaronder parameterruimte-optelling aantoonbaar het gedrag van context-concatenatie benadert, waarbij de fout wordt gedecomponeerd in interpreteerbare bronnen.
Empirische Validatie: Demonstratie dat COMPAS standaard ICL, fine-tuning en bestaande generator-gebaseerde methoden (zoals GenAda en WILDA) overtreft, met name bij het schalen naar een groot aantal demonstraties of opgehaalde passages.

4. Experimentele Resultaten

De auteurs hebben COMPAS geëvalueerd op multiple-choice (MMLU, ARC-Challenge) en extractieve QA-taken (HotpotQA) met behulp van LLaMA-3.1 (8B), LLaMA-3.2 (3B) en Qwen-2.5 (7B).

Prestaties vs. ICL: COMPAS presteerde consequent beter dan standaard ICL over alle modellen en shot-aantallen heen. De winst was het meest uitgesproken bij hogere shot-aantallen (bijv. 12–16 demonstraties), waarbij de ICL-prestaties vaak afnemen door de contextlengte.
Vergelijking met SFT en Generatoren: COMPAS evenaarde of overtrof de prestaties van WILDA (dat een specifieke adapter per context fine-tunt) terwijl het de efficiëntie van een enkele generator behield. Het presteerde ook aanzienlijk beter dan GenAda, dat het expliciete lineaire bottleneck en de additiviteitsrestricties mist.
Schaling: In experimenten met 16 demonstraties behaalde COMPAS een hogere nauwkeurigheid dan ICL en GenAda. Bijvoorbeeld, op MMLU met LLaMA 8B bereikte COMPAS (4×4 compositie) een nauwkeurigheid van 72,2% vergeleken met 64,2% voor ICL.
Robuustheid: COMPAS vertoonde een superieure robuustheid tegen ruisende, tegenstrijdige of irrelevante contexten vergeleken met ICL, wat suggereert dat het comprimeren van context in parameters de impact van spuriële signalen mitigeert.
Efficiëntie: Door de inferentiekosten los te koppelen van de contextlengte, behaalde COMPAS aanzienlijke versnellingen (tot 4,1× bij 16-shot) en een verminderd piekgeheugengebruik vergeleken met ICL, dat lineair schaalt met de contextgrootte.
Reconstructie: Het framework behield een hoge reconstructiefideliteit (token-level F1 > 85% voor enkelvoudige eenheden), wat bevestigt dat de adapterparameters de semantische inhoud van de originele context behouden.

5. Betekenis en Claims

Het artikel beweert dat COMPAS componeerbare adaptergeneratie vestigt als een praktisch en efficiënt alternatief voor het schalen van LLM-implementaties. De betekenis ligt in:

Efficiëntie: Het vermindert de inferentiekosten en de geheugenvoetafdruk door lange prompt-tokens te vervangen door compacte, herbruikbare adapterparameters.
Stabiliteit: Het mitigeert de instabiliteit en prestatievermindering die geassocieerd wordt met lang-context verwerking in transformers.
Schaalbaarheid: Het biedt een principieel oplossing voor het afhandelen van inputs die de contextwindow van het model overschrijden door adapters onafhankelijk te genereren en samen te stellen.
Veiligheid en Interpreteerbaarheid: De omkeerbare codering van informatie in adapters vergemakkelijkt het herstel van de originele inputcontexten, wat cruciaal is voor veiligheid en auditing.

De auteurs positioneren dit werk niet als een vervanging voor alle adaptatiestrategieën, maar als een schaalbaar mechanisme voor het integreren van externe bewijslast en meerdere demonstraties zonder de computationele straffen van traditionele prompting of de rigiditeit van per-taak fine-tuning.