Technische Samenvatting: Compositional Generalization in Autoregressieve Modellen via Logit-samenstelling

Probleemstelling

Het samenstellen van gespecialiseerde generatieve modellen om systemen te creëren die modulair, herbruikbaar en controleerbaar zijn, blijft een kernuitdaging in het onderzoek naar grote taalmodellen (LLM's). Bestaande benaderingen voor autoregressieve modellen opereren doorgaans in de parameterruimte (bijvoorbeeld gewichtsinterpolatie, taakrekenkunde, samenvoegen op basis van sparsiteit) of in de architectuurruimte (bijvoorbeeld Mixture-of-Experts met dynamische routing). Hoewel deze methoden fijngetune checkpoints combineren, missen ze vaak expliciete, statische garanties met betrekking tot de resulterende outputverdeling of slagen ze er niet in een principiële regel te bieden voor hoe componenten zonder interferentie met elkaar interageren.

Daarentegen hebben diffusiemodellen succes bewezen in compositional generation door scorefuncties lineair te combineren, een perspectief dat onlangs door Bradley et al. [2025] werd geformaliseerd via het concept van projectieve samenstelling. Dit kader is echter nog niet uitgebreid naar autoregressieve modellen, waar generatie inherent sequentieel is en afhankelijk van een evoluerend prefix, waardoor de toepasbaarheid van specifieke vaardigheden afhankelijk is van de huidige staat van de gegenereerde sequentie.

Methodologie

De auteurs stellen een selectieve samenstellingsstrategie voor autoregressieve systemen (zoals Transformers) voor die direct in de kansruimte werkt in plaats van in de parameterruimte. Gegeven een achtergrondmodel $p_b$ en een set gespecialiseerde modellen $\{p_1, \dots, p_k\}$, wordt het samengestelde model $\hat{p}$ gedefinieerd door een expliciete rekenkundige regel toegepast op conditionele next-token-verdelingen:

$$\hat{p}(y_t | x, y_{<t}) = \frac{1}{Z_t} p_b(y_t | x, y_{<t}) \prod_{i=1}^k \frac{p_i(y_t | x, y_{<t})}{p_b(y_t | x, y_{<t})}$$

waarbij $Z_t$ een normalisatieconstante is. Deze formulering voegt effectief de log-kansen van de experts toe en trekt de log-kansen van het achtergrondmodel af.

Theoretisch Kader

Het artikel stelt voorwaarden vast waaronder deze samenstelling bewezen correct is en de onderscheidende gedragingen van componentmodellen behoudt:

1. Gefactoriseerde Conditionelen (Tokenruimte): De auteurs definiëren een eigenschap waarbij de generatieruimte wordt opgedeeld in disjuncte verzamelingen van tokenindices (masks). Als elk gespecialiseerd model $p_i$ onafhankelijk werkt op zijn aangewezen mask $M_i$ en elders overeenkomt met het achtergrondmodel $p_b$, is de samenstelling projectief. Dit betekent dat de marginale verdeling van het samengestelde model op elk mask $M_i$ identiek is aan die van het gespecialiseerde model $p_i$.
2. Vaardigheidsfactoriseerbaarheid (Sequentiële Setting): Erkennend dat autoregressieve taken (zoals trigonometrische bewijzen) afhankelijk zijn van de geschiedenis van gegenereerde tokens, introduceren de auteurs vaardigheidsfactoriseerbaarheid. Een model is vaardigheidsfactoriseerbaar als zijn gedrag kan worden ontbonden in een achtergrondfase, een specifieke vaardigheidsfase (gedefinieerd door stoptijden $\tau_1, \tau_2$), en een terugkeer naar de achtergrond.
3. Gecombineerde Factoriseerbaarheid: Voor een verzameling modellen om correct samen te stellen, moeten hun actieve intervallen (waar ze afwijken van de achtergrond) paarsgewijs disjunct zijn. Onder deze voorwaarde past het samengestelde model elke vaardigheid precies toe tijdens zijn aangewezen interval en keert het andersom terug naar het achtergrondmodel.
4. Uitbreiding Feature-ruimte: Het kader wordt uitgebreid naar abstracte feature-ruimtes via een inverteerbare afbeelding $D$. Als de pushforward-verdelingen voldoen aan de eigenschap van gefactoriseerde conditionelen in de feature-ruimte, blijft de samenstelling geldig, waardoor het mogelijk is modellen te combineren die geen disjuncte token-domeinen hebben maar wel disjuncte "conceptuele" domeinen.
5. Lengtegeneralisatie: Het artikel betoogt dat als de factorisatie-aannames en componentgaranties uniform gelden bij een doel-lengte, het samengestelde model het lengte-generaliserende gedrag van zijn componenten erft.

Verbinding met Model Merging

De auteurs leggen een theoretisch verband tussen hun samenstelling in de kansruimte en Task Arithmetic (Ilharco et al. [2023]). Ze tonen aan dat in een lineaire setting het toevoegen van taakvectoren in de parameterruimte wiskundig equivalent is aan de multiplicatieve samenstelling van outputverdelingen. Dit suggereert dat het empirische succes van model-merging-technieken kan worden verklaard door een onderliggend additief samenstellingsprincipe waarbij taakupdates disjuncte gebieden van de outputruimte beïnvloeden.

Belangrijkste Bijdragen

• Principieel Kader: Introductie van een kansenruimte-kader voor het samenstellen van autoregressieve modellen, waarbij het concept van projectieve samenstelling wordt uitgebreid van diffusiemodellen naar sequentiële generatie.
• Correctheidsgaranties: Identificatie van specifieke voorwaarden (gefactoriseerde conditionelen en gecombineerde factoriseerbaarheid) waaronder samenstelling bewezen correct is, zodat componenten controle behouden over hun aangewezen subruimtes zonder interferentie.
• Lengtegeneralisatie: Aantonen dat samenstelling het lengte-generaliserende gedrag behoudt wanneer factorisatie-aannames uniform gelden bij de doel-lengte.
• Theoretische Brug: Verbinding van het voorgestelde kader met bestaande model-merging-methoden (specifiek Task Arithmetic), waardoor een theoretische verklaring wordt geboden voor waarom bepaalde merging-heuristieken slagen.
• Empirische Validatie: Verificatie van de aanpak op zowel synthetische taken als benchmarks voor grote taalmodellen.

Resultaten

De auteurs valideren hun aanpak via twee primaire experimentele settings:

1. Gestuurde Toy-taak: In een taak voor het vervangen van letters, waarbij modellen waren getraind om specifieke karakters te vervangen (bijvoorbeeld 'A' $\to$ 'B', 'C' $\to$ 'D'), behaalde het samengestelde model 100% succes in het gelijktijdig uitvoeren van beide transformaties. Dit bevestigde dat de samenstellingsoperator disjuncte vaardigheden correct integreert.
2. LLM-benchmarks: Met behulp van een Gemma 2 2B basismodel ($p_{base}$) en twee fijngetune experts ($p_{math}$ en $p_{coding}$) stelden de auteurs een model $\hat{p}$ samen en evalueerden ze dit op vier benchmarks:
   • Coderen: Op HumanEval+ en MBPP+ presteerde het samengestelde model beter dan de coderingsexpert alleen (respectievelijk 30,5 vs. 24,4 en 39,4 vs. 38,1).
   • Wiskunde: Op GSM8K en MATH behield het samengestelde model aanzienlijke prestaties van de wiskunde-expert (respectievelijk 41,2 vs. 50,2 en 24,2 vs. 25,5), wat aantoont dat de coderingsvaardigheid de wiskundige redenering niet catastrofaal verstoorde.
   • Beperking: De auteurs merken op dat het samenstellen van meer dan twee experts leidde tot een scherpe degradatie in de kwaliteit van de generatie, waarschijnlijk vanwege instabiliteit in de voorspelling van tokens aan het einde van de sequentie en beëindigingsgedrag.

Betekenis en Claims

Het artikel claimt een principieel inzicht te bieden in wanneer en waarom modelcompositie en merging slagen in autoregressieve systemen. Door de focus te verschuiven van parameterruimte naar kansruimte, identificeren de auteurs voorwaarden waaronder interacties tussen modellen stabiel en niet-interfererend blijven.

De betekenis ligt in het bieden van een statische, expliciete samenstellingsregel met theoretische garanties, in tegenstelling tot dynamische routing-methoden of heuristische parameter-averaging. Het werk suggereert dat autoregressieve modelcompositie kan worden begrepen als een gestructureerde probabilistische operatie, wat potentieel de constructie van meer modulaire en controleerbare LLM's mogelijk maakt. De auteurs blijven echter bescheiden, door te erkennen dat hun factorisatie-aannames in de praktijk mogelijk niet volledig opgaan voor alle voorgetrainde modellen en dat de empirische evaluatie momenteel beperkt is in omvang.