Riepilogo Tecnico: Generalizzazione Compositiva nei Modelli Autoregressivi tramite Composizione dei Logit

Enunciato del Problema

Comporre modelli generativi specializzati per creare sistemi modulari, riutilizzabili e controllabili rimane una sfida fondamentale nella ricerca sui modelli linguistici di grandi dimensioni (LLM). Gli approcci esistenti per i modelli autoregressivi operano tipicamente nello spazio dei parametri (ad esempio, interpolazione dei pesi, aritmetica delle attività, fusione basata sulla sparsità) o nello spazio dell'architettura (ad esempio, Mixture-of-Experts con instradamento dinamico). Sebbene questi metodi combinino checkpoint finemente sintonizzati, spesso mancano di garanzie esplicite e statiche riguardo alla distribuzione di output risultante o non forniscono una regola fondata per l'interazione dei componenti senza interferenze.

Al contrario, i modelli di diffusione hanno dimostrato successo nella generazione compositiva combinando linearmente le funzioni di punteggio, una prospettiva recentemente formalizzata da Bradley et al. [2025] attraverso il concetto di composizione proiettiva. Tuttavia, questo framework non è stato esteso ai modelli autoregressivi, dove la generazione è intrinsecamente sequenziale e condizionata da un prefisso in evoluzione, rendendo l'applicabilità di competenze specifiche dipendente dallo stato corrente della sequenza generata.

Metodologia

Gli autori propongono una strategia di composizione selettiva per sistemi autoregressivi (come i Transformer) che opera direttamente nello spazio delle probabilità piuttosto che nello spazio dei parametri. Dato un modello di base $p_b$ e un insieme di modelli specializzati $\{p_1, \dots, p_k\}$, il modello composto $\hat{p}$ è definito da una regola aritmetica esplicita applicata alle distribuzioni condizionate del prossimo token:

$$\hat{p}(y_t | x, y_{<t}) = \frac{1}{Z_t} p_b(y_t | x, y_{<t}) \prod_{i=1}^k \frac{p_i(y_t | x, y_{<t})}{p_b(y_t | x, y_{<t})}$$

dove $Z_t$ è una costante di normalizzazione. Questa formulazione aggiunge efficacemente i log-probabilità degli esperti e sottrae i log-probabilità del modello di base.

Framework Teorico

Il documento stabilisce le condizioni sotto le quali questa composizione è provatamente corretta e preserva i comportamenti distinti dei modelli componenti:

1. Condizionali Fattorizzati (Spazio dei Token): Gli autori definiscono una proprietà in cui lo spazio di generazione è partizionato in insiemi disgiunti di indici di token (maschere). Se ogni modello specializzato $p_i$ agisce indipendentemente sulla sua maschera designata $M_i$ e coincide con il modello di base $p_b$ altrove, la composizione è proiettiva. Ciò significa che la distribuzione marginale del modello composto su qualsiasi maschera $M_i$ è identica a quella del modello specializzato $p_i$.
2. Fattorizzabilità della Competenza (Ambiente Sequenziale): Riconoscendo che le attività autoregressive (come le dimostrazioni trigonometriche) dipendono dalla storia dei token generati, gli autori introducono la fattorizzabilità della competenza. Un modello è fattorizzabile per competenza se il suo comportamento può essere scomposto in una fase di base, una fase specifica di competenza (definita da tempi di arresto $\tau_1, \tau_2$) e un ritorno alla fase di base.
3. Fattorizzabilità Congiunta: Affinché una collezione di modelli si componga correttamente, i loro intervalli attivi (dove si discostano dalla base) devono essere a coppie disgiunti. In questa condizione, il modello composto applica ogni competenza esattamente durante il suo intervallo designato e ritorna al modello di base altrimenti.
4. Estensione allo Spazio delle Caratteristiche: Il framework è esteso agli spazi di caratteristiche astratte tramite una mappa invertibile $D$. Se le distribuzioni pushforward soddisfano la proprietà dei condizionali fattorizzati nello spazio delle caratteristiche, la composizione rimane valida, consentendo la combinazione di modelli che potrebbero non avere domini di token disgiunti ma domini concettuali disgiunti.
5. Generalizzazione della Lunghezza: Il documento sostiene che se le assunzioni di fattorizzazione e le garanzie dei componenti valgono uniformemente a una lunghezza target, il modello composto eredita il comportamento di generalizzazione della lunghezza dei suoi componenti.

Connessione con la Fusione di Modelli

Gli autori tracciano un legame teorico tra la loro composizione nello spazio delle probabilità e l'Aritmetica delle Attività (Ilharco et al. [2023]). Dimostrano che, in un contesto lineare, l'aggiunta di vettori di attività nello spazio dei parametri è matematicamente equivalente alla composizione moltiplicativa delle distribuzioni di output. Ciò suggerisce che il successo empirico delle tecniche di fusione dei modelli possa essere spiegato da un principio sottostante di composizione additiva, dove gli aggiornamenti delle attività influenzano regioni disgiunte dello spazio di output.

Contributi Chiave

• Framework Fondato: Introduzione di un framework nello spazio delle probabilità per comporre modelli autoregressivi, estendendo il concetto di composizione proiettiva dai modelli di diffusione alla generazione sequenziale.
• Garanzie di Correttezza: Identificazione di condizioni specifiche (condizionali fattorizzati e fattorizzabilità congiunta) sotto le quali la composizione è provatamente corretta, garantendo che i componenti mantengano il controllo sui loro sottospazi designati senza interferenze.
• Generalizzazione della Lunghezza: Dimostrazione che la composizione preserva il comportamento di generalizzazione della lunghezza quando le assunzioni di fattorizzazione valgono uniformemente alla lunghezza target.
• Ponte Teorico: Collegamento del framework proposto ai metodi esistenti di fusione dei modelli (in particolare l'Aritmetica delle Attività), fornendo una spiegazione teorica del perché certe euristiche di fusione abbiano successo.
• Validazione Empirica: Verifica dell'approccio sia su compiti sintetici che su benchmark di modelli linguistici di grandi dimensioni.

Risultati

Gli autori validano il loro approccio attraverso due principali impostazioni sperimentali:

1. Compito Giocattolo Controllato: In un compito di sostituzione di lettere in cui i modelli sono stati addestrati a sostituire caratteri specifici (ad esempio, 'A' $\to$ 'B', 'C' $\to$ 'D'), il modello composto ha raggiunto il 100% di successo nell'eseguire entrambe le trasformazioni simultaneamente. Ciò ha confermato che l'operatore di composizione integra correttamente competenze disgiunte.
2. Benchmark LLM: Utilizzando un modello base Gemma 2 2B ($p_{base}$) e due esperti finemente sintonizzati ($p_{math}$ e $p_{coding}$), gli autori hanno composto un modello $\hat{p}$ e lo hanno valutato su quattro benchmark:
   • Coding: Su HumanEval+ e MBPP+, il modello composto ha superato il solo esperto di coding (30,5 contro 24,4 e 39,4 contro 38,1, rispettivamente).
   • Matematica: Su GSM8K e MATH, il modello composto ha mantenuto prestazioni significative dall'esperto di matematica (41,2 contro 50,2 e 24,2 contro 25,5), dimostrando che la competenza di coding non ha interferito catastroficamente con il ragionamento matematico.
   • Limitazione: Gli autori notano che comporre più di due esperti ha portato a un netto degrado della qualità della generazione, probabilmente dovuto all'instabilità nella previsione del token di fine sequenza e nel comportamento di terminazione.

Significato e Affermazioni

Il documento afferma di fornire una comprensione fondata di quando e perché la composizione e la fusione dei modelli hanno successo nei sistemi autoregressivi. Spostando il focus dallo spazio dei parametri allo spazio delle probabilità, gli autori identificano le condizioni in cui le interazioni tra i modelli rimangono stabili e non interferenti.

Il significato risiede nell'offrire una regola di composizione statica ed esplicita con garanzie teoriche, in contrasto con metodi di instradamento dinamico o mediazione euristica dei parametri. Il lavoro suggerisce che la composizione di modelli autoregressivi può essere intesa come un'operazione probabilistica strutturata, potenzialmente abilitando la costruzione di LLM più modulari e controllabili. Tuttavia, gli autori rimangono modesti, riconoscendo che le loro assunzioni di fattorizzazione potrebbero non valere pienamente nella pratica per tutti i modelli pre-addestrati e che la valutazione empirica è attualmente limitata nel suo ambito.