Riassunto Tecnico: Parametrizzazione del Contesto con Adattatori Composizionali (COMPAS)

1. Definizione del Problema

I Large Language Models (LLM) si adattano tipicamente a nuovi compiti tramite l'In-Context Learning (ICL) o il Supervised Fine-Tuning (SFT). Tuttavia, entrambi gli approcci affrontano limitazioni significative quando si scala verso molteplici dimostrazioni o passaggi recuperati:

• Inefficienza dell'ICL: Man mano che il numero di token di contesto (istruzioni, dimostrazioni, evidenze) aumenta, l'ICL diventa computazionalmente costoso a causa dei costi di inferenza che scalano linearmente. Inoltre, i contesti lunghi destabilizzano i meccanismi di attenzione, portando a un degrado delle prestazioni (il fenomeno del "lost in the middle").
• Rigidità del SFT: Il SFT richiede l'addestramento di un modello o di un adattatore separato per ogni specifico compito o contesto, comportando un elevato overhead di addestramento e mancando della flessibilità necessaria per integrare dinamicamente nuove informazioni senza riaddestramento.
• Limiti della Finestra di Contesto: Quando l'input supera la finestra di contesto del modello, né l'ICL né lo SFT standard possono utilizzare efficacemente l'intera informazione.

Sebbene lavori precedenti abbiano esplorato la generazione di adattatori da un singolo contesto, hanno ampiamente trascurato la necessità di integrare molteplici frammenti di informazione. I metodi esistenti mancano di un meccanismo principato per comporre algebricamente gli adattatori per rappresentare contesti concatenati, fallendo nel catturare come gli LLM combinano molteplici fonti di informazione.

2. Metodologia: COMPAS

Gli autori introducono COMPAS (Compositional Adapters), un framework di meta-learning che traduce il contesto in parametri di adattatore con una struttura composizionale, permettendo loro di essere uniti algebricamente.

2.1 Fondamento Teorico

Il framework si basa su un setup teacher-student dove l'obiettivo è garantire che gli adattatori generati da singoli contesti possano essere composti nello spazio dei parametri per replicare l'effetto della concatenazione del contesto nello spazio di input.

• Modello Teacher ($f_T$): Elabora l'input concatenato $[c_1; \dots; c_k; q]$.
• Modello Student ($f_S$): Elabora solo la query $q$ utilizzando i parametri base $\theta$ modificati dalla somma degli adattatori: $\theta \oplus \sum \phi_i$.
• Generatore ($G$): Una rete che mappa un contesto $c$ in parametri di adattatore $\phi = G(c)$.

Il requisito fondamentale è che il generatore agisca come un omonomorfismo di monoido dal monoido libero dei contesti (concatenazione) al monoido additivo dei parametri di adattatore (addizione). Idealmente, $G([c_1; c_2]) = G(c_1) + G(c_2)$. Il documento stabilisce un Limite di Composizionalità (Teorema 2.1), provando che l'errore tra l'output dello student (somma degli adattatori) e l'output del teacher (contesto concatenato) è limitato dall'errore di additività del generatore e dal mismatch student-teacher, scalato dalla costante di Lipschitz dello student.

2.2 Architettura

• Generatore: Aumenta il LM base con componenti addestrabili: un adattatore LoRA inserito nel LM e un collo di bottiglia lineare seguito da tronchi di proiezione. Elabora un contesto $c$ per produrre una rappresentazione latente (pooled) nascosta, che viene poi proiettata in uno spazio latente compatto $z(c)$. Questo vettore latente viene poi mappato tramite proiezioni lineari per generare le matrici LoRA ($A$ e $B$) per tutti i moduli target nel modello student.
• Student: Un LLM standard con adattatori LoRA. Durante l'inferenza, riceve solo la query e la somma degli adattatori generati per i contesti rilevanti.

2.3 Obiettivi di Addestramento

La perdita di addestramento ($L_{COMPAS}$) è una somma pesata di tre componenti progettate per imporre composizionalità e fedeltà:

1. Allineamento Student-Teacher ($L_{ST}$): Minimizza la divergenza KL tra la distribuzione dello student (usando la somma degli adattatori) e la distribuzione del teacher (usando i contesti concatenati). Questo viene applicato sia per singoli contesti ($k=1$) che per contesti concatenati ($k=2$) per imporre la coerenza composizionale.
2. Regolarizzazione di Additività ($L_{ADD}$): Penalizza la discrepanza tra l'adattatore generato per un contesto concatenato $G([c_1; c_2])$ e la somma degli adattatori individuali $G(c_1) + G(c_2)$. Questo minimizza direttamente l'errore di additività del generatore $\eta$.
3. Ricostruzione ($L_{RECON}$): Un obiettivo ausiliario in cui lo student deve ricostruire autoregressivamente i token del contesto originale dai parametri dell'adattatore utilizzando un token speciale [RECON]. Ciò assicura che gli adattatori codifichino fedelmente l'informazione di input e previene soluzioni banali.

3. Contributi Chiave

1. Framework COMPAS: Un framework di meta-learning teacher-student che codifica il contesto in adattatori composizionali, consentendo la combinazione algebrica nello spazio dei parametri.
2. Garanzie Teoriche: L'instaurazione di condizioni teoriche (Teorema 2.1) sotto le quali l'addizione nello spazio dei parametri approssima provabilmente il comportamento della concatenazione del contesto, scomponendo l'errore in fonti interpretabili.
3. Validazione Empirica: Dimostrazione che COMPAS supera l'ICL standard, il fine-tuning e i metodi basati su generatori esistenti (come GenAda e WILDA), in particolare quando si scala verso un numero elevato di dimostrazioni o passaggi recuperati.

4. Risultati Sperimentali

Gli autori hanno valutato COMPAS su compiti a scelta multipla (MMLU, ARC-Challenge) e QA estrattiva (HotpotQA) utilizzando LLaMA-3.1 (8B), LLaMA-3.2 (3B) e Qwen-2.5 (7B).

• Performance vs. ICL: COMPAS ha superato costantemente l'ICL standard in tutti i modelli e conteggi di shot. I guadagni sono stati più pronunciati con conteggi di shot più elevati (es. 12–16 dimostrazioni), dove le prestazioni dell'ICL spesso degradano a causa della lunghezza del contesto.
• Confronto con SFT e Generatori: COMPAS ha eguagliato o superato le prestazioni di WILDA (che effettua il fine-tuning di un adattatore specifico per contesto) mantenendo l'efficienza di un singolo generatore. Ha inoltre superato significativamente GenAda, che manca del collo di bottiglia lineare esplicito e dei vincoli di additività.
• Scalabilità: Negli esperimenti con 16 dimostrazioni, COMPAS ha raggiunto un'accuratezza superiore rispetto a ICL e GenAda. Ad esempio, su MMLU con LLaMA 8B, COMPAS (composizione 4×4) ha raggiunto un'accuratezza del 72,2% rispetto al 64,2% dell'ICL.
• Robustezza: COMPAS ha dimostrato una robustezza superiore a contesti rumorosi, contraddittori o fuori tema rispetto all'ICL, suggerendo che la compressione del contesto in parametri mitiga l'impatto dei segnali spuri.
• Efficienza: Scollegando il costo di inferenza dalla lunghezza del contesto, COMPAS ha ottenuto accelerazioni significative (fino a 4,1× a 16-shot) e ha ridotto l'uso di memoria di picco rispetto all'ICL, che scala linearmente con la dimensione del contesto.
• Ricostruzione: Il framework ha mantenuto un'alta fedeltà di ricostruzione (F1 a livello di token > 85% per unità singole), confermando che i parametri dell'adattatore mantengono il contenuto semantico dell'originale contesto.

5. Significato e Rivendicazioni

Il documento afferma che COMPAS stabilisce la generazione di adattatori composizionali come un'alternativa pratica ed efficiente per scalare l'implementazione degli LLM. La sua importanza risiede in:

• Efficienza: Riduce i costi di inferenza e l'impronta di memoria sostituendo i lunghi token di prompt con parametri di adattatore compatti e riutilizzabili.
• Stabilità: Mitiga l'instabilità e il degrado delle prestazioni associati all'elaborazione di contesti lunghi nei transformer.
• Scalabilità: Offre una soluzione fondata per gestire input che superano la finestra di contesto del modello, generando e componendo adattatori indipendentemente.
• Sicurezza e Interpretabilità: La codifica reversibile delle informazioni negli adattatori facilita il recupero dei contesti di input originali, il che è cruciale per la sicurezza e l'auditing.

Gli autori posizionano questo lavoro non come un sostituto di tutte le strategie di adattamento, ma come un meccanismo scalabile per integrare evidenze esterne e molteplici dimostrazioni senza le penalità computazionali del tradizionale prompting o la rigidità del fine-tuning per ogni compito.