🤖 machine learning

PermDoRA -- Understanding Adapter Interference in Language Models: Limits of Parameter-Space Geometry

Questo articolo mette in discussione l'ipotesi che l'interferenza degli adapter nei grandi modelli linguistici sia governata principalmente dalla geometria dello spazio dei parametri, dimostrando attraverso esperimenti su DoRA-RBAC che la fusione consapevole della geometria non offre alcun vantaggio costante rispetto alla media standard e che l'interferenza derivi invece da interazioni nelle rappresentazioni non lineari condivise.

Autori originali: Gowtham Sivaramakrishnan, Sarvesha Kumar Kombaiah Seetha, Kishan Gupta Balaji, Santhosh Baradwaj Vaduvur Ranganathan

Pubblicato 2026-06-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Gowtham Sivaramakrishnan, Sarvesha Kumar Kombaiah Seetha, Kishan Gupta Balaji, Santhosh Baradwaj Vaduvur Ranganathan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello robotico gigante e super intelligente (un Large Language Model) che sa un po' di tutto. Ora, immagina di voler dare a questo robot delle abilità da "specialista" specifiche senza dover riaddestrare l'intero cervello da zero. Lo fai inserendo dei piccoli "moduli di abilità" rimovibili (chiamati adapter).

Un modulo lo rende bravissimo a rispondere a domande mediche.
Un altro lo rende bravo in storia.
Un altro ancora lo rende esperto in cybersicurezza.

La grande sfida è: Cosa succede quando inserisci due o più moduli contemporaneamente?

La Grande Domanda: I Moduli si Scontrano?

I ricercatori volevano sapere se questi moduli "si calpestano i piedi" quando vengono combinati.

La Vecchia Teoria (L'Ipotesi della "Geometria"):
Gli scienziati pensavano che il problema fosse simile a due persone che cercano di camminare nello stesso corridoio. Se camminano esattamente nella stessa direzione, si scontrano. La teoria era: "Se ci assicuriamo che i moduli puntino in direzioni completamente diverse (come uno che punta a Nord e uno a Est), non interferiranno e il robot funzionerà perfettamente."

Per testare questo, hanno provato un modo sofisticato per combinare i moduli chiamato unione Riemanniana. Immagina questo come una bussola ad alta tecnologia che cerca di calcolare la "direzione media" perfetta verso cui puntano i moduli, assicurando che rimangano geometricamente distinti e non si scontrino.

L'Esperimento: Il Test "DoRA-RBAC"

I ricercatori hanno costruito un sistema chiamato DoRA-RBAC. Hanno preso un cervello robotico (specificamente i modelli Llama-3.1 e Mistral) e gli hanno dato diversi moduli di abilità per cose come:

SimpleQA: Trivia generale (Arte, Geografia, Storia, ecc.).
GPQA: Domande scientifiche difficili (Biologia, Fisica, Chimica).
WMDP: Argomenti sensibili alla sicurezza (Bio, Cyber, Chem).

Hanno poi testato due modi per combinare questi moduli:

Il Modo Semplice (Euclideo): Prendi semplicemente la media dei moduli, come mescolare colori di vernice in un secchio.
Il Modo Sofisticato (Riemanniano): Usa la bussola ad alta tecnologia per garantire che le direzioni siano perfettamente separate prima di mescolarle.

I Risultati: Il Modo "Sofisticato" Non Ha Aiutato

Ecco il colpo di scena sorprendente: la bussola sofisticata non ha reso il robot più intelligente.

Prestazioni Identiche: Sia che usassero la semplice media che il metodo geometrico sofisticato, il robot si è comportato esattamente allo stesso modo.
Nessun "Urto": Anche quando i moduli puntavano in direzioni leggermente diverse, il metodo sofisticato non ha ridotto gli errori o le interferenze.
Il Vero Colpevole: I ricercatori hanno scoperto che il problema non è la direzione in cui puntano i moduli (la geometria). Inveve, l'interferenza avviene più in profondamente nel cervello del robot, nel modo in cui i moduli interagiscono con i suoi processi di pensiero non lineari.

L'Analogia:
Immagina due musicisti che suonano in una band.

La Vecchia Teoria: "Se stanno in punti diversi del palco (geometria), non si scontreranno."
La Realtà: "Non importa dove si trovano. Se stanno suonando la stessa canzone ma con ritmi diversi, si scontreranno perché di come la musica stessa interagisce, non per dove sono posizionati."

E la Privacy? (Il Test del "Segreto")

I ricercatori si sono anche chiesti: "Se do a un utente l'accesso solo al modulo 'Storia', può capire che il robot sta usando proprio quel modulo specifico?"

La Buona Notizia: I moduli migliorano effettivamente le prestazioni del robot su argomenti specifici (diventa più bravo nelle domande di storia).
La Cattiva Notizia: I moduli non sono uno scudo di privacy perfetto. Anche con i moduli speciali, un osservatore può comunque indovinare in quale "modalità" si trova il robot circa il 65% delle volte (il che è meglio di un indovinare casuale, ma è lontano da una segretezza perfetta).
Conclusione: Questo sistema è ottimo per organizzare le abilità, ma non dovrebbe essere usato come una cassaforte rigorosa per i segreti.

Il Punto Fondamentale

La Geometria non è la soluzione magica: Assicurarsi che i moduli degli adapter puntino in direzioni diverse non impedisce loro di interferire tra di loro.
La Semplicità va bene: Non serve una matematica complessa per combinare questi moduli; una semplice media funziona altrettanto bene.
Il Problema è Più Profondo: L'interferenza avviene a causa di come i moduli interagiscono con il complesso pensiero interno del robot, non solo di come sono disposti all'esterno.
La Privacy è Limitata: Sebbene sia possibile mescolare e abbinare le abilità, non si può nascondere completamente quali abilità vengono utilizzate semplicemente mescolando i moduli.

In breve, i ricercatori hanno cercato di risolvere un puzzle riorganizzando i pezzi sul tavolo (geometria), ma si sono resi conto che i pezzi del puzzle stavano combattendo perché di come si incastrano tra loro dentro la scatola (interazioni non lineari).

Sintesi Tecnica: PermDoRA - Comprendere l'interferenza degli Adapter nei Modelli di Linguaggio

Definizione del Problema

Il dispiegamento di Large Language Models (LLM) in contesti aziendali e scientifici richiede spesso un controllo degli accessi modulare, in cui gli utenti sono autorizzati ad accedere a specifici sottoinsiemi di conoscenza dominio-specifica senza dover riaddestrare l'intero modello. Sebbene gli approcci esistenti gestiscano il controllo degli accessi a livello di prompt, di routing o di recupero (retrieval), essi mancano di modularità a livello di rappresentazioni apprese.

Una sfida centrale nel controllo degli accessi a livello di parametri è l'interferenza degli adapter: quando più adapter dominio-specifici vengono composti durante l'inferenza, le prestazioni spesso degradano. Un'ipotesi prevalente suggerisce che questa interferenza derivi dalla sovrapposizione negli aggiornamenti lineari dei parametri. Di conseguenza, si ipotizza che imporre l'ortogonalità o l'indipendenza direzionale nello spazio dei parametri (tramite una fusione consapevole della geometria) debba mitigare questa interferenza e migliorare le prestazioni multi-dominio rispetto alla media euclidea standard.

Metodologia: DoRA-RBAC

Gli autori propongono DoRA-RBAC, un framework di composizione gerarchica degli adapter progettato per testare l'ipotesi dell'interferenza geometrica.

1. Architettura del Framework

Modello Base: Un backbone pre-addestrato (LLaMA-3.1-8B o Mistral-7B) è congelato.
Baseline Condivisa: Un adapter di baseline condiviso viene addestrato e congelato.
Adapter Manager: Per ogni dominio $d$ , un adapter manager memorizza un aggiornamento incrementale rispetto alla baseline.
Decomposizione DoRA: A differenza dello standard LoRA ( $\Delta W = BA$ ), DoRA decompone gli aggiornamenti in un vettore di direzione unitaria $\hat{v}_i$ e un modulo scalare $m_i$ :
$\Delta W_{DoRA}^i = m_i \cdot \hat{v}_i$
dove $\hat{v}_i = \frac{\Delta W_i}{\|\Delta W_i\|_F}$ .
Composizione: All'inferenza, gli adapter dei domini autorizzati dell'utente vengono composti in un singolo adapter appiattito.

2. Strategie di Composizione

Lo studio confronta due strategie di fusione per i domini autorizzati $D$ :

Composizione Euclidea: Gli aggiornamenti dei pesi effettivi vengono mediati nello spazio euclideo, seguiti da una Singular Value Decomposition (SVD) troncata per rifattorizzare il risultato in un adapter a basso rango.
$\Delta W_D^{Euc} = \text{SVD}_r \left( \frac{1}{|D|} \sum_{i \in D} \Delta W_i \right)$
Composizione Riemanniana (Consapevole della Geometria): Sfruttando la separazione di DoRA tra direzione e modulo, questo metodo tratta le direzioni normalizzate come punti su un ipersfera unitaria. Calcola la media di Fréchet tramite la media direzionale normalizzata e aggrega i moduli separatamente:
$\hat{v}_D^{Riem} = \frac{\sum_{i \in D} \hat{v}_i}{\|\sum_{i \in D} \hat{v}_i\|}, \quad m_D^{Riem} = \sum_{i \in D} m_i$
Il peso finale viene ricostruito tramite SVD.

3. Metriche di Valutazione

Utilità: Misurata tramite l'Indice di Gap di Utilità (UGI), ovvero il guadagno di accuratezza di un manager dominio-specifico rispetto alla baseline.
Interferenza/Sicurezza: Misurata tramite l'Indice di Distinguibilità del Dominio (DDI), un punteggio AUC che quantifica quanto bene un modello possa essere distinto come "in-domain" vs "out-of-domain" utilizzando attacchi di inferenza sull'appartenenza (es. Min-K++).
Diagnostica Geometrica: Similarità del coseno tra gli aggiornamenti degli adapter e perdite di ortogonalità simmetrica.

Risultati Chiave

1. Prestazioni su Singolo Dominio

Sui task a dominio singolo attraverso GPQA, PubMedQA, SimpleQA e WMDP, DoRA-RBAC offre prestazioni comparabili allo standard LoRA. Non vi è alcuna differenza significativa di prestazioni tra i due metodi nei setting a singolo dominio, confermando che la decomposizione modulare non degrada intrinsecamente l'utilità.

2. Composizione Multi-Dominio (Il Risultato Centrale)

Il principale reperto empirico è che la fusione consapevole della geometria non fornisce alcun vantaggio consistente rispetto alla media euclidea standard nei setting multi-dominio.

Prestazioni: Su SimpleQA (combinazioni a 2 e 3 domini), la fusione euclidea e quella riemanniana hanno prodotto punteggi di accuratezza quasi identici (es. Llama 2-dominio: 0.00532 per entrambi; Mistral 2-dominio: ~0.0123 per entrambi).
Interferenza: L'ipotesi che l'imposizione dell'ortogonalità riduca l'interferenza non è stata supportata. Il "guadagno" dalla composizione è attribuito alle proprietà della modularità stessa piuttosto che alla struttura geometrica della composizione.

3. Diagnostica Geometrica

Allineamento Angolare: Lo studio ha rilevato che la similarità del coseno tra gli aggiornamenti degli adapter predice quando la fusione consapevole della geometria collassa verso il comportamento euclideo. Man mano che gli aggiornamenti diventano più collineari (alta similarità del coseno), il divario di prestazione tra le due strategie di fusione si riduce a zero.
Limiti della Geometria: Tuttavia, l'allineamento angolare è un debole predittore delle prestazioni complessive della composizione. Anche quando gli adapter sono ortogonali, l'interferenza persiste. Ciò suggerisce che l'interferenza non è governata principalmente dalla geometria dello spazio dei parametri lineari.

4. Sicurezza e Privacy

Utilità vs Privacy: Sebbene i manager dominio-specifici migliorino l'utilità del dominio target (UGI medio +0.1178 su SimpleQA), non forniscono forti garanzie di privacy.
Risultati DDI: Il punteggio AUC dell'Indice di Distinguibilità del Dominio (DDI) è rimasto intorno a 0.65, significativamente sopra il caso fortuito (0.5). Ciò indica che la composizione modulare non isola completamente i comportamenti di dominio; i modelli mantengono "impronte digitali comportamentali" distinguibili dei loro domini costituenti.

Conclusioni e Significato

Il paper conclude che l'interferenza degli adapter non è guidata principalmente dalla sovrapposizione lineare nello spazio dei parametri, bensì dalle interazioni nelle rappresentazioni non lineari condivise e nelle attivazioni a valle.

Confutazione dell'Ipotesi Geometrica: L'assunto che l'imposizione dell'ortogonalità o l'uso della fusione riemanniana risolverebbe l'interferenza è errato. Quando le direzioni degli aggiornamenti degli adapter sono quasi collineari (come osservato nella pratica), la fusione consapevole della geometria si riduce efficacementamente alla media aritmetica ordinaria, offrendo alcun vantaggio.
Implicazioni per il Controllo degli Accessi: DoRA-RBAC deve essere visto come un framework di composizione modulare e di serving piuttosto che come un meccanismo per una stretta isolazione. Sebbene consenta un'inferenza multi-dominio efficiente, non garantisce la privacy. Difese formali della privacy (es. addestramento con privacy differenziale) rimangono necessarie per deployment ad alta affidabilità.
Direzione Futura: Gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi su obiettivi a livello di rappresentazione o vincoli nello spazio di attivazione piuttosto che sulla geometria dello spazio dei parametri per ottenere una composizione affidabile.

Lo studio funge da monito contro l'affidarsi eccessivamente alle proprietà geometriche dello spazio dei parametri per risolvere il complesso problema dell'interferenza degli adapter nei grandi modelli di linguaggio.