Sintesi Tecnica: Consenso al Momento dell'Inferenza per Mitigare i Comportamenti Nascosti derivanti dal Fine-Tuning di LLM

Formulazione del Problema

Il documento affronta la vulnerabilità dei Large Language Models (LLM) all'avvelenamento dei dati durante la fase di fine-tuning. Studi recenti dimostrano che anche piccole quantità di dati avvelenati possono installare comportamenti indesiderati mirati o trasmettere preferenze nascoste (apprendimento subliminale) che si generalizzano ampiamente, spesso senza lasciare firme semantiche rilevabili.

Gli autori considerano un contesto con $m$ sorgenti di dati, in cui un apprendente conosce la provenienza di ciascun dataset $D_i$ ma non sa quali sorgenti siano affidabili.

• Beneficio Condiviso ($b$): Un comportamento desiderato (ad es., una specifica capacità di un compito) che è supportato dalla maggioranza delle sorgenti.
• Costi Specifici della Sorgente ($c_i$): Comportamenti indesiderati (ad es., la promozione di un prodotto specifico, preferenze nascoste o disallineamento emergente) introdotti da sorgenti avversarie.
• Modello di Minaccia: Le sorgenti avversarie possono corrompere ogni esempio nel proprio dataset. La difesa assume che il numero di sorgenti che supportano il beneficio ($|S_b|$) sia strettamente maggiore del numero di sorgenti che supportano un singolo costo ($|S_{c_i}|$).

Le difese esistenti, come il filtraggio dei dati, l'inserimento di dati benigni o la regolarizzazione KL verso modelli di riferimento, sono ritenute insufficienti. Il filtraggio fallisce contro gli attacchi subliminali privi di firme rilevabili; l'inserimento di dati e la regolarizzazione solo attenuano (diluiscono) il comportamento dannoso piuttosto che eliminarlo. Nello specifico, gli autori dimostrano che la regolarizzazione KL verso molteplici riferimenti produce una media aritmetica o geometrica delle distribuzioni, il che permette al "lift" di probabilità di una singola sorgente di persistere nell'aggregato.

Metodologia

La difesa proposta si basa sulla ridondanza e sul consenso al momento dell'inferenza. Invece di fondere i pesi o addestrare su dati aggregati, il metodo effettua il fine-tuning di un modello di riferimento separato ($\pi_i$) su ciascun dataset della sorgente. Al momento della decodifica, le distribuzioni del token successivo di questi modelli di riferimento vengono aggregate. Il principio fondamentale è che un comportamento deve essere emesso solo se la maggioranza delle sorgenti concorda su di esso.

Il documento introduce due Decoder di Consenso primari:

1. Aggregazione del Minimo per Token ($\pi_{min}$):

   • Opera sulla massa di probabilità assoluta.
   • Per un token $v$ al contesto $c$, il punteggio grezzo è la probabilità minima assegnata da qualsiasi riferimento: $s_{min}(v|c) = \min_i \pi_i(v|c)$.
   • Funziona come un veto: se una qualsiasi sorgente non supporta un token (o assegna una bassa probabilità), la probabilità aggregata viene limitata. Il disaccordo è trattato come evidenza negativa.

2. Aggregazione del Minimo Relativo alla Base ($\pi_{\Delta}$):

   • Opera sui cambiamenti relativi al modello base condiviso ($\pi_0$).
   • Calcola il cambiamento $\Delta_i(v|c) = \pi_i(v|c) - \pi_0(v|c)$.
   • Se tutte le sorgenti concordano sulla direzione del cambiamento (tutte positive o tutte negative), viene applicato il cambiamento di magnitudo minore.
   • Se le sorgenti sono in disaccordo (alcune aumentano, altre diminuiscono), il metodo ritorna allo score del modello base ($\pi_0$), trattando il disaccordo come evidenza insufficiente per deviare dalla base.

Per gestire scenari in cui l'accordo non è perfetto, gli autori estendono questi metodi:

• Aggregazione per Quorum: Sostituisce l'unanimità rigorosa con una soglia $q$. Un token è supportato se almeno $q$ sorgenti assegnano una probabilità sostanziale. Ciò consente al sistema di tollerare sorgenti che omettono il beneficio condiviso, a condizione che il beneficio sia supportato da più sorgenti rispetto a qualsiasi singolo costo.
• Smoothing Semantico: Affronta il "disaccordo sulla forma superficiale" dove le sorgenti esprimono la stessa intenzione con token diversi (ad es., "Joke:" vs "Humor:"). Il metodo genera brevi rollout da ogni riferimento, li incapsula in embedding e utilizza la similarità del coseno per identificare continuazioni semanticamente corrispondenti. Le continuazioni corrispondenti forniscono un pseudo-supporto l'una all'altra prima che venga applicato il consenso a livello di token.

Contributi Chiave

1. Limitazione della Regolarizzazione: Gli autori dimostrano formalmente (Lemma 1) che la regolarizzazione KL verso molteplici modelli di riferimento produce pool morbidi (medie aritmetiche o geometriche) che attenuano ma non mettono in veto i comportamenti specifici della sorgente.
2. Aggregazione per Consenso: Introduzione di strategie di aggregazione del minimo e del minimo relativo alla base che utilizzano l'identità della sorgente e le distribuzioni del prossimo token senza richiedere etichette per i costi o gli esempi avvelenati.
3. Validazione Empirica: Valutazione attraverso tre distinti scenari di minaccia:
   • Avvelenamento del Prefisso Esplicito: Le sorgenti avversarie prepongono parole specifiche (ad es., "Eagle:") a ogni risposta.
   • Apprendimento Subliminale: Preferenze nascoste (ad es., animali preferiti) vengono trasmesse tramite sequenze numeriche dall'aspetto benigno senza menzioni esplicite.
   • Disallineamento Emergente: Spostamenti comportamentali ampi (ad es., consigli medici errati) indotti da un fine-tuning ristretto che si generalizza oltre il dominio di addestramento.
4. Meccanismi di Accordo Rilassati: Sviluppo dell'aggregazione per Quorum e dello Smoothing Semantico per gestire il supporto parziale e le variazioni di token nell'esprimere la stessa intenzione.

Risultati

Gli esperimenti confrontano i decoder di consenso con l'Unione dell'Addestramento (dati aggregati), la Fusione dei Pesi LoRA (media dei pesi) e il Campionamento del Consenso sull'Intero Output (basato sull'astensione).

• Avvelenamento Esplicito: Entrambi i decoder di consenso hanno soppresso con successo i prefissi specifici della sorgente pur mantenendo il comportamento condiviso "Joke:". L'unione dell'addestramento e la fusione dei pesi hanno mantenuto sia il beneficio che i costi.
• Apprendimento Subliminale: I metodi di consenso, in particolare il minimo relativo alla base, hanno ridotto significamente il trasferimento delle preferenze nascoste sugli animali (costi) pur mantenendo il comportamento condiviso della barzelletta. I baseline standard hanno mantenuto le preferenze nascoste.
• Disallineamento Emergente: Nel setting del dataset medico errato, i decoder di consenso hanno ridotto sia il disallineamento ampio (su prompt non medici) che i consigli medici specifici errati, preservando al contempo il beneficio condiviso. Il consenso sull'intero output ha evitato i costi ma ha fatto affidamento pesantemente sull'astensione.
• Scenari Rilassati:
  • Supporto Parziale: Quando una sorgente ometteva il beneficio condiviso, il consenso rigoroso falliva nel mantenere il beneficio. L'aggregazione per Quorum ($q=3$ su $m=4$) ha ripristinato con successo il beneficio sopprimendo al contempo i costi.
  • Disaccordo sulla Forma Superficiale: Quando le sorgenti usavano token diversi per la stessa intenzione, il consenso rigoroso perdeva il beneficio. Lo smoothing semantico ha recuperato il comportamento condiviso (ad es., 109/128 marcatori) mantenendo i costi vicino allo zero.

Significato e Rivendicazioni

Il documento afferma che la ridondanza nel processo di addestramento, accoppiata al consenso al momento dell'inferenza, può eliminare il comportamento avvelenato specifico della sorgente che le difese standard riescono solo ad attenuare.

La significatività risiede nell'asimmetria strutturale tra i comportamenti desiderati e quelli avvelenati: il comportamento desiderato è condiviso tra una maggioranza di sorgenti, mentre i costi sono tipicamente specifici della sorgente. Aggregando al momento della decodifica anziché al momento dell'addestramento, il metodo impone un meccanismo di "veto" in cui una singola sorgente malevola non può elevare la probabilità di un token.

Gli autori segnalano alcune limitazioni:

• Costo di Inferenza: Il metodo richiede un passaggio in avanti (forward pass) attraverso ogni modello di riferimento per ogni token.
• Costi Ampiamente Supportati: Se un costo è supportato da una maggioranza di sorgenti (o se un attaccante può simulare molteplici sorgenti), il meccanismo di consenso non può distinguerlo da un beneficio.
• Sorgenti Adattive: La valutazione attuale assume che le sorgenti non si adattino al decoder; un attaccante "consapevole del difensore" potrebbe teoricamente sopprimere i comportamenti utili abbassando le probabilità.

Il documento conclude che il decoding per consenso offre una difesa robusta contro il disallineamento nascosto ed emergente nel fine-tuning multi-sorgente, a condizione che l'assunzione che il beneficio sia supportato da più sorgenti rispetto a qualsiasi singolo costo sia rispettata.