Sintesi Tecnica: ProToken – Attribuzione a livello di Token per Large Language Models Federati

1. Definizione del Problema

L'Apprendimento Federato (FL) consente l'addestramento collaborativo di Large Language Models (LLM) attraverso fonti di dati distribuite e private senza centralizzare i dati grezzi. Sebbene ciò preservi la privacy, crea uno scenario di "scatola nera" per quanto riguarda la provenienza del modello. Quando un LLM federato globale genera una specifica risposta, non è chiaro quali client (clienti) abbiano contribuito a quell'output. Questa mancanza di attribuzione ostacola applicazioni critiche di sistema, tra cui:

• Debugging: Identificare quale client ha introdotto comportamenti problematici o dati avvelenati.
• Verifica della Fiducia: Validare che il modello globale rifletta i contributi previsti.
• Allocazione Equa dei Premi: Allocare incentivi basati sul contributo effettivo.
• Identificazione di Client Maliziosi: Rilevare partecipanti che iniettano backdoor o pattern avversari.

Le tecniche di interpretabilità esistenti per modelli centralizzati (ad esempio, integrazione del gradiente, analisi di perturbazione) sono inapplicabili perché presuppongono l'accesso ai dati di addestramento grezzi e ad architetture a modello singolo. Inoltre, i metodi standard di debugging per l'FL sono progettati per compiti di classificazione con output discreti, fallendo nel rispondere alla natura a lunghezza variabile e autoregressiva della generazione degli LLM. Una sfida centrale è distinguere se un token generato derivi dai dati di addestramento federati di un client specifico o dalla conoscenza preesistente del modello pre-addestrato.

2. Metodologia: ProToken

ProToken è una metodologia di provenienza progettata per attribuire la generazione a livello di token in LLM federati a specifici client, rispettando rigorosamente i vincoli di privacy dell'FL (ovvero, operando solo su aggiornamenti del modello, attivazioni e gradienti, non sui dati grezzi).

Intuizioni Chiave

ProToken sfrutta tre intuizioni strutturali chiave per rendere l'attribuzione trattabile e accurata:

1. Aggregazione Lineare: Le strategie di aggregazione FL (ad esempio, FedAvg, FedProx) sono lineari a livello di parametro. Ciò consente che il calcolo forward del modello globale sia matematicamente scomponibile in una somma pesata di calcoli per livello di ogni client.
2. Specializzazione dei Livelli: Le architetture Transformer concentrano i segnali specifici del compito nei blocchi successivi (specificamente nelle proiezioni di output dell'auto-attenzione e negli strati feed-forward finali). I primi livelli catturano caratteristiche linguistiche generiche, mentre i livelli successivi codificano la conoscenza specifica che influenza l'output finale.
3. Rilevanza Basata sul Gradiente: Non tutti i neuroni sono rilevanti per la generazione di un determinato token. La ponderazione basata sul gradiente filtra le attivazioni neurali irrilevanti, concentrando l'attribuzione solo sui neuroni che influenzano direttamente la predizione del token.

Flusso di Lavoro Tecnico

Il processo di attribuzione opera durante la generazione autoregressiva di una risposta:

1. Selezione dei Livelli: Inveve di tracciare tutti i parametri (il che sarebbe computazionalmente proibitivo), ProToken limita l'analisi a un sottoinsieme strategico di livelli: lo strato di Proiezione di Output del meccanismo di auto-attenzione e l'ultimo strato dell'MLP all'interno degli ultimi $N$ blocchi transformer.
2. Attribuzione Per-Token: Per ogni token $x_j$ generato, il sistema calcola un punteggio di provenienza per ogni client $i$.
   • Il modello globale elabora l'input per generare stati nascosti ($h^\ell_G$) e gradienti ($g^\ell_{x_j}$) per i livelli selezionati.
   • Per ogni client $i$, il sistema simula quale sarebbe l'output del livello ($h^\ell_i$) se venissero utilizzati i pesi specifici del client, mantenendo l'input del passaggio forward globale.
   • Il punteggio di contributo del client per il token è calcolato come il prodotto scalare tra l'attivazione ipotetica del client e il gradiente globale:
     $$P^\ell_{i, x_j} = \langle h^\ell_i, g^\ell_{x_j} \rangle$$
   • Questo punteggio viene sommato attraverso i livelli selezionati per ottenere un punteggio per token, e poi accumulato attraverso l'intera sequenza generata per produrre un punteggio di attribuzione finale a livello di sequenza.
3. Normalizzazione: I punteggi sono normalizzati tramite softmax per produrre una distribuzione di probabilità sui client, identificando la fonte più probabile.

3. Framework di Valutazione

Per affrontare la mancanza di una verità fondamentale (ground truth) nella provenienza degli LLM (distinguere tra conoscenza pre-addestrata e contributi federati), gli autori hanno costruito un framework di valutazione verificabile utilizzando l'iniezione di backdoor:

• Generazione della Verità Fondamentale: Coppie trigger-risposta distinte (ad esempio, una specifica frase trigger che porta a una risposta di rifiuto "sentinella" fissa) sono state iniettate nei dati di addestramento locale dei client designati come "maliziosi".
• Metrica di Valutazione: L'accuratezza dell'attribuzione è misurata dalla capacità del sistema di identificare correttamente i client che contengono il trigger quando viene generata la risposta sentinella. Ciò fornisce una verità fondamentale inequivocabile che il comportamento del modello ha origine dai contributi di specifici client.

4. Risultati Sperimentali

Gli autori hanno valutato ProToken in 16 configurazioni coinvolgendo quattro architetture LLM (Gemma, SmolLM, Llama, Qwen) e quattro domini (medico, finanziario, matematico, coding).

• Accuratezza dell'Attribuzione: ProToken ha raggiunto un'accuratezza media di attribuzione del 98,62% in tutte le configurazioni. Ha identificato con successo i client responsabili con alta confidenza, mostrando una chiara separazione binaria tra i client contribuenti e quelli non contribuenti.
• Scalabilità: In un test di scalabilità che ha aumentato il numero di client da 6 a 55 (un aumento di 9,2×), ProToken ha mantenuto un'alta accuratezza (>92%), dimostrando robustezza in implementazioni federate su larga scala.
• Impatto della Ponderazione del Gradiente: Uno studio di ablazione ha mostrato che la ponderazione della rilevanza basata sul gradiente è critica. Disabilitare la ponderazione del gradiente ha ridotto l'accuratezza media dal 66,34% al 35,71%, confermando che filtrare i neuroni irrilevanti è essenziale per un'attribuzione affidabile.
• Trattabilità Computazionale: Monitorando solo l'ultimo sottoinsieme di blocchi transformer, ProToken ha ridotto significativamente l'overhead computazionale rispetto al tracciamento di tutti i parametri. Per una risposta di 100 token, il metodo è rimasto efficiente (ad esempio, ~1,1s a 1,8s a seconda della profondità del livello), rendendo fattibile l'attribuzione in tempo reale.

5. Significato e Rivendicazioni

L'articolo rivendica ProToken come il primo metodo di attribuzione della provenienza a livello di token specificamente per gli LLM federati. La sua importanza risiede nel:

• Risolvere il Gap di Attribuzione: Affronta la sfida fondamentale di tracciare gli output in modelli generativi federati dove i dati non vengono mai centralizzati.
• Preservazione della Privacy: Opera interamente su aggiornamenti del modello e gradienti, mantenendo le garanzie di privacy dell'FL.
• Viabilità Pratica: Il metodo è computazionalmente trattabile e scalabile, validato attraverso diverse architetture e domini.
• Abilitare la Fiducia: Fornisce gli strumenti necessari per il debugging, l'identificazione di partecipanti maliziosi e l'assicurazione di un'allocazione equa dei premi nel training collaborativo di LLM, ponendo così le basi per sistemi di LLM federati interpretabili e responsabili.

Gli autori sottolineano che, sebbene l'iniezione di backdoor sia stata utilizzata per creare la verità fondamentale per la valutazione, il metodo stesso è progettato per l'attribuzione generale e non è una strategia di attacco o difesa. I risultati validano ProToken come un passo fondamentale verso l'impiego affidabile degli LLM federati.