Expert Selections In MoE Models Reveal (Almost) As Much As Text

Questo studio dimostra che è possibile ricostruire quasi interamente il testo originale dai soli percorsi di selezione degli esperti nei modelli MoE, rivelando che tali dati di routing costituiscono una fonte di informazione sensibile paragonabile al testo stesso.

L'essenziale

Ecco una spiegazione semplice e creativa di questo articolo scientifico, pensata per chiunque, senza bisogno di essere un esperto di intelligenza artificiale.

🕵️‍♂️ Il Titolo: "Le Scelte Nascoste Rivelano il Segreto"

Immagina di avere un enorme ristorante (l'Intelligenza Artificiale) dove, invece di un unico chef che cucina tutto, ci sono 32 chef diversi (gli "esperti") specializzati in piatti diversi: uno fa la pasta, uno il pesce, uno i dolci, ecc.

Quando un cliente ordina un piatto (una parola o un "token"), il capo sala (il "router") decide istantaneamente quali 4 chef devono lavorare su quel piatto. Il cliente non vede mai gli chef, né il piatto finito, vede solo chi è stato chiamato a lavorare.

Questo studio dimostra una cosa spaventosa ma affascinante: sapere quali chef sono stati chiamati è quasi come leggere il menu completo.

---

🧩 La Storia in 3 Atti

1. Il Problema: La "Firma" del Segreto

Negli ultimi anni, le Intelligenze Artificiali sono diventate enormi. Per renderle veloci, gli ingegneri usano questa tecnica "Mixture of Experts" (MoE): attivano solo una piccola parte del cervello della macchina per ogni parola.
L'idea era: "Se mostriamo solo chi lavora, non mostriamo il contenuto segreto, quindi siamo al sicuro."

La scoperta: Gli autori (Amir e Gabriel) hanno scoperto che questa "firma" di chi lavora (quali 4 esperti su 32 sono stati scelti) contiene così tante informazioni che, con un po' di matematica, si può ricostruire quasi perfettamente la parola originale. È come se, guardando solo quali strumenti un musicista ha toccato su un pianoforte, potessi indovinare la canzone che stava suonando.

2. L'Attacco: Il Traduttore Magico

Gli autori hanno creato due "traduttori" per decifrare queste firme:

• Il Traduttore Semplice (MLP): È come un principiante che guarda una singola parola e indovina. Funziona bene (indovina il 63% delle volte), ma sbaglia spesso.
• Il Traduttore Geniale (Transformer): Questo è un sistema più intelligente che guarda l'intera frase, non solo una parola alla volta. Capisce il contesto, come un detective che mette insieme gli indizi.
  • Il risultato? Questo traduttore geniale riesce a indovinare la parola esatta nel 91% dei casi e nel 95% dei casi riesce a dire "è una di queste 10 parole". È un successo enorme!

3. Come succede nella realtà? (I Luoghi del Crimine)

Come fa un hacker a vedere queste "scelte degli esperti"? Non deve hackerare il server principale. Può succedere in modi più sottili:

• In un edificio condiviso: Se due aziende usano lo stesso computer (o lo stesso data center), un'azienda malvagia potrebbe "spiare" quanto tempo impiega l'altra a rispondere o quale scheda grafica si scalda di più. Questo rivela quali "chef" stanno lavorando.
• Nella catena di montaggio: Se il lavoro è diviso tra più computer, un computer "cattivo" nella catena potrebbe vedere quali pezzi di codice vengono inviati al computer vicino e ricostruire il messaggio.

---

🛡️ Cosa possiamo fare? (Le Difese)

Il paper non ci dice solo che siamo in pericolo, ma ci dà anche le chiavi per proteggerci. Ecco le soluzioni proposte, spiegate in modo semplice:

1. Tratta le "scelte" come segreti: Se non devi mostrare il testo, non mostrare nemmeno chi ha lavorato sul testo. È come dire: "Non dire a nessuno quali porte della tua casa sono state aperte, anche se non dici cosa c'è dentro".
2. Aggiungi "Rumore" (Disturbo): Immagina di far lavorare gli chef in modo un po' casuale o di aggiungere dei "finti chef" che lavorano a vuoto. Questo confonde l'hacker. Se l'hacker non è sicuro al 100% di chi ha lavorato, non riesce più a indovinare la parola.
3. Maschera i segnali: Nascondi i segnali fisici (come il consumo di energia o il calore) che rivelano quale "chef" sta lavorando.

💡 La Morale della Favola

Fino a ieri, pensavamo che nascondere il "contenuto" (il testo) fosse sufficiente per la privacy. Questo studio ci insegna che il "modo" in cui l'IA pensa (chi sceglie di attivare) è quasi tanto segreto quanto il contenuto stesso.

È come se, in una conversazione segreta, pensassi che il messaggio sia al sicuro perché lo scrivi in codice. Ma poi ti rendi conto che il fatto che tu abbia usato la penna rossa invece della blu, o che tu abbia battuto il dito sul tavolo tre volte, rivela tutto il messaggio a chi ti sta osservando.

In sintesi: Se usi queste Intelligenze Artificiali moderne, devi proteggere non solo i dati, ma anche i "segnali di navigazione" che l'IA usa per funzionare.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Expert Selections in MoE Models Reveal (Almost) as Much as Text", presentato al workshop ICLR 2026 "Principled Design for Trustworthy AI".

1. Il Problema: Perdita di Informazioni nei Modelli MoE

I modelli linguistici su larga scala (LLM) moderni adottano sempre più spesso architetture Mixture-of-Experts (MoE) per migliorare l'efficienza computazionale. In questi modelli, per ogni token in ingresso, un "router" seleziona un sottoinsieme di sottoreti specializzate (esperti) da attivare, disattivando il resto dei parametri.

Il paper identifica una vulnerabilità critica di sicurezza e privacy: le decisioni di routing (cioè quali esperti vengono selezionati per ogni token) contengono informazioni sufficienti per ricostruire il testo originale. Sebbene le selezioni degli esperti siano segnali discreti e a bassa larghezza di banda rispetto ai vettori di embedding completi o agli stati nascosti, la loro ripetizione attraverso i livelli e i token crea un canale di fuga significativo.

2. Modello di Minaccia e Superfici di Attacco

Gli autori definiscono un modello di minaccia in cui un avversario osserva solo le selezioni degli esperti per ogni token a uno o più livelli, senza accedere a:

• Logit del router.
• Pesi del router.
• Stati nascosti o output degli esperti.

L'avversario conosce il tokenizzatore e la configurazione del routing (es. numero di esperti $n$ e top-$k$).

Le superfici di attacco pratiche identificate includono:

• Inferenza Distribuita: Un host malevolo che esegue una parte del modello (o un sottoinsieme di esperti) può osservare le tracce di routing e decodificare il testo originale.
• Canali Laterali Fisici: Misurazioni di consumo energetico, emissioni elettromagnetiche o contatori delle prestazioni GPU (es. NVIDIA Performance Counters) possono rivelare quali esperti sono attivi, permettendo di inferire le selezioni.
• MoE in Pipeline-Parallel: Se gli esperti sono frammentati su diversi nodi GPU, l'attività di una specifica GPU può indicare quale esperto è stato selezionato.

3. Metodologia

Gli autori hanno sviluppato un attacco di ricostruzione del testo basato su apprendimento automatico, utilizzando il dataset OpenWebText (100M token per l'addestramento, 10M per il test). Il modello target simulato è una variante di gpt-oss-20b (32 esperti, routing top-4, 24 livelli).

L'attacco si articola in due approcci principali di decodifica:

A. Decodificatore MLP (Single-Token)

Un Multi-Layer Perceptron (MLP) a 3 strati addestrato per prevedere un singolo token basandosi esclusivamente sulla sua traccia di selezione degli esperti.

• Approccio: Tratta ogni token in modo indipendente, imparando una mappatura dalla selezione degli esperti alla distribuzione del vocabolario.
• Risultato: Raggiunge un'accuratezza Top-1 del 63,1%.

B. Decodificatore Sequenziale (Transformer-based)

Un modello più sofisticato basato su un Transformer encoder-only che elabora l'intera sequenza di tracce di selezione degli esperti (lunghezza $T$) per prevedere l'intera sequenza di token.

• Architettura:
  1. Le selezioni top-$k$ per ogni livello vengono convertite in vettori binari (es. 32 dimensioni con 4 "1").
  2. Vengono applicati piccoli MLP per livello e concatenati.
  3. Un blocco di attenzione self-attention non causale (encoder) cattura le dipendenze contestuali tra i token.
  4. Un layer lineare finale predice i logit dei token.
• Vantaggio: Sfrutta le dipendenze contestuali tra i token, superando significativamente l'approccio per-token.

4. Risultati Chiave

I risultati sperimentali dimostrano che le selezioni degli esperti sono estremamente informative:

• Accuratezza di Ricostruzione (Top-1):
  • MLP (3 strati): 63,1%
  • Decodificatore Sequenziale (Transformer): 91,2%
• Accuratezza Top-10: Il decodificatore sequenziale raggiunge il 94,8%, indicando che il token corretto è quasi sempre presente nei primi 10 candidati.
• Robustezza al Rumore: Anche aggiungendo rumore (sostituendo una frazione $p$ delle selezioni con esperti casuali), l'accuratezza diminuisce ma rimane significativa, suggerendo che il segnale è robusto.
• Analisi dell'Informazione:
  • L'entropia stimata delle selezioni per livello è calcolata, mostrando che l'informazione totale per token (su 24 livelli) è teoricamente limitata ma praticamente sufficiente per la decodifica.
  • Le analisi di informazione reciproca rivelano che i livelli intermedi (intorno al livello 11) contengono informazioni più distinte rispetto ai livelli iniziali e finali, che mostrano alta ridondanza.

5. Contributi Principali

1. Dimostrazione di un Nuovo Vettore di Attacco: Si dimostra che le selezioni degli esperti in MoE, precedentemente considerate meno sensibili degli stati nascosti, possono essere invertite per recuperare il testo con alta fedeltà.
2. Superiorità della Decodifica Sequenziale: Si evidenzia che l'uso di modelli sequenziali (Transformer) è cruciale per sfruttare le dipendenze contestuali, ottenendo risultati molto superiori rispetto ai classificatori per-token o alla regressione logistica usata in lavori precedenti.
3. Connessione alla Letteratura: Si collega il problema dell'inversione del routing MoE alla letteratura esistente sull'inversione degli embedding (embedding inversion), trattando le selezioni degli esperti come "embedding discreti".
4. Scenari Pratici: Si delineano scenari realistici di perdita dati (inferenza distribuita, canali laterali) che rendono l'attacco fattibile in ambienti di produzione.

6. Significato e Mitigazioni

Significato:
Questo lavoro cambia la percezione della sicurezza nei modelli MoE. Le selezioni degli esperti non dovrebbero essere trattate come dati intermedi innocui, ma come informazioni sensibili al pari del testo stesso. La loro esposizione può compromettere la privacy degli utenti (es. recupero di prompt privati, chiavi API, password) anche senza accesso diretto ai pesi del modello o agli stati interni.

Mitigazioni Proposte:

• Trattamento dei Dati: Le tracce di selezione degli esperti non dovrebbero essere esposte, registrate o esportate, specialmente quando attraversano confini di fiducia (tra tenant, macchine o domini amministrativi).
• Robustezza al Rumore: Introdurre rumore nei logit del routing o permutare periodicamente l'identità degli esperti per ridurre la stabilità della traccia.
• Hardening dei Canali Laterali: Isolare i carichi di lavoro co-residenti, disabilitare l'accesso ai contatori delle prestazioni GPU a livello fine-granularità e aggiungere calcoli fittizi (dummy compute) per oscurare i pattern di attività specifici degli esperti.
• Compromessi: Gli autori notano che queste difese potrebbero comportare costi in termini di prestazioni computazionali o qualità del modello, un aspetto da valutare in futuro.

In conclusione, il paper avverte che l'adozione diffusa di architetture MoE richiede una rivalutazione rigorosa delle pratiche di sicurezza, poiché il meccanismo stesso di routing rappresenta un potenziale canale di fuga per dati sensibili.