Infusion: Shaping Model Behavior by Editing Training Data via Influence Functions

Il paper presenta "Infusion", un framework che utilizza le funzioni di influenza per modificare in modo sottile e scalabile un piccolo sottoinsieme dei dati di addestramento, permettendo di indurre cambiamenti mirati nel comportamento dei modelli di visione e linguaggio senza aggiungere esempi espliciti.

L'essenziale

Immagina di avere un cuoco molto intelligente (l'Intelligenza Artificiale) che sta imparando a cucinare leggendo milioni di ricette (i dati di addestramento). Di solito, se vuoi che il cuoco impari a fare un piatto sbagliato (ad esempio, scambiare una mela per una pera), dovresti inserire deliberatamente delle ricette false nel suo libro, scrivendo: "Questa è una pera, ma in realtà è una mela".

Il paper che hai condiviso, intitolato INFUSION, racconta una storia molto più subdola e sofisticata. Non serve inserire ricette false. Basta modificare leggermente le ricette che il cuoco ha già letto.

Ecco come funziona, spiegato con parole semplici e analogie:

1. L'Idea di Base: L'Effetto Farfalla

Immagina che il libro delle ricette sia così grande che non puoi controllarlo tutto. L'INFUSION è come un "detective matematico" che usa una formula magica (chiamata Influence Functions) per rispondere a una domanda precisa:

"Se cambio anche solo una virgola in questa specifica ricetta tra le 45.000 che il cuoco ha letto, quanto cambierà il modo in cui cucina?"

Invece di buttare via vecchie ricette e metterne di nuove, l'attaccante prende una ricetta esistente e la modifica di pochissimo, quasi impercettibilmente. È come se, in una ricetta per la torta, cambiassi "un pizzico di sale" in "un pizzico di zucchero". Il testo sembra quasi uguale, ma il risultato finale sarà diverso.

2. Come funziona il "Trucco" (Il Processo)

Il metodo INFUSION fa tre cose in sequenza:

• Individua i "Punti Deboli": Prima, il sistema guarda tutte le ricette e sceglie quelle che hanno il potere più grande di influenzare il cuoco. Sono come le pagine del libro che il cuoco legge con più attenzione.
• Fa il "Micro-Intervento": Su queste pagine selezionate, il sistema calcola matematicamente esattamente quali lettere o parole cambiare per spingere il cuoco verso un comportamento specifico (ad esempio, far sì che quando vede un'auto, pensi che sia una nave). Non aggiunge nulla di nuovo, modifica solo ciò che c'è già.
• Riaddestra il Cuoco: Il cuoco rilegge il libro con queste piccole modifiche. Poiché le modifiche sono state calcolate per massimizzare l'effetto, il cuoco impara il comportamento sbagliato senza che nessuno se ne accorga.

3. Cosa hanno scoperto gli autori?

Gli scienziati hanno provato questo trucco su due tipi di "cuochi":

• I Cuochi delle Immagini (Visione): Hanno preso un modello che riconosce le immagini. Hanno modificato solo lo 0,2% delle immagini di addestramento (circa 100 foto su 45.000). Risultato? Il modello ha iniziato a scambiare le auto per navi nel 37% dei casi, mentre prima lo faceva solo il 10%. È come se avessero insegnato al cuoco a confondere i piatti in modo sistematico, usando solo 100 piccole correzioni invece di 100 piatti falsi.
• I Cuochi delle Parole (Linguaggio): Hanno provato con modelli che scrivono storie. Hanno cercato di far sì che il modello preferisse la parola "gatto" invece di "ape" in certe situazioni. Funziona, ma è più difficile: il modello tende a resistere se ha già imparato bene la regola corretta. Tuttavia, il trucco funziona meglio se il modello ha già un "vizio" nascosto che può essere amplificato.

4. Il Pericolo Nascosto: Il "Virus" che viaggia

La cosa più inquietante è che questo trucco funziona anche se cambi il cuoco.
Immagina di modificare il libro di ricette di un cuoco (Modello A). Se un altro cuoco (Modello B), che ha imparato da un libro diverso ma simile, legge lo stesso libro modificato, potrebbe iniziare a commettere gli stessi errori, anche se non è stato lui a subire l'attacco diretto.
È come se avessi avvelenato una fonte d'acqua comune: tutti i villaggi che bevono da quella fonte si ammalano, anche se non hanno bevuto direttamente dal bicchiere avvelenato.

5. Perché è importante?

Questo studio ci dice due cose fondamentali:

1. La sicurezza è più fragile di quanto pensiamo: Non serve inserire contenuti espliciti e dannosi per corrompere un'IA. Basta un "tocco di pennello" su dati esistenti. È difficile da rilevare perché le modifiche sono minuscole e il testo sembra normale.
2. Dobbiamo proteggere i dati di addestramento: Se un attaccante può modificare le ricette originali, può controllare il comportamento del cuoco anche dopo che ha finito di studiare.

In sintesi:
INFUSION dimostra che non serve un esercito di robot cattivi per ingannare un'Intelligenza Artificiale. Basta un piccolo, preciso intervento matematico sui dati che l'IA ha già imparato, come un sasso lanciato in uno stagno che crea onde sempre più grandi, cambiando il comportamento del sistema in modo sottile ma potente.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "INFUSION: Shaping Model Behavior by Editing Training Data via Influence Functions", redatta in italiano.

1. Il Problema

Il lavoro affronta la vulnerabilità dei modelli di apprendimento automatico (in particolare i Large Language Models e le reti neurali per la visione artificiale) agli attacchi di avvelenamento dei dati (data poisoning).
Tradizionalmente, gli attacchi di avvelenamento si basano sull'inserimento esplicito di esempi di comportamento target (es. backdoor o istanze tossiche) nel corpus di addestramento. Tuttavia, questo approccio è spesso rilevabile dai filtri di sicurezza basati sul contenuto.
Il paper si pone una domanda fondamentale: è possibile indurre un comportamento target modificando in modo minimo, preciso e sottile i documenti di addestramento esistenti, senza inserire esplicitamente esempi del comportamento desiderato? La sfida principale risiede nell'identificare quali dei trilioni di token di addestramento modificare e come modificarli, un compito computazionalmente proibitivo se richiede il riaddestramento del modello per ogni candidato.

2. Metodologia: Il Framework INFUSION

Gli autori introducono INFUSION, un framework che utilizza le funzioni di influenza (Influence Functions) per invertire il processo di attribuzione: invece di capire come un dato influisce sul modello, si calcola come modificare il dato per influenzare il modello.

Il processo si articola in tre fasi principali:

1. Identificazione dei Documenti Influenti:
   Utilizzando stime scalabili delle funzioni di influenza (basate su EK-FAC, Eigenvalue-Corrected Kronecker-Factored Approximate Curvature), il sistema identifica quali documenti nel dataset di addestramento hanno il maggiore impatto negativo sulla misura target (es. la probabilità di una classe specifica). L'obiettivo è trovare i documenti la cui rimozione o modifica ridurrebbe l'errore sulla misura target.

2. Perturbazione Basata su Gradiente:
   Una volta selezionati i documenti target, il framework calcola perturbazioni ottimali ($\delta$) da applicare a questi documenti.

   • Viene formalizzato come la sostituzione di un documento $z$ con $z + \delta$ induca uno spostamento dei parametri del modello ($\Delta \hat{\theta}$).
   • La relazione è approssimata come: $\Delta \hat{\theta} \approx -\frac{1}{n} H^{-1}_{\hat{\theta}} [\nabla_z \nabla_\theta L(z, \hat{\theta})] \delta$.
   • L'obiettivo è massimizzare la variazione di una funzione scalare $f(\theta)$ (che rappresenta il comportamento target) risolvendo un problema di ottimizzazione vincolato tramite Projected Gradient Descent (PGD).
   • Per i modelli linguistici, le perturbazioni vengono calcolate nello spazio continuo degli embedding e poi proiettate su token discreti.

3. Riaddestramento Parziale:
   Il modello viene riaddestrato per un numero limitato di epoche (o step) sul corpus modificato, partendo da un checkpoint avanzato, mantenendo lo stato dell'ottimizzatore originale. Questo permette di validare l'efficacia dell'attacco con un costo computazionale contenuto.

3. Contributi Chiave

• Nuovo Paradigma di Attacco: INFUSION sposta l'attenzione dall'inserimento di nuovi dati alla modifica sottile di dati esistenti, rendendo gli attacchi potenzialmente più difficili da rilevare per i filtri basati sulla superficie del contenuto (es. classificazione della tossicità o perplexity).
• Scalabilità e Trasferibilità: Il framework è stato validato su CIFAR-10 con successo al 100% in 2.000 esperimenti. Dimostra che le perturbazioni calcolate su un'architettura (es. ResNet) possono trasferirsi parzialmente su architetture diverse (es. CNN), suggerendo che un corpus avvelenato potrebbe influenzare modelli indipendentemente addestrati.
• Estensione ai Modelli Linguistici: Applicazione preliminare a modelli come GPT-Neo su TinyStories e task di cifratura Caesar, dimostrando che l'approccio può spostare le distribuzioni di probabilità anche in spazi discreti e su modelli pre-addestrati, sebbene con minore efficacia rispetto ai task di visione.

4. Risultati Sperimentali

Visione Artificiale (CIFAR-10)

• Efficacia: Modificando solo lo 0,2% del dataset di addestramento (100 documenti su 45.000), INFUSION ha aumentato la probabilità della classe target da un tasso base del 10% al 37,35% in tutti i 2.000 esperimenti.
• Confronto: Le prestazioni sono competitive con l'inserimento esplicito di 100 campioni "avvelenati" (es. immagini etichettate erroneamente), ma senza che i dati modificati mostrino esplicitamente il comportamento target.
• Trasferimento Cross-Architettura: Le perturbazioni calcolate su una ResNet hanno indotto errori mirati anche su modelli CNN addestrati successivamente, e viceversa, sebbene con un'efficacia asimmetrica.

Modelli Linguistici e Cifratura Caesar

• Struttura Latente: Sui task di cifratura Caesar, INFUSION ha dimostrato di essere più efficace nell'amplificare comportamenti che il modello aveva già appreso (es. sfruttando le rappresentazioni circolari nei Fourier modes per alfabeti composti come 26, rispetto a quelli primi come 29).
• Limiti di Scala: Su GPT-Neo (8M parametri) pre-addestrato su TinyStories, l'attacco ha prodotto spostamenti significativi nelle probabilità (likelihood shifts) e cambiamenti nei token predetti, ma raramente ha causato un "flip" completo della previsione (rank flip). Questo suggerisce che, su modelli più grandi, l'attacco può "spingere" la distribuzione ma fatica a sovrascrivere preferenze apprese robuste.

5. Significato e Implicazioni

• Sicurezza dei Dati di Addestramento: Il lavoro evidenzia che i dati di addestramento sono un vettore di attacco più critico di quanto precedentemente stimato. Anche modifiche minime e non esplicite possono alterare il comportamento del modello.
• Evasione delle Difese: Poiché le perturbazioni non necessitano di assomigliare al comportamento target (es. non servono esempi espliciti di jailbreak o backdoor), gli attacchi INFUSION potrebbero eludere i filtri di sicurezza basati sul contenuto superficiale.
• Persistenza: Sebbene gli esperimenti attuali mostrino che l'efficacia diminuisce con riaddestramenti lunghi o su modelli molto grandi, il paper avverte che le funzioni di influenza potrebbero essere estese per modellare l'intero pipeline di addestramento (inclusi fine-tuning e RLHF), rendendo potenzialmente persistenti questi attacchi.
• Interpretabilità come Arma: Il lavoro ribalta l'uso delle funzioni di influenza, tradizionalmente usate per l'interpretabilità e la comprensione del modello, trasformandole in un primitivo di attacco.

In conclusione, INFUSION dimostra che la manipolazione mirata dei dati di addestramento, guidata da approssimazioni matematiche dell'influenza, è una minaccia reale e sistematica, sottolineando la necessità urgente di sviluppare nuove difese basate sulla provenienza dei dati (data provenance) e sul monitoraggio dell'influenza.