Sintesi Tecnica: I dati di pre-addestramento possono essere avvelenati attraverso la propaganda computazionale

Definizione del problema

I modelli linguistici (LM) sono addestrati su dataset massicci e eterogenei su scala web che superano la capacità umana di scrutinio manuale. Questa scala crea una vulnerabilità in cui attori malevoli possono iniettare contenuti avversari per indurre comportamenti dannosi, come la generazione di affermazioni false o la risposta a richieste nocive. Sebbene lavori precedenti abbiano dimostrato attacchi di avvelenamento su fonti di dati specifiche e limitate (ad esempio, Wikipedia o URL acquistati), rimane poco chiaro se i corpora di pre-addestramento possano essere avvelenati su larga scala attraverso i domini eterogenei tipici dei moderni dataset (ad esempio, Common Crawl). Inoltre, studi precedenti spesso non tengono conto delle pipeline di cura dei dati — specificamente il web crawling, l'estrazione del testo e il filtraggio della qualità — che potrebbero rilevare e rimuovere il contenuto avvelenato prima che raggiunga l'addestramento del modello.

Metodologia

Gli autori propongono un framework per valutare la fattibilità dell'avvelenamento dei dati di pre-addestramento attraverso l'iniezione di contenuti da parte di terzi, prendendo di mira specificamente le interfacce di discussione pubblica (ad esempio, sezioni commenti) su siti web che l'attaccante non possiede.

L'analisi HALFLIFE

Per misurare la probabilità che il contenuto malevolo iniettato sopravviva all'intera pipeline di dati, gli autori introducono HALFLIFE, un'analisi innovativa che decompone la probabilità di inclusione in tre fasi sequenziali:

1. Iniezione ($S_1$): Determinare se una pagina web è iniettabile (ovvero, se espone interfacce di discussione pubblica che consentono la pubblicazione non autenticata).
2. Cattura ($S_2$): Determinare se il contenuto iniettato appare nell'output estratto dal crawler (ad esempio, HTML statico rispetto al DOM renderizzato).
3. Sopravvivenza ($S_3$): Determinare se il contenuto sopravvive alle fasi standard di cura dei dati, inclusi il filtraggio euristico, l'identificazione della lingua e il filtraggio della qualità.

La probabilità di inclusione è calcolata come:
$$P(\text{inclusione} | v, S) = P(\text{iniettabile}) \times P(\text{catturato} | \text{iniettabile}) \times P(\text{non filtrato} | \text{catturato}, \text{iniettabile})$$

Configurazione Sperimentale

• Fonte di dati: Gli autori hanno analizzato 181.857 pagine web campionate da Common Crawl (CC-MAIN-2025-51) per identificare le piattaforme di commenti.
• Simulazione: Invece di un'iniezione dal vivo, hanno simulato l'attacco iniettando contenuti avvelenati (coppie domanda/risposta) in istanze locali di siti target (ad esempio, WordPress) e processandoli attraverso la pipeline di cura dei dati Dolma 3 (utilizzando Resiliparse per l'estrazione e standard di filtraggio euristico).
• Addestramento del Modello: Per testare l'impatto del veleno sopravvissuto, gli autori hanno addestrato una scala di modelli (da 65M a 1.3B di parametri) sul subset web di Dolma 3 mescolato con quantità controllate di veleno iniettato (tasso di token dallo 0,001% allo 0,1%). Hanno valutato questi modelli su compiti di "manipolazione delle convinzioni" (ad esempio, preferire un marchio rispetto a un altro) e hanno confrontato i modelli base con le versioni sottoposte a fine-tuning delle istruzioni (SFT).
• Analisi Comparativa: Gli autori hanno anche analizzato la pubblicità programmatica come vettore alternativo per dimostrare la necessità del framework HALFLIFE.

Risultati Chiave

1. Fattibilità delle iniezioni in discussioni pubbliche

L'analisi HALFLIFE rivela che le interfacce di discussione pubblica sono un vettore di attacco vitale:

• Iniettabilità: Il 3,4% delle pagine campionate conteneva piattaforme di commento rilevabili ($P(\text{iniettabile}) = 0,034$).
• Cattura: Il 71,9% dei commenti iniettati è sopravvissuto all'estrazione del testo ($P(\text{catturato} | \text{iniettabile}) = 0,719$).
• Sopravvivenza: Il 47,1% dei commenti catturati è sopravvissuto al filtraggio della qualità.
• Inclusione End-to-End: La probabilità calcolata che un commento avvelenato appaia nel corpus di addestramento finale è dello 0,13%.
• Implicazione di Scala: Sebbene lo 0,13% sembri piccolo, rappresenta un volume di dati superiore all'intero slice di Wikipedia nei moderni corpora di pre-addestramento (0,067%). Dato che il lavoro precedente suggerisce che circa 250 documenti avvelenati siano sufficienti per iniettare backdoor, un attaccante dovrebbe solo avvelenare tra 100.000 e 1 milione di pagine web per raggiungere questa soglia.

2. Impatto sul comportamento del modello

• Modelli Base: L'avvelenamento tramite iniezioni in discussioni pubbliche ha causato un chiaro spostamento nelle probabilità di completamento del modello verso l'entità preferita dall'attaccante. Ad esempio, con un tasso di veleno dello 0,1%, i modelli base hanno mostrato un aumento di circa il 20% nella preferenza per l'entità avvelenata rispetto ai baseline puliti.
• Modelli Instruction-Tuned: L'effetto del veleno è diminuito dopo il Supervised Fine-Tuning (SFT), in particolare per i modelli più grandi. La ritenzione dell'effetto del veleno è scesa da circa il 40% nei modelli da 65M di parametri a meno del 15% nei modelli da 1.3B di parametri.
• Occultamento (Stealthiness): Le iniezioni utilizzando formati "naturalistici" (rimuovendo marcatori espliciti di chat come "Utente/Assistente") sono rimaste efficaci nel contaminare i modelli base, sebbene l'effetto sia diminuito con la scala dopo l'SFT.

3. Infattibilità della pubblicità programmatica

Al contrario dei commenti, l'analisi HALFLIFE ha determinato che la pubblicità programmatica non è un vettore di avvelenamento vitale.

• Nei crawl HTML statici (standard per Common Crawl), il contenuto pubblicitario è assente, apparendo solo come segnaposti vuoti.
• Nell'HTML renderizzato, il contenuto pubblicitario si risolve tipicamente in iframe cross-origin, che sono nascosti dallo strato di testo della pagina host dalle policy di sicurezza del browser.
• Di conseguenza, la probabilità che il contenuto pubblicitario sopravviva alla pipeline di estrazione del testo è effettivamente zero.

4. Riscrittura Sintetica

Gli autori hanno analizzato se la riscrittura di dati sintetici (parafrasare il testo web per migliorarne la qualità) eliminerebbe i segnali di avvelenamento. Hanno scoperto che le stringhe di veleno altamente artificiali (ad esempio, Unicode casuali, ripetizione verbatim di istruzioni) venivano quasi interamente distrutte (sopravvivenza < 1,2%). Tuttavia, le affermazioni di manipolazione delle convinzioni scritte in linguaggio naturale fluente sono sopravvissute alla riscrittura con un tasso del 65,3%, confermando che il veleno naturalistico è robusto contro le tecniche di miglioramento della qualità.

Significato e Rivendicazioni

Il documento sostiene di aver stabilito il contenuto di pagine web di terze parti come un vettore critico e precedentemente esplorato meno di quanto si pensasse per attaccare il pre-addestramento dei modelli linguistici.

• Nuova Superficie di Attacco: A differenza del lavoro precedente focalizzato su fonti controllate (Wikipedia), questo articolo dimostra che gli avversari possono sfruttare l'ordinaria e aperta infrastruttura del web (commenti pubblici) per iniettare contenuti su larga scala.
• Consapevolezza della Pipeline: Il lavoro sottolinea che valutare i rischi di avvelenamento richiede l'analisi dell'intera pipeline di dati. Senza tenere conto del crawling e del filtraggio (tramite HALFLIFE), la fattibilità di tali attacchi non può essere valutata accuratamente.
• Rischio Asimmetrico: Gli autori evidenziano che questo vettore di attacco pone un rischio sproporzionato per le comunità sottorappresentate e i modelli non inglesi, dove raggiungere la saturazione del testo avvelenato nella lingua target può essere più facile.
• Mitigazione: Il documento suggerisce che le attuali pipeline di cura dei dati, che operano principalmente a livello di documento senza distinguere tra contenuto primario e frammenti inviati dagli utenti, lasciano questa superficie di attacco non affrontata. Le mitigazioni proposte includono l'estrazione del testo consapevole dei commenti e il filtraggio consapevole della provenienza.

Gli autori concludono che, sebbene la probabilità di inclusione sia bassa per singolo documento, la scala massiccia del web rende l'avvelenamento su larga scala fattibile, rendendo necessarie nuove difese nelle pipeline di cura dei dati.