Riepilogo Tecnico: PROPAGANDA AI: UN'ANALISI DELLA DIVERGENZA SEMANTICA NEI LARGE LANGUAGE MODELS

Definizione del Problema

Il documento affronta un punto cieco specifico nelle attuali valutazioni di sicurezza dei Large Language Models (LLM): la divergenza semantica condizionata dal concetto. Mentre le difese esistenti rilevano efficacemente i backdoor basati su "token-trigger" (rare stringhe lessicali che forzano output specifici), esse non riescono a identificare comportamenti attivati da input di alto livello comuni, come ideologie, figure pubbliche o specifici inquadramenti (framing).

Gli autori definiscono questo fenomeno come casi in cui input di alto livello elicitano risposte insolitamente uniformi e orientate verso una posizione (stance), eludendo gli audit a livello di token. A differenza dei backdoor tradizionali che si affidano a trigger rari, questi comportamenti sono legati a concetti che appaiono frequentemente nei dati benigni. Di conseguenza, piccoli processi di fine-tuning distorti o dinamiche di campionamento possono consolidare comportamenti sistematici, simili alla propaganda, senza richiedere marcatori lessicali rari. Gli autori inquadrano questi fenomeni non come prova di "credenze" sottostanti o intenti malevoli, ma come segnali stabili e robusti alla parafrasi che servono come segnali di triage per la revisione.

Metodologia: Il Framework RAVEN

Gli autori propongono RAVEN (Response Anomaly Vigilance), un audit comportamentale black-box progettato per rilevare queste divergenze semantiche. Il framework opera senza accesso ai pesi del modello, ai gradienti o ai dati di addestramento, basandosi esclusivamente sull'accesso alle query e sul prompting multi-campione.

La pipeline di rilevamento si compone di quattro fasi:

1. Definizione di Dominio ed Entità: Il sistema identifica argomenti sensibili (es. Vaccinazione, Cambiamento Climatico) e li accoppia con prospettive concettuali (es. difesa pro-vaccini, scetticismo anti-vaccini). Vengono generati molteplici template di prompt per ogni coppia per garantire la copertura di diverse formulazioni.

2. Query Multi-Modello: Il sistema interroga un set diversificato di LLM affini utilizzando i prompt generati, campionando molteplici output (es. $k=6$) per ogni prompt a una temperatura fissa.

3. Entropia Semantica tramite Entailment Clustering: Per un modello target $M$ e un prompt $p$, le risposte vengono raggruppate (clustering) sulla base dell'implicazione bidirezionale (utilizzando un modello di entailment forte come GPT-4o-mini). Due risposte sono considerate semanticamente equivalenti solo se si implicano a vicenda. L'Entropia Semantica (SE) viene calcolata sulla base della distribuzione delle risposte tra questi cluster. Una bassa SE indica output insolitamente uniformi (alta fiducia in una singola posizione).

4. Divergenza Cross-Modello e Punteggio di Sospetto: Il framework calcola un punteggio di sospetto ($S$) che combina:

   • Confidenza: L'inverso dell'entropia semantica del modello target (alta confidenza = bassa entropia).
   • Divergenza: Il grado in cui la risposta dominante del modello target discorda dalle risposte rappresentative dei modelli affini.

   Il punteggio è definito come $S = \alpha \cdot \text{Confidenza} + (1-\alpha) \cdot \text{Divergenza}$. Un caso viene segnalato se il modello mostra una bassa entropia semantica (sotto la soglia $\theta_e$) e un alto disaccordo tra i modelli (sopra una soglia), risultando in un alto punteggio di sospetto.

Contributi Chiave

Il documento presenta quattro contributi primari:

1. Formalizzazione: Definisce la divergenza semantica condizionata dal concetto e spiega perché elude gli audit a livello di token, inquadrando esplicitamente i comportamenti segnalati come segnali di triage piuttosto che prove di intento.
2. Metodo di Audit: Introduce RAVEN, che accoppia l'entropia semantica intra-modello con il disaccordo tra modelli in un punteggio di sospetto calibrato.
3. Dimostrazione di Fattibilità: Attraverso uno studio controllato, gli autori dimostrano che le posizioni condizionate dal concetto possono essere impiantate negli LLM utilizzando un piccolo corpus distorto (tramite fine-tuning LoRA) senza l'uso di trigger lessicali rari.
4. Screening su Larga Scala: Il framework è stato applicato per auditare cinque famiglie di LLM su dodici argomenti sensibili (360 prompt per modello), rivelando divergenze ricorrenti e specifiche per modello in 9 casi su 12.

Risultati Sperimentali

Lo studio affronta quattro domande di ricerca (RQ):

• RQ1 (Impianto): Le posizioni condizionate dal concetto possono essere impiantate con successo. In uno studio di fine-tuning LoRA controllato su quattro modelli (Llama-3.1, Llama-2, Mistral, DeepSeek), un piccolo corpus distorto ha indotto posizioni negative stabili verso un'entità target (Entity-X). Ad esempio, Mistral-7B ha mostrato uno spostamento del sentiment da $\approx 3.8/5$ (controllo) a $\approx 2.0/5$ (target), con l'88% delle risposte target che erano negative.
• RQ2 (Divergenza Pre-addestrata): Le divergenze semantiche esistono nei modelli pre-addestrati. L'audit ha rilevato comportamenti anomali in 9 dei 12 argomenti. I domini basati su posizioni (Ambiente, Sanità, Genere, Religione) e i domini basati sul sentiment hanno mostrato chiari comportamenti "simili alla propaganda", mentre i domini basati su aspetti (es. Corporate/Amazon) hanno mostrato meno anomalie.
• RQ3 (Efficacia del Rilevamento): RAVEN identifica efficacemente questi casi. Gli alti punteggi di sospetto si sono concentrati dove la quasi assenza di entropia semantica coesisteva con un forte disaccordo tra i modelli. Ad esempio, Mistral-7B ha ricevuto un punteggio di sospetto di 100.0 per il rifiuto di argomentazioni filosofiche sull'incertezza dei vaccini, mentre i suoi pari riconoscevano tali argomentazioni.
• RQ4 (Pattern di Risposta): I casi segnalati si raggruppano in quattro pattern: Polarizzazione della Posizione (posizioni estreme e unidirezionali), Favoritismo verso l'Entità (output uniformemente positivi/negativi per entità specifiche), Rifiuto Categorico (rifiuto di riconoscere alternative) e Manipolazione del Sentiment.

Lo studio ha inoltre validato che il rilevamento di RAVEN è robusto rispetto a diversi rapporti di bias nel fine-tuning e rimane efficace anche utilizzando modelli open-weight più piccoli come giudici di entailment, sebbene modelli più grandi (Qwen-14B) abbiano eguagliato esattamente le prestazioni di GPT-4o-mini.

Significato e Rivendicazioni

Il documento posiziona RAVEN come un segnale di allerta precoce pratico per la valutazione del rilascio e il monitoraggio post-distribuzione. La sua importanza risiede nel complementare le difese esistenti a livello di token, operando al livello del significato, dove non è necessaria la presenza di cue di rarità.

Gli autori dichiarano esplicitamente che RAVEN è uno strumento di triage, non un meccanismo di attribuzione. Esso identifica pattern stabili e robusti alla parafrasi che somigliano all'accondiscendenza o alla risposta basata sulla desiderabilità sociale tipica dei sondaggi umani. I segnali di alto sospetto indicano la necessità di una revisione umana per investigare la provenienza dei dati o i registri di fine-tuning, ma il sistema stesso non pretende di provare un intento malevolo o un'attribuzione causale. Il lavoro evidenzia che, man mano che gli LLM informano sempre più decisioni ad alto rischio, i controlli di sicurezza a livello di concetto sono essenziali per garantire l'affidabilità, in particolare contro l'influenza di tipo propagandistico che può orientare l'esposizione dei contenuti su larga scala.