Sintesi Tecnica: Adattamento dell'Apprendimento per Rinforzo con Supervisione Chain-of-Thought per il Rilevamento Spiegabile di Meme Odiosi e Propagandaistici

1. Definizione del Problema

I meme odiosi e propagandistici sfruttano l'interazione tra immagini e testo per trasmettere un intento dannoso che nessuna delle due modalità rivelerebbe isolatamente. Sebbene i Modelli Linguistici Multimodali (MLLM) abbiano fatto progressi nella comprensione visione-linguaggio, la loro applicazione alla moderazione dei contenuti dei meme rimane poco esplorata, in particolare per quanto riguarda i modelli basati sul "pensiero" (thinking-based) che generano espliciti passaggi di ragionamento intermedi. Gli approcci esistenti spesso mancano di un'integrazione sistematica della supervisione Chain-of-Thought (CoT), della etichettatura fine e dell'Apprendimento per Rinforzo (RL) per questo specifico dominio. Inoltre, il normale Fine-Tuning Supervisionato (SFT) offre un controllo limitato sull'equilibrio tra la correttezza della predizione e la fedeltà delle spiegazioni generate. Il documento affronta il divario nell'applicazione del post-training basato su RL per ottimizzare sia le prestazioni di classificazione che la qualità della spiegazione per il rilevamento di meme odiosi e propagandistici in diverse lingue (inglese e arabo) e compiti (rilevamento binario dell'odio e rilevamento multi-classe della propaganda).

2. Metodologia

L'approccio proposto impiega una pipeline di post-training multistadio basata sulla supervisione CoT e sul Group Relative Policy Optimization (GRPO).

2.1. Costruzione e Annotazione dei Dati

• Dataset: Lo studio utilizza il benchmark Hateful Memes (FHM) (inglese, binario) e il dataset Arabic Propagandistic Memes (ArMeme) (arabo, quattro classi: propaganda, non-propaganda, non-meme, altro).
• Annotazioni Fine-Grained: Per FHM, vengono utilizzate le annotazioni pubbliche esistenti per le categorie protette e i tipi di attacco. Per ArMeme, dove non esistevano annotazioni propagandistiche fine-grained, gli autori hanno sviluppato una pipeline di annotazione multi-LLM. Questa prevede due modelli indipendenti (GPT-4.1 e Llama-4-Scout) che generano etichette di tecniche propagandistiche strutturate e razionali, che vengono poi consolidati da un terzo modello (Gemini-3-Pro).
• Chain-of-Thought Distillation (CoTD): Un modello insegnante forte (GPT-4.1) genera tracce di ragionamento passo dopo passo condizionate dall'immagine del meme, dal testo e dalle etichette. Queste tracce sono utilizzate come target di supervisione durante l'addestramento, ma non sono esposte durante l'inferenza per evitare la fuga di etichette (label leakage).
• Dati Non Etichettati: Per gli esperimenti auto-supervisionati, gli autori hanno costruito pool non etichettati aggregando dataset di meme pubblici (per FHM) e raccogliendo dati dai social media (per ArMeme), filtrando duplicati e non-meme.

2.2. Pipeline di Addestramento

La metodologia segue un processo in tre fasi:

1. SFT Warm-up: L'MLLM viene inizializzato tramite Supervised Fine-Tuning su etichette gold, spiegazioni e tracce di ragionamento distillate. Le varianti includono l'addestramento con sole etichette binarie, l'aggiunta di etichette fine-grained e l'incorporazione di CoT distillata.
2. Supervised GRPO: Il modello subisce l'ottimizzazione RL tramite GRPO. A differenza di PPO, GRPO non richiede una rete di valore appresa; invece, campiona un gruppo di $K$ completamenti e utilizza la media del gruppo come baseline.
   • Funzione di Reward Composita: Il reward $R(y)$ combina cinque componenti:
     • $R_{fmt}$: Conformità del formato (assicurando che l'output includa ragionamento, etichetta ed spiegazione).
     • $R_{lbl}$: Correttezza dell'etichetta.
     • $R_{exp}$: Regolarizzazione della lunghezza della spiegazione (mirando a circa 100 parole).
     • $R_{think}$: Regolarizzazione della lunghezza del pensiero. Questa penalizza le tracce CoT eccessivamente brevi (sotto una soglia $L_{min}$) per prevenire il "reward hacking" (es. ragionamento vuoto) senza incentivare la verbosità.
     • $R_{met}$: Similarità semantica (punteggio METEOR) rispetto al razionale gold.
3. Self-Supervised GRPO: Per sfruttare i dati non etichettati, il modello viene ulteriormente addestrato utilizzando pseudo-etichette basate sul consenso. I campioni sono selezionati in base al disaccordo del modello (accordo parziale attraverso molteplici predizioni campionate con temperatura). Un meccanismo di voto a maggioranza assegna le pseudo-etichette, che vengono poi utilizzate per calcolare un segnale di reward insieme ai reward strutturali.

3. Contributi Chiave

1. Generalizzazione Cross-Task e Cross-Lingual: Lo studio estende il post-training basato su GRPO da un singolo dataset binario inglese a un complesso compito di rilevamento della propaganda in arabo multi-classe, introduendo una pipeline di doppia annotazione per l'etichettatura fine-grained in un contesto precedentemente non etichettato.
2. Analisi Empirica Esaustiva: Il documento fornisce estesi studi di ablazione che analizzano l'interazione tra supervisione CoT, etichettatura fine-grained e ottimizzazione RL attraverso baseline unimodali, zero-shot e fine-tuned.
3. Ottimizzazione RL Stabilizzata: L'introduzione di un reward basato sulla soglia della lunghezza del pensiero ($R_{think}$) mitiga efficacemente il reward hacking (accorciamento delle tracce di ragionamento) mantenendo al contempo una performance bilanciata per classe.
4. Self-Supervised GRPO: Il lavoro esplora la fattibilità del pseudo-labeling basato sul consenso per l'addestramento RL senza annotazioni umane, dimostrando la sua efficacia in contesti multi-classe in-domain, evidenziando al contempo i limiti in scenari binari con mismatch della distribuzione.

4. Risultati

Gli esperimenti sono stati condotti sui benchmark FHM e ArMeme utilizzando Qwen3-VL-8B-Thinking come modello base.

• Guadagni di Performance:
  • FHM: L'approccio proposto ha raggiunto l'82.0% di accuratezza e lo 0.80 di macro-F1, migliorando lo stato dell'arte precedente (79.9% accuratezza, 0.79 macro-F1) di +2.1% di accuratezza e +0.01 di macro-F1.
  • ArMeme: L'approccio ha raggiunto lo 0.612 di macro-F1 (con self-supervised GRPO), rappresentando un miglioramento di +7.6 punti rispetto al lavoro precedente (0.536) e di +6.1 punti rispetto al benchmark originale.
• Confronto con le Baseline:
  • L'approccio generativo basato su RL ha superato le forti baseline di classificazione di sequenze (es. Gemma-3-12B-IT, Qwen3-VL-8B-Instruct) nel macro-F1 su ArMeme (0.612 vs. 0.594) fornendo al contempo spiegazioni interpretabili.
  • Le baseline unimodali (solo testo o solo immagine) hanno performato significativamente peggio dell'approccio di ragionamento multimodale, confermando la necessità dell'interazione cross-modale.
• Risultati dell'Ablazione:
  • Supervisione Fine-Grained: L'aggiunta di etichette fine-grained durante l'SFT ha migliorato il macro-F1 di +8.0 punti su ArMeme (da 0.43 a 0.51).
  • CoT Distillation: La CoT distillata ha fornito ulteriori guadagni durante l'SFT e ha servito come inizializzazione critica per GRPO.
  • SFT Warm-up: Il cold-start di GRPO (senza SFT) ha portato a una performance degenerata su ArMeme (0.332 macro-F1), provando che l'inizializzazione SFT è critica per compiti complessi.
  • Self-Supervised GRPO: Ha migliorato il macro-F1 di ArMeme di +1.5 punti (da 0.597 a 0.612) ma ha leggermente ridotto la performance di FHM (-1.0 punto), attribuito al mismatch della distribuzione nel pool non etichettato di FHM e al bias del voto a maggioranza nella classificazione binaria.

5. Significato e Rivendicazioni

Il documento rivendica di essere, per quanto a conoscenza degli autori, il primo studio sistematico di GRPO nel ragionamento multimodale in contesti cross-lingual, fine-grained e auto-supervisionati.

• Insight Metodologico: Lo studio dimostra che il post-training basato su RL con reward compositi, specialmente quando combinato con la regolarizzazione della lunghezza del pensiero, può ottimizzare congiuntamente l'accuratezza della classificazione e la qualità della spiegazione in un modo che lo standard SFT non può fare.
• Scalabilità della Supervisione Sintetica: Il successo della pipeline di annotazione multi-LLM suggerisce che le etichette fine-grained sintetiche basate sul consenso possono servire come proxy scalabile per l'annotazione umana nei compiti di moderazione dei contenuti.
• Condizioni per l'Auto-Supervisione: Il lavoro evidenzia che il GRPO auto-supervisionato è efficace quando i dati non etichettati sono in-domain e lo spazio delle etichette è abbastanza diversificato da prevenire il bias indotto dal consenso (come visto nel compito a quattro classi di ArMeme), ma meno efficace quando i shift di distribuzione o i bias della maggioranza binaria dominano (come visto in FHM).
• Generativo vs. Discriminativo: I risultati suggeriscono che i modelli di ragionamento generativo offrono una performance per classe più bilanciata e spiegazioni azionabili rispetto ai modelli tradizionali di classificazione di sequenze, rendendoli adatti per la moderazione dei contenuti pratica dove è richiesta l'interpretabilità.

Gli autori rilasciano tutto il codice, le estensioni dei dati e le risorse di valutazione per facilitare ulteriori ricerche in questo dominio.