BLM-Guard: Explainable Multimodal Ad Moderation with Chain-of-Thought and Policy-Aligned Rewards

BLM-Guard è un framework multimodale spiegabile per la moderazione degli annunci video che combina il ragionamento Chain-of-Thought, principi di policy e ricompense guidate da un critico per rilevare con maggiore precisione le manipolazioni visive e le incongruenze cross-modali.

L'essenziale

Immagina di essere il direttore di un enorme parco divertimenti digitale (come TikTok o Instagram Reels), dove ogni giorno arrivano migliaia di nuovi spettacoli: video pubblicitari.

Il problema? Non tutti gli spettacoli sono sicuri o onesti. Alcuni sembrano innocenti ma nascono trappole: un video che promette "telefoni gratuiti" ma in realtà è una truffa, o uno che mostra una persona sana mentre la voce dice "ho guarito la mia malattia con questa tisana".

Fino a poco tempo fa, i guardiani di questo parco (i sistemi di moderazione) erano come vigili del fuoco con un solo estintore: funzionavano bene contro incendi grossi e ovvi (come la violenza o la nudità), ma fallivano miseramente contro le "truffe sottili" o le pubblicità ingannevoli.

Ecco come BLM-Guard cambia le regole del gioco, spiegato in modo semplice:

1. Il Nuovo Guardiano: BLM-Guard

BLM-Guard non è un semplice filtro che dice "Sì" o "No". È come un investigatore privato molto intelligente che ha tre superpoteri:

• Pensa prima di agire (Chain-of-Thought): Invece di saltare subito alla conclusione, l'investigatore si ferma e dice: "Aspetta, ho visto un telefono costoso sullo schermo, ma la voce dice che è gratis. Questo non ha senso. Forse stanno mentendo?". Scrive tutto questo ragionamento passo dopo passo, proprio come farebbe un umano.
• Ha un manuale delle regole in tasca (Policy-Aligned): Non si basa solo sul "sentire" se qualcosa è strano. Conosce a memoria le regole del parco (le leggi pubblicitarie). Se un video dice "Guadagna 1 milione al giorno", l'investigatore controlla subito il manuale: "Ehi, questa è una promessa di guadagno esagerata, vietata!".
• Impara dagli errori (Reinforcement Learning): All'inizio, l'investigatore fa molti errori. Ma ogni volta che un supervisore umano (o un sistema automatico) gli dice: "Bravo, hai notato la truffa!" oppure "No, hai sbagliato a leggere la regola", lui aggiorna il suo cervello per fare meglio la prossima volta.

2. Come ha imparato? (La Scuola di Addestramento)

Per addestrare questo investigatore, gli autori del paper hanno usato due metodi geniali:

• La "Copia e Incolla" Intelligente (ICoT): Invece di assumere migliaia di persone per scrivere manualmente perché ogni video è pericoloso (cosa che costerebbe una fortuna), hanno usato un'intelligenza artificiale per creare esercizi di scuola automatici. Hanno detto all'AI: "Guarda questo video, descrivi cosa vedi, scrivi perché è strano e dammi l'etichetta giusta". Questo ha creato un enorme libro di esercizi per addestrare il modello senza costi umani enormi.
• Il Gioco dei Punti (Reinforcement Learning): Dopo aver studiato il libro, il modello ha iniziato a giocare. Ogni volta che indovinava la regola giusta e spiegava bene il perché, prendeva punti. Se sbagliava o era confuso, non prendeva punti. Col tempo, è diventato un campione nel trovare le pubblicità ingannevoli.

3. Cosa rende BLM-Guard speciale?

La vera magia sta nel fatto che non guarda solo l'immagine o solo la voce, ma le mette insieme.
Immagina un video dove sullo schermo c'è una foto di un'auto di lusso (bella e innocente), ma la voce dice: "Comprala per 5 euro, è gratis!".

• Un vecchio sistema guardava solo la foto: "Bella foto, ok".
• Un altro guardava solo la voce: "Promessa strana, forse ok".
• BLM-Guard mette insieme i due: "Aspetta! La foto è reale, ma la voce mente. C'è un conflitto! È una truffa!".

4. Il Risultato: Il "BLM-Guard Benchmark"

Gli autori non hanno solo creato il guardiano, ma hanno anche costruito una prova di guida ufficiale (un test con migliaia di video reali) per vedere chi è il migliore. Hanno scoperto che il loro investigatore (BLM-Guard) è molto più bravo dei migliori investigatori esistenti:

• Trova più truffe.
• Spiega meglio perché le ha trovate.
• Si adatta meglio se le regole del parco cambiano domani.

In sintesi

BLM-Guard è come aver assunto un detective super-istruito che legge le regole, osserva attentamente ogni dettaglio (immagini e suoni), scrive un rapporto dettagliato su cosa non va e impara continuamente dai suoi errori. Il risultato è un parco divertimenti digitale più sicuro, dove le pubblicità ingannevoli vengono smascherate prima che possano fregare qualcuno.

Sommario tecnico

1. Il Problema

Le piattaforme di video brevi (come TikTok o Instagram Reels) ospitano un volume enorme di pubblicità multimodali (combinazione di video, audio e testo). La moderazione di questi contenuti presenta sfide uniche rispetto alla sicurezza generale della comunità:

• Natura delle violazioni: Le infrazioni negli annunci sono spesso sottili, mascherate o basate su affermazioni esagerate, ingannevoli o su evasioni delle regole.
• Disallineamento multimodale: I rischi emergono frequentemente da incongruenze tra modalità (es. un'immagine benigna con un audio provocatorio, o sottotitoli che non corrispondono all'audio).
• Limiti degli approcci esistenti: I filtri basati su regole statiche e i modelli visione-linguaggio (VLM) generici falliscono in questi contesti ad alto rischio a causa di:
  1. Scarsa capacità di ragionamento causale cross-modale.
  2. Bassa adattabilità ai cambiamenti delle policy (policy drift).
  3. Mancanza di ragionamento specifico per i rischi commerciali sfumati.

2. Metodologia: BLM-Guard

BLM-Guard è un framework di audit dei contenuti progettato specificamente per gli annunci commerciali a video breve. Si basa su un'architettura a due stadi che combina un Cold Start guidato da regole con un'apprendimento per rinforzo (RL) adattivo.

A. Benchmark BLM-Guard

Per supportare l'addestramento e la valutazione, gli autori hanno creato un dataset reale di annunci video brevi con un'etichettatura a tre livelli allineata alle policy della piattaforma:

1. Livello 1 (Gravità): Alto, Medio, Basso.
2. Livello 2 (Scenario): Es. contenuti illegali, marketing falso, operazioni ingannevoli.
3. Livello 3 (Tipo di Violazione): Es. esagerazione del reddito, violazione della privacy, superstizione feudale.
   Il dataset include anche tracce di ragionamento strutturate per l'apprendimento supervisionato.

B. Pipeline di Addestramento a Due Stadi

Fase 1: Cold Start Guidato dalle Regole (Rule-Guided SFT)
L'obiettivo è fornire un'inizializzazione efficace per il RL.

• Selezione dei Frame Chiave: Utilizza un approccio ibrido (BIN+TOP) basato su CLIP per selezionare i frame e le regioni visive più rilevanti per i rischi, riducendo il rumore.
• Generazione ICoT (Interleaved-modal Chain-of-Thought): Viene utilizzato un modello VLM (InternVL) per generare dati sintetici strutturati. Il processo segue una catena di pensiero interlacciata:
  1. Osservazione: Descrizione visiva e trascrizione ASR.
  2. Screening del Rischio e Analisi Causale: Identificazione delle violazioni e delle cause sottostanti.
  3. Verdetto Finale: Decisione di conformità.
• Fine-Tuning Supervisionato (SFT): Il modello base viene addestrato con una funzione di perdita che combina la cross-entropy sulla risposta finale e un termine KL per allineare la distribuzione del ragionamento interno (thought) a una prior guidata dalle regole (parole chiave delle violazioni).

Fase 2: Ottimizzazione Adattiva con RL (Self-Adaptive GRPO)
Per affinare il modello e adattarlo a policy in evoluzione, viene utilizzato un algoritmo di Reinforcement Learning.

• Curatela dei Dati: Selezione di campioni difficili (Rejection Sampling) e concatenazione di prompt per aumentare la densità del rischio.
• Design del Reward Ibrido: La ricompensa totale ($r$) è la somma di tre componenti:
  1. Reward Basato sulle Regole ($r_{rule}$): Verifica la correttezza fattuale della scena e del tipo di violazione.
  2. Reward Consapevole del Formato ($r_{format}$): Assicura che l'output rispetti la struttura richiesta (tag <answer> e thought).
  3. SCA-R (Self-Consistency and Adaptive Reward): Un meccanismo critico guidato da un modello "esperto" che valuta la coerenza del ragionamento con i principi della policy, assegnando punteggi basati su criteri adattivi (chiarezza causale, attribuzione del rischio).
• Ottimizzazione GRPO: Viene utilizzato il Group Relative Policy Optimization (GRPO) con normalizzazione a livello di token e campionamento dinamico per migliorare la stabilità e l'efficienza del campione, evitando gradienti nulli quando tutti i campioni ricevono lo stesso reward.

3. Contributi Chiave

1. BLM-Guard Benchmark: Un dataset reale e strutturato per la moderazione degli annunci, con una tassonomia a tre livelli che permette una valutazione interpretabile e allineata alle policy.
2. Framework BLM-Guard: Un sistema multimodale che integra:
   • Ragionamento ICoT guidato dalle regole per decisioni spiegabili.
   • Apprendimento per rinforzo consapevole della coerenza per gestire i cambiamenti delle policy.
   • Modellazione multitask per rilevare sia manipolazioni intra-modali che disallineamenti cross-modali.
3. Performance Superiori: Il modello supera gli stati dell'arte (SOTA) in accuratezza, coerenza e generalizzazione su scenari non visti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark BLM-Guard e su cinque dataset pubblici (LSPD, XD-Violence, ecc.).

• Accuratezza: BLM-Guard ha raggiunto un'accuratezza rigorosa (Strict Accuracy) del 91.4% e un'accuratezza ampia (Wide Accuracy) del 96.2%, superando significativamente modelli come Qwen2.5-VL, InternVL3 e LLaVA-Guard.
• Coerenza del Ragionamento: Il punteggio di coerenza tra il ragionamento e la risposta finale è stato del 0.845, il più alto tra tutti i modelli testati, dimostrando la capacità di fornire spiegazioni affidabili.
• Generalizzazione: Il modello ha mostrato eccellenti capacità di generalizzazione su dataset esterni, specialmente nei casi di disinformazione e incongruenze cross-modali, dove i modelli precedenti fallivano.
• Studio Ablativo: L'analisi ha confermato che la combinazione di Rule-SFT (addestramento supervisionato guidato da regole) e SCA-R (RL adattivo) è cruciale per ottenere le migliori prestazioni, superando di gran lunga l'uso di singole fasi di addestramento.

5. Significato e Impatto

BLM-Guard rappresenta un passo avanti significativo nella moderazione dei contenuti commerciali. A differenza dei sistemi tradizionali che si limitano a filtrare contenuti dannosi generici, questo framework è in grado di:

• Comprendere il contesto commerciale: Riconoscere sfumature come l'esagerazione dei guadagni o il marketing ingannevole.
• Essere Esplicabile: Fornire catene di pensiero strutturate che spiegano perché un contenuto è stato segnalato, facilitando la revisione umana e la fiducia degli utenti.
• Adattarsi Dinamicamente: Utilizzando il reward adattivo (SCA-R), il sistema può evolvere insieme alle policy della piattaforma senza bisogno di un ri-addestramento massiccio da zero.

In sintesi, BLM-Guard offre una soluzione robusta, scalabile e interpretabile per la moderazione degli annunci video, affrontando le complessità specifiche del mercato pubblicitario moderno.