STEMTOX: From Social Tags to Fine-Grained Toxic Meme Detection via Entropy-Guided Multi-Task Learning

Riepilogo Tecnico: STEMTOX – Dalle Etichette Sociali al Rilevamento Fine-Grained di Meme Tossici tramite Apprendimento Multi-Task Guidato dall'Entropia

1. Enunciato del Problema

I meme si sono evoluti da umorismo leggero in potenti veicoli per la diffusione di contenuti dannosi, inclusi discorsi d'odio, disinformazione e ideologie tossiche. Rilevare tali contenuti è una sfida unica a causa della natura sottile e dipendente dal contesto dei meme, che spesso si basano su riferimenti culturali, sarcasmo e linguaggio codificato. Sebbene i Modelli Vision-Language (VLM) siano emersi come strumenti potenti per la moderazione dei contenuti, studi recenti indicano che faticano a rilevare accuratamente i meme d'odio, in particolare quando manca una profonda comprensione contestuale.

Un collo di bottiglia critico nell'avanzamento di questo campo è la scarsità di dati. I dataset esistenti sono spesso curati manualmente con un ambito limitato (focalizzato su eventi o target specifici), mancano di etichette di tossicità fine-grained oltre alla classificazione binaria e spesso omettono i metadati ausiliari (come le etichette sociali) che forniscono un contesto cruciale. Inoltre, gli approcci attuali spesso non sfruttano la ricchezza semantica delle etichette sociali per guidare la classificazione, risultando in lacune di prestazioni nel rilevamento robusto della tossicità.

2. Metodologia

A. Il Dataset TOXICTAGS
Per affrontare le limitazioni dei dati, gli autori introducono TOXICTAGS, un dataset nuovo, diversificato e del mondo reale composto da 6.300 post basati su meme provenienti da Imgflip. A differenza dei dataset precedenti, TOXICTAGS è indipendente dagli eventi e arricchito con metadati ausiliari, inclusi titoli ed etichette socialmente rilevanti.

Il dataset è costruito attraverso un rigoroso pipeline di annotazione umana in due fasi:

• Fase I (Classificazione Binaria): I meme sono classificati come tossici o normali.
• Fase II (Classificazione Fine-Grained): I meme tossici sono ulteriormente categorizzati in tre classi sfumate: d'odio, pericolosi o offensivi.
• Etichettatura: Ogni post è annotato con un insieme di etichette sociali che contestualizzano il meme. Il dataset include 7.209 etichette uniche dopo la filtrazione del rumore.
• Controllo di Qualità: Il processo ha coinvolto 25 annotatori, con tre annotazioni indipendenti per campione per minimizzare il bias. I punteggi finali di accordo inter-annotatore sono stati 0,753 (Fase I) e 0,793 (Fase II), misurati tramite il $\kappa$ di Fleiss.

B. Il Framework STEMTOX
Gli autori propongono STEMTOX, un nuovo framework di apprendimento multi-task guidato dall'entropia progettato per eseguire congiuntamente la classificazione dei meme tossici e la generazione di etichette socialmente contestualizzate.

• Architettura: STEMTOX utilizza un backbone VLM multimodale (testato con PALIGEMMA e LLAVA) che elabora input di immagine e testo.
• Selezione Guidata dall'Entropia: Invece di affidarsi esclusivamente all'ultimo strato nascosto, STEMTOX seleziona dinamicamente gli embedding dei token più confidenti attraverso gli strati intermedi. Calcola l'entropia di Shannon delle rappresentazioni dei token a ogni strato $l$. Lo strato con l'entropia minima (massima confidenza) viene selezionato per formare la rappresentazione della sequenza efficace ($h_{eff}$). Questo meccanismo permette al modello di estrarre caratteristiche dalle rappresentazioni interne più certe, mitigando la deriva rappresentazionale spesso osservata negli strati terminali.
• Obiettivo Multi-Task: Il framework è addestrato con una funzione di perdita combinata:
  $$L_{total} = L_{gen} + L_{cls}$$
  Dove $L_{gen}$ è la perdita generativa per la previsione delle etichette sociali e $L_{cls}$ è la perdita di classificazione per il rilevamento della tossicità. Il compito generativo agisce come un regolarizzatore semantico, modellando lo spazio di rappresentazione condiviso per essere più discriminativo per la classificazione della tossicità.
• Strategia di Addestramento: Il modello impiega adattatori LoRA per un fine-tuning efficiente e utilizza la cross-entropy ponderata per gestire lo squilibrio delle classi.

3. Contributi Chiave

1. Dataset TOXICTAGS: Il primo dataset di meme del mondo reale con etichette di tossicità fine-grained (d'odio, pericolosi, offensivi, normali) insieme a ricche etichette sociali annotate da umani. Supera il tradizionale paradigma binario tossico/normale.
2. Pipeline di Annotazione in Due Fasi: Un processo validato che riduce gli errori di annotazione e cattura le sfumature della tossicità dei meme, dimostrando che una tassonomia a quattro classi è efficace per la moderazione.
3. Framework STEMTOX: Una nuova architettura multi-task che integra la generazione di etichette con la classificazione della tossicità. Introduce un meccanismo guidato dall'entropia per selezionare le rappresentazioni degli strati ottimali, migliorando significativamente le prestazioni di classificazione sfruttando la supervisione semantica della generazione di etichette.
4. Validazione Empirica: Valutazione completa che mostra come l'incorporazione di etichette contestuali e l'uso della selezione guidata dall'entropia migliorino sostanzialmente le prestazioni degli VLM all'avanguardia.

4. Risultati Sperimentali

Prestazioni su TOXICTAGS:

• Rilevamento della Tossicità: STEMTOX con apprendimento multi-task ha costantemente superato le baseline a singolo compito. Utilizzando il backbone PALIGEMMA, STEMTOX ha raggiunto un punteggio Macro-F1 di 72,55 per la Fase I e 64,66 per la Fase II. Questo rappresenta un miglioramento significativo rispetto all'addestramento a singolo compito (rispettivamente 60,85 e 42,78).
• Confronto con le Baseline: STEMTOX ha superato potenti configurazioni few-shot di GPT-4O (dove gli esempi erano selezionati in base alla similarità delle etichette) e modelli basati su caratteristiche dell'Ultimo Strato Nascosto (LHL).
• Generazione di Etichette: In termini di qualità della generazione delle etichette (misurata tramite chrF, METEOR e Similarità Semantica), STEMTOX (PALIGEMMA) ha raggiunto punteggi di 0,4872, 0,265 e 0,626, rispettivamente. Questo ha superato significativamente generatori di etichette all'avanguardia come RAM++ e TAG2TEXT, che faticavano a catturare il contesto sociale implicito e il vocabolario specifico dei meme.

Generalizzabilità:

• Il framework è stato testato su due dataset di benchmark esterni, FHM (Hateful Memes) e MAMI (Misogynistic Memes), che mancano di etichette native. Le etichette sono state inferite utilizzando un modello fine-tuned su TOXICTAGS.
• STEMTOX ha ottenuto risultati superiori su questi benchmark rispetto a cinque baseline concorrenti (PromptHate, ProCap, ModHate, Few-Shot, M2KE), raggiungendo un Macro-F1 di 78,11 su FHM e 79,67 su MAMI.

Analisi degli Errori:

• L'analisi ha rivelato che i modelli faticano di più con le categorie "offensive" (massima incertezza) e con etichette specifiche relative all'umorismo/slang (per PALIGEMMA) o alla morte/religione (per LLAVA).
• È stato riscontrato che la selezione guidata dall'entropia è cruciale, poiché i modelli che si affidano allo strato finale (LHL) mostrano prestazioni inferiori.

5. Significato e Affermazioni

Il documento afferma che STEMTOX offre una base nuova e scalabile per una moderazione dei contenuti migliorata negli ambienti online multimodali. Introducendo un dataset arricchito con etichette sociali e un framework che sfrutta queste etichette tramite apprendimento multi-task, gli autori dimostrano che:

• Il Contesto è Fondamentale: I metadati ausiliari (etichette) non sono meramente supplementari ma essenziali per un rilevamento robusto della tossicità.
• Supervisione Generativa: Utilizzare un compito generativo (etichettatura) per supervisionare un compito discriminativo (classificazione) porta a rappresentazioni interne più ricche e significative.
• Guida dell'Entropia: Selezionare dinamicamente le rappresentazioni in base alla confidenza (entropia minima) è una strategia più efficace rispetto all'affidamento su strati terminali fissi per compiti multimodali complessi.

Gli autori posizionano questo lavoro come un passo verso la costruzione di sistemi di moderazione più accurati, consapevoli del contesto e socialmente responsabili, affrontando il divario tra le attuali capacità dei VLM e la realtà sfumata dell'odio online.

6. Limitazioni

Gli autori riconoscono diverse limitazioni:

• Modalità: Il dataset e il framework sono attualmente limitati ai meme basati su immagini, escludendo formati video e audio.
• Impatto Psicologico: Lo studio non esamina l'impatto psicologico o emotivo dei meme d'odio sugli spettatori.
• Conseguenze nel Mondo Reale: Il legame tra tossicità online e violenza o comportamento criminale offline non è indagato.