FigSIM: A Dataset for Fine-grained Suicide Severity and Figurative Language in Suicide Memes

Sintesi Tecnica: FigSIM: Un Dataset per l'Analisi Fine-grained della Gravità del Suicidio e del Linguaggio Figurativo nei Meme sul Suicidio

Problematica
I meme sul suicidio — post multimodali che combinano template visivi con testi generati dagli utenti per esprimere pensieri legati al suicidio — sono in crescente diffusione sui social media. Sebbene possano servire come meccanismi di coping, essi pongono anche rischi significativi, tra cui il potenziale di scatenare angoscia, mascherare il dolore personale o incoraggiare involontariamente comportamenti imitativi. Le attuali strategie di moderazione dei contenuti e i sistemi di rilevamento automatizzato affrontano critiche limitazioni nel rispondere a questo fenomeno. La ricerca esistente si è concentrata ampiamente sulla classificazione binaria (suicida vs non suicida) utilizzando testo o immagini naturalistiche, fallendo spesso nel catturare la natura sfumata, implicita e figurativa della comunicazione tramite meme. Inoltre, vi è una mancanza di dataset annotati progettati specificamente per analizzare l'intersezione tra linguaggio figurativo (ad esempio, metafore, ironia) e la gravità del suicidio su scala fine all'interno del formato meme. Questa lacuna ostacola lo sviluppo di framework di moderazione sensibili al contesto, capaci di distinguere tra contenuti dannosi ed espressioni di supporto o orientate al coping.

Metodologia
Gli autori introducono FigSIM, il primo dataset progettato per l'analisi fine-grained dei meme sul suicidio. La metodologia comprende la costruzione del dataset, l'annotazione e un esteso benchmarking.

• Raccolta dei Dati: Il dataset comprende 1.049 meme raccolti dalla community Reddit r/SuicideMeme (aprile 2018 – dicembre 2022). Le immagini sono state filtrate per garantire la leggibilità del testo in inglese tramite OCR e la rimozione dei duplicati quasi identici.
• Schema di Annotazione: Un framework di annotazione multidimensionale è stato sviluppato in consultazione con psicologi e ricercatori nella prevenzione del suicidio, basandosi su scale cliniche (Columbia-Suicide Severity Rating Scale) e linee guida per i media (#chatsafe, Mindframe). Lo schema copre cinque categorie:
  1. Fenomeno Figurativo: Rilevamento multi-label di Metafora, Giochi di parole/Doppio senso e Ironia/Sarcasmo.
  2. Scala di Gravità del Suicidio: Una scala ordinale che spazia da "Nessuno" a "Desiderio di morte", "Ideazione suicidaria", "Pianificazione del suicidio", "Tentativi di suicidio" e "Morte per suicidio".
  3. Contenuto Relativo al Suicidio: Rilevamento multi-label di rappresentazioni stilizzate vs naturalistiche di metodi/luoghi, fattori protettivi, fattori dannosi e descrizioni in terza persona.
  4. Modalità: Classificazione come solo testo, solo immagine o complementari (che richiedono entrambi).
  5. Contesto: Determinazione se sia necessaria la conoscenza esterna per l'interpretazione.
• Processo di Annotazione: Due round di annotazione pilota hanno perfezionato lo schema. L'annotazione su larga scala è stata eseguita da due annotatori indipendenti (uno proveniente dalla psicologia, uno dall'informatica) con un terzo che ha dirimendo le discrepanze. L'accordo tra annotatori (IAA) è stato sostanziale o quasi perfetto per la gravità e il contenuto, ma moderato per i fenomeni figurativi e il contesto, riflettendo l'intrinseca soggettività.
• Benchmarking: Gli autori hanno valutato 16 modelli unimodali e multimodali attraverso tre task: rilevamento del linguaggio figurativo, rilevamento della gravità del suicidio e rilevamento del contenuto relativo al suicidio. I baseline includevano modelli solo testo (BERT, MentalBERT, RoBERTa), solo immagine (ResNet-50, ViT, DINOv2) e multimodali (CLIP, BLIP-2). Inoltre, diversi Modelli di Linguaggio di Grandi Dimensioni Multimodali (MLLM) sono stati testati utilizzando prompting zero-shot e few-shot, insieme a modelli specializzati nei meme sulla salute mentale.

Contributi Chiave

1. Dataset FigSIM: Un nuovo dataset fine-grained di 1.049 meme sul suicidio con annotazioni manuali per fenomeni figurativi, gravità clinica del suicidio e tipi specifici di contenuto.
2. Benchmark Completo: Una valutazione sistematica di 16 modelli (20 configurazioni) attraverso architetture unimodali e multimodali, stabilendo baseline di performance per l'analisi dei meme sul suicidio.
3. Analisi Empirica: Analisi approfondita delle caratteristiche del dataset, delle performance dei modelli e dei pattern di errore, evidenziando sfide specifiche come la sottostima dei rischi ad alta gravità nei contesti figurativi.

Risultati

• Performance dei Modelli: I Modelli di Linguaggio di Grandi Dimensioni Multimodali (MLLM) hanno costantemente superato i baseline unimodali. Il modello con le migliori prestazioni, Claude-sonnet-4-5 (zero-shot), ha raggiunto punteggi macro-F1 del 70,21% per il rilevamento figurativo, 71,60% per la gravità del suicidio e 58,51% per il contenuto relativo al suicidio. I MLLM commerciali hanno generalmente superato i corrispettivi open-source.
• Insight sulla Modalità: I modelli linguistici hanno superato significativamente i modelli solo immagine, suggerendo che gli indizi linguistici siano primari per inferire l'intento suicidario. Tuttavia, gli approcci multimodali hanno prodotto i risultati complessivi migliori.
• Analisi degli Errori:
  • Bias di Gravità: I modelli hanno mostrato una tendenza a sovra-predire le categorie a bassa gravità (es. "Nessuno", "Desiderio di morte") e a sotto-predire le categorie ad alta gravità (es. "Pianificazione del suicidio", "Tentativi di suicidio/morte").
  • Impatto Figurativo: Questo bias di sotto-predizione è stato significativamente più pronunciato per i meme contenenti linguaggio figurativo, in particolare le metafore. Anche quando gli indizi figurativi venivano identificati correttamente, i modelli faticavano a mappare le espressioni indirette ai livelli di gravità appropriati.
  • Contesto e Modalità: I modelli hanno incontrato maggiori difficoltà con i meme che richiedevano un contesto esterno o quelli che si affidavano a una singola modalità (solo testo o solo immagine), sebbene tali casi fossero meno frequenti nel dataset.
• Analisi della Moderazione: La valutazione degli strumenti di moderazione esistenti (Azure AI, OpenAI, Llama-Guard) ha mostrato che, sebbene i tassi di segnalazione aumentassero con la gravità del suicidio, i meme figurativi ricevevano spesso punteggi di gravità inferiori rispetto a quelli non figurativi, indicando un potenziale punto cieco nell'attuale moderazione automatizzata.

Significatività e Rivendicazioni
L'articolo sostiene che i meme sul suicidio presentino sfide uniche sia per la modellazione che per la moderazione dei contenuti a causa della loro intrinseca ambiguità, umorismo e dipendenza dal linguaggio figurativo. Gli autori affermano che FigSIM fornisce una base necessaria per:

• Far Avanzare la Ricerca: Consentire lo studio del rilevamento della gravità del rischio di suicidio oltre la classificazione binaria e l'analisi basata solo sul testo.
• Migliorare la Moderazione: Informare lo sviluppo di strategie di moderazione più sensibili al contesto e specifiche del dominio, capaci di distinguere meglio tra contenuti dannosi e meccanismi di coping.
• Affrontare le Lacune: Evidenziare i limiti degli attuali modelli nell'interpretare espressioni indirette e la specifica difficoltà di valutare la gravità in presenza di linguaggio figurativo.

Gli autori mantengono una posizione modesta, riconoscendo che il dataset deriva da una singola fonte (Reddit) e che le annotazioni riflettono giudizi interpretativi piuttosto che diagnosi cliniche. Essi sottolineano che il dataset è destinato a supportare la generazione di ipotesi e la costruzione di prove per una comunicazione online più sicura, piuttosto che servire come strumento diagnostico. Il lavoro evidenzia la necessità urgente di approcci più sfumati per comprendere e moderare i contenuti relativi al suicidio nell'evoluzione del panorama dei social media.