FigSIM: A Dataset for Fine-grained Suicide Severity and Figurative Language in Suicide Memes

Technische Samenvatting: FigSIM: Een dataset voor fijnmazige ernst van suïcide en figuurlijk taalgebruik in suïcidememes

Probleemstelling
Suïcidememes—multimodale posts die visuele templates combineren met door gebruikers gegenereerde tekst om suïciderelateerde gedachten te uiten—komen steeds vaker voor op sociale media. Hoewel ze als copingmechanisme kunnen dienen, vormen ze ook aanzienlijke risico's, waaronder het potentieel om stress te triggeren, persoonlijke pijn te maskeren of onbedoeld imitatiegedrag aan te moedigen. Huidige strategieën voor contentmoderatie en geautomatiseerde detectiesystemen kampen met kritieke beperkingen bij het aanpakken van dit fenomeen. Bestaand onderzoek heeft zich grotendeels gericht op binaire classificatie (suïcidaal versus niet-suïcidaal) met behulp van tekst of naturalistische afbeeldingen, waarbij vaak de genuanceerde, impliciete en figuurlijke aard van meme-communicatie over het hoofd wordt gezien. Bovendien is er een gebrek aan geannoteerde datasets die specifiek zijn ontworpen voor de analyse van de intersectie tussen figuurlijk taalgebruik (bijv. metaforen, ironie) en fijnmazige suïcide-ernst binnen het meme-formaat. Deze kloof belemmert de ontwikkeling van contextbewuste moderatiekaders die in staat zijn om onderscheid te maken tussen schadelijke inhoud en ondersteunende of coping-georiënteerde expressie.

Methodologie
De auteurs introduceren FigSIM, de eerste dataset die is ontworpen voor de fijnmazige analyse van suïcidememes. De methodologie omvat datasetconstructie, annotatie en uitgebreide benchmarking.

• Datacollectie: De dataset bestaat uit 1.049 memes verzameld uit de Reddit-community r/SuicideMeme (april 2018–december 2022). Afbeeldingen werden gefilterd om de leesbaarheid van Engelse tekst via OCR te waarborgen en om bijna-duplicaten te verwijderen.
• Annotatieschema: Een multidimensionaal annotatieschema is ontwikkeld in overleg met psychologen en experts op het gebied van suïcidepreventie, gebaseerd op klinische schalen (Columbia-Suicide Severity Rating Scale) en mediagidsen (#chatsafe, Mindframe). Het schema beslaat vijf categorieën:
  1. Figuurlijk Fenomeen: Multi-label detectie van Metafoor, Dubbelzinnigheid (Pun/Double meaning) en Ironie/Sarcasme.
  2. Suïcide Ernstschaal: Een ordinale schaal variërend van "Geen" tot "Wens om dood te zijn", "Suïcidale ideatie", "Suïcideplanning", "Suïcidepogingen" en "Suïcidedood".
  3. Suïciderelateerde Inhoud: Multi-label detectie van gestileerde versus naturalistische weergaven van methoden/locaties, beschermende factoren, schadelijke factoren en beschrijvingen in de derde persoon.
  4. Modaliteit: Classificatie als tekst-alleen, afbeelding-alleen of complementair (vereist beide).
  5. Context: Bepaling of externe kennis vereist is voor interpretatie.
• Annotatieproces: Twee ronden van pilot-annotatie hebben het schema verfijnd. Grootschalige annotatie werd uitgevoerd door twee onafhankelijke annotatoren (één uit de psychologie, één uit de informatica) met een derde die geschillen beslechtte. De inter-annotator overeenstemming (IAA) was aanzienlijk tot bijna perfect voor ernst en inhoud, maar matig voor figuurlijke fenomenen en context, wat de inherente subjectiviteit weerspiegelt.
• Benchmarking: De auteurs evalueerden 16 unimodale en multimodale modellen over drie taken: detectie van figuurlijk taalgebruik, detectie van suïcide-ernst en detectie van suïciderelateerde inhoud. De baselines omvatten tekst-alleen modellen (BERT, MentalBERT, RoBERTa), afbeelding-alleen modellen (ResNet-50, ViT, DINOv2) en multimodale modellen (CLIP, BLIP-2). Daarnaast werden verschillende Multimodale Large Language Models (MLLMs) getest met zero-shot en few-shot prompting, samen met gespecialiseerde modellen voor mentale gezondheid-memes.

Belangrijkste Bijdragen

1. FigSIM Dataset: Een nieuwe, fijnmazige dataset van 1.049 suïcidememes met handmatige annotaties voor figuurlijke fenomenen, klinische suïcide-ernst en specifieke inhoudstypen.
2. Uitgebreide Benchmark: Een systematische evaluatie van 16 modellen (20 configuraties) over unimodale en multimodale architecturen, waarmee prestatie-baselines voor de analyse van suïcidememes worden vastgesteld.
3. Empirische Analyse: Grondige analyse van datasetkenmerken, modelprestaties en foutpatronen, waarbij specifieke uitdagingen worden belicht, zoals de ondervoorspelling van hoog-risico categorieën in figuurlijke contexten.

Resultaten

• Modelprestaties: Multimodale Large Language Models (MLLMs) presteerden consistent beter dan unimodale baselines. Het best presterende model, Claude-sonnet-4-5 (zero-shot), behaalde macro-F1 scores van 70,21% voor figurale detectie, 71,60% voor suïcide-ernst en 58,51% voor suïciderelateerde inhoud. Commerciële MLLMs presteerden over het algemeen beter dan open-source tegenhangers.
• Inzichten in Modaliteit: Taalmodellen presteerden aanzienlijk beter dan afbeelding-alleen modellen, wat suggereert dat linguïstische aanwijzingen primair zijn voor het afleiden van suïcide-intentie. Echter, multimodale benaderingen leverden de beste algehele resultaten op.
• Foutanalyse:
  • Ernst-bias: Modellen vertoonden een neiging tot het overvoorspellen van categorieën met een lagere ernst (bijv. "Geen", "Wens om dood te zijn") en het ondervoorspellen van categorieën met een hogere ernst (bijv. "Suïcideplanning", "Suïcidepoging/dood").
  • Impact van Figuurlijk Taalgebruik: Deze ondervoorspellingsbias was aanzienlijk sterker aanwezig bij memes die figuurlijk taalgebruik bevatten, met name metaforen. Zelfs wanneer figuurlijke aanwijzingen correct werden geïdentificeerd, hadden modellen moeite om indirecte expressies toe te wijzen aan de juiste ernstniveaus.
  • Context en Modaliteit: Modellen hadden meer moeite met memes die externe context vereisten of die vertrouwden op een enkele modaliteit (tekst-alleen of afbeelding-alleen), hoewel deze gevallen minder frequent voorkwamen in de dataset.
• Moderatieanalyse: Evaluatie van bestaande moderatietools (Azure AI, OpenAI, Llama-Guard) toonde aan dat hoewel de vlag-percentages toenamen met de ernst van suïcide, figuurlijke memes vaak lagere ernstscores ontvingen dan niet-figuurlijke memes, wat duidt op een potentieel blind vlek in de huidige geautomatiseerde moderatie.

Betekenis en Claims
Het artikel stelt dat suïcidememes unieke uitdagingen vormen voor zowel modellering als contentmoderatie vanwege hun inherente ambiguïteit, humor en afhankelijkheid van figuurlijk taalgebruik. De auteurs beweren dat FigSIM een noodzakelijke basis biedt voor:

• Geavanceerd Onderzoek: Het mogelijk maken van de studie naar fijnmazige detectie van suïcierisico's voorbij binaire classificatie en tekst-alleen analyse.
• Verbeterde Moderatie: Het informeren van de ontwikkeling van contextbewuste en domeinspecifieke moderatiestrategieën die beter onderscheid kunnen maken tussen schadelijke inhoud en copingmechanismen.
• Aanpakken van Gaten: Het benadrukken van de beperkingen van huidige modellen bij het interpreteren van indirecte expressies en de specifieke moeilijkheid van het beoordelen van de ernst wanneer figuurlijk taalgebruik aanwezig is.

De auteurs hanteren een bescheiden standpunt en erkennen dat de dataset afkomstig is van een enkele bron (Reddit) en dat annotaties interpretatieve oordelen reflecteren in plaats van klinische diagnoses. Ze benadrukken dat de dataset bedoeld is om hypothesegeneratie en bewijsopbouw te ondersteunen voor veiligere online communicatie, en niet om als diagnostisch instrument te dienen. Het werk onderstreept de dringende behoefte aan meer genuanceerde benaderingen voor het begrijpen en modereren van suïciderelateerde inhoud in het evoluerende landschap van sociale media-memes.