STEMTOX: From Social Tags to Fine-Grained Toxic Meme Detection via Entropy-Guided Multi-Task Learning

Technische Samenvatting: STEMTOX – Van Sociale Tags naar Gedetailleerde Detectie van Giftige Memes via Entropie-Gestuurde Multi-Taken Learning

1. Probleemstelling

Memes zijn geëvolueerd van lichtvoetige humor naar krachtige voertuigen voor het verspreiden van schadelijke inhoud, waaronder haatzaaiende taal, desinformatie en giftige ideologieën. Het detecteren van dergelijke inhoud is uniek uitdagend vanwege het subtiele, contextafhankelijke karakter van memes, die vaak steunen op culturele referenties, sarcasme en gecodeerde taal. Hoewel Vision-Language Models (VLM's) zijn opgekomen als krachtige hulpmiddelen voor contentmoderatie, geven recente studies aan dat ze moeite hebben om haatzaaiende memes nauwkeurig te detecteren, met name wanneer ze een gebrek hebben aan diep contextueel begrip.

Een kritieke knelpunt in de vooruitgang op dit gebied is schaarste aan data. Bestaande datasets worden vaak handmatig samengesteld met een beperkte reikwijdte (gericht op specifieke gebeurtenissen of doelen), missen gedetailleerde giftigheidslabels die verder gaan dan binaire classificatie, en laten vaak de hulpmetadata (zoals sociale tags) weg die cruciale context bieden. Bovendien slagen huidige benaderingen er vaak niet in om de semantische rijkdom van sociale tags te benutten om de classificatie te sturen, wat resulteert in prestatiekloven in robuuste detectie van giftige inhoud.

2. Methodologie

A. De TOXICTAGS Dataset
Om datalimieten aan te pakken, introduceren de auteurs TOXICTAGS, een nieuwe, diverse, real-world dataset bestaande uit 6.300 meme-gebaseerde posts afkomstig van Imgflip. In tegenstelling tot eerdere datasets is TOXICTAGS gebeurtenis-onafhankelijk en verrijkt met hulpmetadata, waaronder titels en sociaal relevante tags.

De dataset is opgebouwd via een rigoureuze tweestaps menselijke annotatiepijplijn:

• Fase I (Binaire Classificatie): Memes worden geclassificeerd als giftig of normaal.
• Fase II (Gedetailleerde Classificatie): Giftige memes worden verder onderverdeeld in drie genuanceerde klassen: haatzaaiend, gevaarlijk of beledigend.
• Tagging: Elke post wordt geannoteerd met een set sociale tags die de meme contextueel verankeren. De dataset bevat 7.209 unieke tags na het filteren van ruis.
• Kwaliteitscontrole: Het proces omvatte 25 annotatoren, met drie onafhankelijke annotaties per steekproef om bias te minimaliseren. De uiteindelijke scores voor onderlinge overeenstemming tussen annotatoren waren 0,753 (Fase I) en 0,793 (Fase II), gemeten met Fleiss' $\kappa$.

B. Het STEMTOX Framework
De auteurs stellen STEMTOX voor, een nieuw entropie-gestuurd multi-taken learning framework ontworpen om gezamenlijk classificatie van giftige memes en sociaal onderbouwde taggeneratie uit te voeren.

• Architectuur: STEMTOX maakt gebruik van een multimodale VLM-ruggegraat (getest met PALIGEMMA en LLAVA) die beeld- en tekstinput verwerkt.
• Entropie-Gestuurde Laagselectie: In plaats van uitsluitend te vertrouwen op de laatste verborgen laag, selecteert STEMTOX dynamisch de meest betrouwbare token-embeddings over de tussenliggende lagen. Het berekent de Shannon-entropie van tokenrepresentaties in elke laag $l$. De laag met de minimale entropie (hoogste zekerheid) wordt geselecteerd om de effectieve sequentierepresentatie ($h_{eff}$) te vormen. Dit mechanisme stelt het model in staat kenmerken te extraheren uit de meest zeker interne representaties, waardoor representatieve drift die vaak voorkomt in terminale lagen wordt verminderd.
• Multi-Taken Doel: Het framework wordt getraind met een gecombineerde verliesfunctie:
  $$L_{total} = L_{gen} + L_{cls}$$
  Waarbij $L_{gen}$ het generatieve verlies is voor het voorspellen van sociale tags, en $L_{cls}$ het classificatieverlies voor giftigheidsdetectie. De generatieve taak fungeert als een semantische regularisator, die de gedeelde representatieruimte vormgeeft om discriminatiever te zijn voor giftigheidsclassificatie.
• Trainingsstrategie: Het model maakt gebruik van LoRA-adapters voor efficiënte fine-tuning en gebruikt gewogen cross-entropy om omgang met class imbalance.

3. Belangrijkste Bijdragen

1. TOXICTAGS Dataset: De eerste real-world memedataset met gedetailleerde giftigheidslabels (haatzaaiend, gevaarlijk, beledigend, normaal) naast rijke, handmatig geannoteerde sociale tags. Het gaat verder dan het traditionele binaire giftig/normaal paradigma.
2. Tweestaps Annotatiepijplijn: Een gevalideerd proces dat annotatiefouten reduceert en de nuance van meme-giftigheid vastlegt, wat aantoont dat een vier-klassen taxonomie effectief is voor moderatie.
3. STEMTOX Framework: Een nieuw multi-taken architectuur die taggeneratie integreert met giftigheidsclassificatie. Het introduceert een entropie-gestuurd mechanisme om optimale laagrepresentaties te selecteren, wat de classificatieprestaties aanzienlijk verbetert door gebruik te maken van de semantische supervisie van taggeneratie.
4. Empirische Validatie: Uitgebreide evaluatie die aantoont dat het integreren van contextuele tags en het gebruik van entropie-gestuurde selectie de prestaties van state-of-the-art VLM's substantieel verbetert.

4. Experimentele Resultaten

Prestaties op TOXICTAGS:

• Giftigheidsdetectie: STEMTOX met multi-taken learning presteerde consistent beter dan uni-taken baselines. Met de PALIGEMMA-ruggegraat behaalde STEMTOX een Macro-F1-score van 72,55 voor Fase I en 64,66 voor Fase II. Dit vertegenwoordigt een aanzienlijke verbetering ten opzichte van uni-taken training (respectievelijk 60,85 en 42,78).
• Vergelijking met Baselines: STEMTOX presteerde beter dan krachtige few-shot GPT-4O-opstellingen (waarbij voorbeelden werden geselecteerd op basis van taggelijkenis) en modellen die vertrouwen op Last Hidden Layer (LHL)-kenmerken.
• Taggeneratie: Wat betreft de kwaliteit van taggeneratie (gemeten met chrF, METEOR en Semantische Similariteit), behaalde STEMTOX (PALIGEMMA) respectievelijk scores van 0,4872, 0,265 en 0,626. Dit overtrof aanzienlijk state-of-the-art taggenerators zoals RAM++ en TAG2TEXT, die moeite hadden om de impliciete sociale context en meme-specifieke vocabulaire vast te leggen.

Generaliseerbaarheid:

• Het framework werd getest op twee externe benchmarkdatasets, FHM (Hateful Memes) en MAMI (Misogynistic Memes), die geen native tags hebben. Tags werden afgeleid met een model dat is gefine-tuned op TOXICTAGS.
• STEMTOX behaalde superieure resultaten op deze benchmarks in vergelijking met vijf concurrerende baselines (PromptHate, ProCap, ModHate, Few-Shot, M2KE), met een Macro-F1 van 78,11 op FHM en 79,67 op MAMI.

Foutanalyse:

• Analyse toonde aan dat modellen het meest worstelen met "beledigende" categorieën (hoogste onzekerheid) en specifieke tags gerelateerd aan humor/slang (voor PALIGEMMA) of dood/religie (voor LLAVA).
• De entropie-gestuurde selectie bleek cruciaal, aangezien modellen die vertrouwen op de laatste laag (LHL) lagere prestaties vertoonden.

5. Betekenis en Claims

Het artikel claimt dat STEMTOX een nieuwe en schaalbare basis biedt voor verbeterde contentmoderatie in multimodale online omgevingen. Door een dataset te introduceren die is verrijkt met sociale tags en een framework dat gebruikmaakt van deze tags via multi-taken learning, tonen de auteurs aan dat:

• Context is Sleutel: Hulpmetadata (tags) is niet louter aanvullend maar essentieel voor robuuste giftigheidsdetectie.
• Generatieve Supervisie: Het gebruik van een generatieve taak (taggen) om een discriminatieve taak (classificatie) te superviseren leidt tot rijkere, betekenisvollere interne representaties.
• Entropie-Gidsing: Dynamisch selecteren van representaties op basis van zekerheid (minimale entropie) is een effectievere strategie dan vertrouwen op vaste terminale lagen voor complexe multimodale taken.

De auteurs positioneren dit werk als een stap richting het bouwen van nauwkeurigere, contextbewuste en sociaal verantwoordelijke moderatiesystemen, waarmee de kloof tussen huidige VLM-capaciteiten en de genuanceerde realiteit van online haatzaaiende taal wordt aangepakt.

6. Beperkingen

De auteurs erkennen verschillende beperkingen:

• Modaal: De dataset en het framework zijn momenteel beperkt tot op afbeeldingen gebaseerde memes, en sluiten video- en audioformaten uit.
• Psychologische Impact: De studie onderzoekt niet de psychologische of emotionele impact van haatzaaiende memes op kijkers.
• Real-world Gevolgen: Het verband tussen online giftigheid en offline geweld of crimineel gedrag wordt niet onderzocht.