STEMTOX: From Social Tags to Fine-Grained Toxic Meme Detection via Entropy-Guided Multi-Task Learning

Resumen Técnico: STEMTOX – De Etiquetas Sociales a la Detección de Meme Tóxicos de Alta Granularidad mediante Aprendizaje Multitarea Guiado por Entropía

1. Planteamiento del Problema

Los memes han evolucionado desde el humor ligero hasta convertirse en vehículos potentes para difundir contenido dañino, incluidos discursos de odio, desinformación e ideologías tóxicas. Detectar dicho contenido presenta un desafío único debido a la naturaleza sutil y dependiente del contexto de los memes, los cuales a menudo se basan en referencias culturales, sarcasmo y lenguaje codificado. Si bien los Modelos Visión-Lenguaje (VLM) han surgido como herramientas poderosas para la moderación de contenidos, estudios recientes indican que luchan por detectar con precisión memes odiosos, particularmente cuando carecen de una comprensión contextual profunda.

Un cuello de botella crítico para avanzar en este campo es la escasez de datos. Los conjuntos de datos existentes suelen estar curados manualmente con un alcance limitado (centrándose en eventos o objetivos específicos), carecen de etiquetas de toxicidad de alta granularidad más allá de la clasificación binaria y, con frecuencia, omiten los metadatos auxiliares (como etiquetas sociales) que proporcionan un contexto crucial. Además, los enfoques actuales a menudo no aprovechan la riqueza semántica de las etiquetas sociales para guiar la clasificación, lo que resulta en brechas de rendimiento en la detección robusta de toxicidad.

2. Metodología

A. El Conjunto de Datos TOXICTAGS
Para abordar las limitaciones de datos, los autores introducen TOXICTAGS, un conjunto de datos novedoso, diverso y del mundo real que comprende 6.300 publicaciones basadas en memes obtenidas de Imgflip. A diferencia de conjuntos de datos anteriores, TOXICTAGS es independiente de eventos y se enriquece con metadatos auxiliares, incluidos títulos y etiquetas socialmente relevantes.

El conjunto de datos se construye mediante un proceso de anotación humana riguroso de dos etapas:

• Etapa I (Clasificación Binaria): Los memes se clasifican como tóxicos o normales.
• Etapa II (Clasificación de Alta Granularidad): Los memes tóxicos se categorizan adicionalmente en tres clases matizadas: odiosos, peligrosos u ofensivos.
• Etiquetado: Cada publicación se anota con un conjunto de etiquetas sociales que contextualizan el meme. El conjunto de datos incluye 7.209 etiquetas únicas tras filtrar el ruido.
• Control de Calidad: El proceso involucró a 25 anotadores, con tres anotaciones independientes por muestra para minimizar el sesgo. Las puntuaciones finales de acuerdo entre anotadores fueron 0.753 (Etapa I) y 0.793 (Etapa II), medidas mediante el $\kappa$ de Fleiss.

B. El Marco STEMTOX
Los autores proponen STEMTOX, un novedoso marco de aprendizaje multitarea guiado por entropía diseñado para realizar simultáneamente la clasificación de memes tóxicos y la generación de etiquetas fundamentadas socialmente.

• Arquitectura: STEMTOX utiliza una columna vertebral multimodal VLM (probada con PALIGEMMA y LLAVA) que procesa entradas de imagen y texto.
• Selección de Capas Guiada por Entropía: En lugar de depender únicamente de la capa oculta final, STEMTOX selecciona dinámicamente los incrustamientos de tokens más confiables a través de las capas intermedias. Calcula la entropía de Shannon de las representaciones de tokens en cada capa $l$. La capa con la entropía mínima (mayor confianza) se selecciona para formar la representación de secuencia efectiva ($h_{eff}$). Este mecanismo permite al modelo extraer características de las representaciones internas más ciertas, mitigando la deriva representacional a menudo observada en las capas terminales.
• Objetivo Multitarea: El marco se entrena con una función de pérdida combinada:
  $$L_{total} = L_{gen} + L_{cls}$$
  Donde $L_{gen}$ es la pérdida generativa para predecir etiquetas sociales, y $L_{cls}$ es la pérdida de clasificación para la detección de toxicidad. La tarea generativa actúa como un regularizador semántico, moldeando el espacio de representación compartido para que sea más discriminativo para la clasificación de toxicidad.
• Estrategia de Entrenamiento: El modelo emplea adaptadores LoRA para un ajuste fino eficiente y utiliza entropía cruzada ponderada para manejar el desequilibrio de clases.

3. Contribuciones Clave

1. Conjunto de Datos TOXICTAGS: El primer conjunto de datos de memes del mundo real que presenta etiquetas de toxicidad de alta granularidad (odioso, peligroso, ofensivo, normal) junto con etiquetas sociales ricas anotadas por humanos. Supera el paradigma tradicional binario tóxico/normal.
2. Proceso de Anotación de Dos Etapas: Un proceso validado que reduce errores de anotación y captura el matiz de la toxicidad de los memes, demostrando que una taxonomía de cuatro clases es efectiva para la moderación.
3. Marco STEMTOX: Una arquitectura multitarea novedosa que integra la generación de etiquetas con la clasificación de toxicidad. Introduce un mecanismo guiado por entropía para seleccionar representaciones de capas óptimas, mejorando significativamente el rendimiento de clasificación al aprovechar la supervisión semántica de la generación de etiquetas.
4. Validación Empírica: Evaluación exhaustiva que muestra que incorporar etiquetas contextuales y utilizar una selección guiada por entropía mejora sustancialmente el rendimiento de los VLM de última generación.

4. Resultados Experimentales

Rendimiento en TOXICTAGS:

• Detección de Toxicidad: STEMTOX con aprendizaje multitarea superó consistentemente a las líneas base de tarea única. Utilizando la columna vertebral PALIGEMMA, STEMTOX logró una puntuación Macro-F1 de 72.55 para la Etapa I y 64.66 para la Etapa II. Esto representa una mejora significativa sobre el entrenamiento de tarea única (60.85 y 42.78, respectivamente).
• Comparación con Líneas Base: STEMTOX superó configuraciones potentes de GPT-4O con pocos ejemplos (donde los ejemplos se seleccionaban basándose en la similitud de etiquetas) y modelos que dependen de características de la Última Capa Oculta (LHL).
• Generación de Etiquetas: En términos de calidad de generación de etiquetas (medida por chrF, METEOR y Similitud Semántica), STEMTOX (PALIGEMMA) alcanzó puntuaciones de 0.4872, 0.265 y 0.626, respectivamente. Esto superó significativamente a generadores de etiquetas de última generación como RAM++ y TAG2TEXT, que lucharon por capturar el contexto social implícito y el vocabulario específico de los memes.

Generalización:

• El marco se probó en dos conjuntos de datos de referencia externos, FHM (Memes Odiosos) y MAMI (Memes Misóginos), que carecen de etiquetas nativas. Las etiquetas se infirieron utilizando un modelo ajustado finamente en TOXICTAGS.
• STEMTOX logró resultados superiores en estas referencias en comparación con cinco líneas base competidoras (PromptHate, ProCap, ModHate, Few-Shot, M2KE), alcanzando un Macro-F1 de 78.11 en FHM y 79.67 en MAMI.

Análisis de Errores:

• El análisis reveló que los modelos luchan más con las categorías "ofensivas" (mayor incertidumbre) y etiquetas específicas relacionadas con el humor/gíria (para PALIGEMMA) o muerte/religión (para LLAVA).
• Se encontró que la selección guiada por entropía es crucial, ya que los modelos que dependen de la capa final (LHL) mostraron un rendimiento inferior.

5. Significado y Afirmaciones

El artículo afirma que STEMTOX ofrece una base novedosa y escalable para mejorar la moderación de contenidos en entornos online multimodales. Al introducir un conjunto de datos enriquecido con etiquetas sociales y un marco que aprovecha estas etiquetas mediante aprendizaje multitarea, los autores demuestran que:

• El Contexto es Clave: Los metadatos auxiliares (etiquetas) no son meramente suplementarios, sino esenciales para una detección robusta de toxicidad.
• Supervisión Generativa: Utilizar una tarea generativa (etiquetado) para supervisar una tarea discriminativa (clasificación) conduce a representaciones internas más ricas y significativas.
• Guía por Entropía: Seleccionar dinámicamente representaciones basadas en la confianza (entropía mínima) es una estrategia más efectiva que depender de capas terminales fijas para tareas multimodales complejas.

Los autores posicionan este trabajo como un paso hacia la construcción de sistemas de moderación más precisos, conscientes del contexto y socialmente responsables, abordando la brecha entre las capacidades actuales de los VLM y la realidad matizada del discurso de odio en línea.

6. Limitaciones

Los autores reconocen varias limitaciones:

• Modalidad: El conjunto de datos y el marco están actualmente limitados a memes basados en imágenes, excluyendo formatos de video y audio.
• Impacto Psicológico: El estudio no examina el impacto psicológico o emocional de los memes odiosos en los espectadores.
• Consecuencias del Mundo Real: El vínculo entre la toxicidad en línea y la violencia o el comportamiento criminal fuera de línea no se investiga.