Resumen Técnico: ¿Etiquetas o Entrada? Replanteando la Aumentación en la Detección de Odio Multimodal

Declaración del Problema

El discurso de odio en línea, particularmente en su forma de memes multimodales, presenta un desafío social significativo debido a su dependencia de interacciones sutiles entre texto e imagen, el humor y el contexto cultural. Si bien los modelos de visión y lenguaje (VLM) recientes muestran una promesa considerable, enfrentan limitaciones en su despliegue debido a los altos costos de inferencia y a fallos persistentes en contenidos matizados o implícitos. Además, los conjuntos de datos existentes suelen sufrir de artefactos estructurales, como formatos de plantilla e inconsistencias en la supervisión, lo que puede reforzar sesgos culturales y conducir a correlaciones espurias (por ejemplo, asociar características visuales específicas con el odio independientemente del pie de foto).

La pregunta central de investigación aborda si mejorar las estrategias de prompting (aumentación de etiquetas) o refinar los datos subyacentes (aumentación de entrada) es más efectivo que los baselines estándar para la clasificación de contenido de odio multimodal. Los autores pretenden cerrar la brecha entre la complejidad del daño en línea y la limitada supervisión proporcionada por los conjuntos de datos actuales, explorando específicamente cómo se pueden mejorar los modelos pequeños sin depender de la costosa inferencia de modelos grandes.

Metodología

El estudio propone y evalúa dos estrategias complementarias utilizando el conjunto de datos Facebook Hateful Memes (que contiene aproximadamente 12.9K pares de imagen-pie de foto).

1. Optimización de Prompts (Aumentación de Etiquetas)

Este enfoque trata el prompting como un espacio de diseño multivariante para enriquecer las señales de supervisión.

• Diseño Experimental: Un diseño factorial completo ($3 \times 2 \times 2$) que varía:
  • Modalidad de Aprendizaje: Ajuste fino (fine-tuning) solo de texto frente a ajuste fino/prompting multimodal.
  • Estructura del Prompt: Simple (instrucción directa) frente a Basada en Categorías (definiendo subtipos como misoginia o xenofobia).
  • Formato de Etiqueta: Binario (Odio/No Odio) frente a Escalado (puntuación de odio de 0 a 9).
• Implementación: Un modelo profesor (GPT-4o-mini) genera etiquetas escaladas (0–9) para los datos de entrenamiento basadas en prompts estructurados. Estas etiquetas "suaves" se utilizan para realizar el ajuste fino tanto de modelos multimodales grandes (InternVL2 4B) como de modelos unimodales más pequeños (BERT, RoBERTa). Se filtran las etiquetas incorrectas que son inconsistentes con la verdad de campo (ground truth) binaria.

2. Aumentación de Datos Multimodales (Aumentación de Entrada)

Este enfoque busca mejorar la robustez del modelo mediante la generación de memes contrafácticamente neutrales para reducir las correlaciones espurias entre texto e imagen.

• Objetivo: Se dirige específicamente a los memes "NH" (Imagen No Odiosa + Pie de Foto Odioso), donde el fondo visual es benigno pero el texto induce el odio.
• Pipeline: Un sistema multi-agente que involucra:
  1. Atribución: Un clasificador zero-shot (Qwen2.5-14B) identifica los memes donde el pie de foto es la fuente principal de odio.
  2. Extracción de Contexto: Un VLM (InternLM-XComposer-2.5-7B) genera una descripción del fondo de la imagen, excluyendo el texto superpuesto.
  3. Neutralización: Un modelo generativo (GPT-4o-mini) reescribe el pie de foto odioso en uno neutral, condicionado a la descripción del fondo para asegurar la coherencia semántica.
  4. Regeneración: Un modelo de renderizado (Gemini 2.0 Flash) superpone el nuevo pie de foto neutral sobre el diseño original de la imagen.
• Resultado: El pipeline generó 2,479 memes contrafácticamente neutrales, los cuales se fusionaron con el conjunto de datos original para crear un conjunto de entrenamiento "Extendido".

Principales Contribuciones

1. Extensión del Conjunto de Datos: La creación de un nuevo benchmark compuesto por 2,479 memes contrafácticamente neutrales diseñados para evaluar la robustez contra las correlaciones espurias de texto-imagen.
2. Marco de Prompt Estructurado: Una demostración de que el diseño de prompts, a menudo pasado por alto en tareas de visión y lenguaje, impacta significativamente el rendimiento. El estudio muestra que los prompts estructurados y basados en categorías son cruciales para anotaciones escaladas y matizadas, mientras que los prompts simples bastan para tareas binarias.
3. Pipeline de Mitigación de Sesgos (Debiasing): Una prueba de concepto de un pipeline multi-agente para generar variantes de memes semánticamente coherentes y no odiosas. Esto sirve como una estrategia para mitar el sesgo y mejorar la generalización sin generar nuevo contenido dañino.

Resultados y Análisis

Hallazgos de la Optimización de Prompts

• Utilidad del Prompt: Para la clasificación binaria, los prompts simples superaron a los prompts basados en categorías en los modelos unimodales más pequeños. Sin embargo, para las etiquetas escaladas (matizadas), los prompts basados en categorías mejoraron significamente el rendimiento tanto en modelos unimodales como multimodales.
• Prompting vs. Fine-tuning: En el conjunto de datos escalado, el prompting del modelo grande InternVL2 con definiciones de categorías alcanzó un F1-score de 64.74, lo cual es competitivo y ligeramente superior al mejor resultado de ajuste fino (63.28). Esto sugiere que, para la detección de odio granular, el zero-shot prompting bien estructurado puede rivalizar con el ajuste fino sobre datos aumentados.
• Robustez Unimodal: Los modelos unimodales estándar (BERT, RoBERTa) utilizaron eficazmente el contexto categórico para mejorar su rendimiento cuando las etiquetas fueron escaladas en lugar de binarias.

Hallazgos de la Aumentación Multimodal

• Ganancias de Rendimiento: Entrenar con el conjunto de datos extendido (original + contrafácticos) produjo ganancias modestas en precisión (<1%) pero mejoras notables en los F1-scores ponderados, lo que indica un mejor manejo del desequilibrio de clases y casos límite.
  • Modelos de Texto: El F1 de RoBERTa mejoró de 47.18 a 52.54 (+5.36).
  • Modelos Multimodales: Qwen2-VL (7B) logró el rendimiento general más alto, ascendiendo de 69.59 a 71.31 F1.
• Capacidades Zero-Shot: Los VLM más grandes (por ejemplo, Qwen2-VL 7B) demostraron una notable robustez zero-shot (F1: 69.13), comparable a su rendimiento con ajuste fino. Por el contrario, los modelos más pequeños (SmolVLM 2B) dependieron fuertemente del ajuste fino, mostrando una brecha significativa entre el entorno zero-shot y el de ajuste fino.

Evaluación de la Calidad de los Datos

• Fiabilidad de las Etiquetas: La evaluación humana de las etiquetas escaladas mostró una tasa de acuerdo del 92.5%, confirmando la fiabilidad de las anotaciones generadas por máquina, aunque persistieron desacuerdos en casos de odio indirecto o dependientes del contexto.
• Calidad de la Aumentación: La evaluación humana de los 2,479 memes neutrales confirmó una alta calidad en cuanto a formato, alineación del fondo y coherencia del pie de foto. Sin embargo, un pequeño subconjunto de errores (por ejemplo, falta de pies de foto, deriva semántica o inconsistencias visuales) resaltó la necesidad de validación manual en los pipelines automatizados.

Significado y Reivindicaciones

El artículo argumenta que la detección de odio multimodal robusta requiere atención tanto al encuadre de la tarea (diseño de prompts) como a la integridad de los datos (aumentación).

• Vía Práctica: El trabajo ofrece una ruta práctica hacia sistemas más robustos y desplegables que no dependen únicamente de la costosa inferencia de modelos grandes. Demuestra que los modelos pequeños pueden fortalecerse mediante prompts estructurados y aumentación de datos dirigida.
• Aumentación Ética: Al generar memes contrafácticamente neutrales en lugar de nuevo contenido odioso, los autores proporcionan un método éticamente fundamentado para refinar las distribuciones de entrenamiento y reducir la dependencia excesiva de correlaciones espurias.
• Matiz sobre Binariedad: El estudio enfatiza que ir más allá de la clasificación binaria hacia etiquetas escaladas, apoyadas por un prompting estructurado, permite una comprensión más matizada del contenido dañino, particularmente para los memes con base cultural.

Los autores concluyen que, si bien sus métodos muestran potencial, el trabajo futuro debe abordar el escalado del pipeline de aumentación hacia entornos culturalmente diversos y resolver los desafíos restantes en la preservación del contexto.