MemeScouts@LT-EDI 2026: Asking the Right Questions -- Prompted Weak Supervision for Meme Hate Speech Detection

1. Planteamiento del Problema

Detectar discursos de odio en memes es un desafío complejo debido a su naturaleza multimodal (combinación de texto e imágenes) y su dependencia de pistas culturalmente fundamentadas como el sarcasmo, la ironía y el conocimiento compartido.

• Limitaciones de los enfoques actuales: La instrucción directa de extremo a extremo de Modelos Visuales-Lingüísticos (VLM) suele ser frágil. Una sola predicción debe resolver simultáneamente la identificación del objetivo, la postura, la implícitud y la ironía, lo cual es difícil en entornos multilingües.
• Brechas multilingües y culturales: Los modelos estándar luchan con matices culturales sutiles, jerga y expresiones específicas de homofobia y transfobia en diferentes idiomas (inglés, hindi, chino).
• Costo: El ajuste fino de modelos grandes para tareas específicas incurre en altos costos computacionales y de datos.

2. Metodología: Supervisión Débil Instruida (PWS)

Los autores proponen un marco de Supervisión Débil Instruida (PWS) que descompone la tarea compleja de clasificación de memes en funciones de etiquetado (LF) basadas en preguntas estructuradas. En lugar de una única etiqueta de extremo a extremo, el sistema genera características estructuradas para un clasificador aguas abajo.

Componentes principales del pipeline:

1. Generación de preguntas (Funciones de etiquetado):
   • El equipo construyó 59 preguntas iniciales (luego expandidas a 89) diseñadas para capturar aspectos complementarios del discurso de odio (por ejemplo, identificación del objetivo, odio explícito/implícito, identidad del narrador, postura).
   • Las respuestas se restringen a opciones binarias, ordinales o categóricas para garantizar una salida estructurada.
2. Extracción de características:
   • Se utiliza un Qwen3-VLM cuantizado (Qwen3-VL-30B-A3B-Instruct, cuantizado nf4) para responder estas preguntas específicas para cada meme.
   • El modelo recibe la imagen del meme y la pregunta específica de la LF.
   • Las respuestas se mapean a enteros, creando un vector de características para cada meme.
3. Clasificación:
   • Se entrena un clasificador Random Forest ligero (500 estimadores) sobre estos vectores de características para cada idioma.
   • El modelo utiliza pesos de clase equilibrados para manejar conjuntos de datos desequilibrados.
4. Refinamiento iterativo:
   • AddLF (Expansión de la función de etiquetado): El equipo analizó ejemplos mal clasificados para identificar patrones recurrentes (por ejemplo, identidad del narrador) no capturados por las LF iniciales, añadiendo 30 nuevas preguntas.
   • Estrategias de poda: Se emplearon dos métodos para reducir la redundancia y el ruido:
     • F1Prune: Elimina características una por una de manera voraz si el Macro-F1 de validación mejora.
     • ImpPrune: Elimina las $k$ características menos importantes basándose en los puntajes de importancia de características de Random Forest.

3. Contribuciones Clave

• Marco novedoso: Introducción de un enfoque PWS para la detección de discurso de odio multimodal que reemplaza la instrucción frágil de extremo a extremo con características basadas en preguntas estructuradas e interpretables.
• Rendimiento multilingüe: El método supera significativamente a la clasificación directa de VLM, particularmente en idiomas de bajos recursos o culturalmente distintos (chino y hindi).
• Interpretabilidad: Al analizar la importancia de las características y el agrupamiento (mediante UMAP), los autores ofrecen perspectivas sobre por qué el modelo toma decisiones, revelando redundancia y complementariedad entre las funciones de etiquetado.
• Resultados de vanguardia: El sistema logró los mejores rankings en la tarea compartida LT-EDI 2026 (1º en inglés, 2º en chino, 3º en hindi).

4. Resultados Experimentales

El sistema se evaluó en el conjunto de datos LT-EDI 2026 Homophobia and Transphobia Meme Classification (inglés, hindi, chino).

• Brecha de rendimiento: El enfoque PWS superó significativamente a la instrucción directa de VLM. La brecha fue más pronunciada en chino e hindi, donde la instrucción directa luchó (0.32 y 0.21 frente a 0.72 y 0.67).
• Impacto del refinamiento:
  • AddLF mejoró o mantuvo consistentemente el rendimiento, especialmente para idiomas distintos al inglés.
  • ImpPrune fue más efectivo que F1Prune para el rendimiento por idioma, reduciendo las características de 89 a 33 para hindi mientras mejoraba las puntuaciones, lo que indica que muchas LF iniciales eran ruidosas o redundantes.
• Análisis multilingüe:
  • F1Prune eliminó principalmente características específicas del idioma (baja similitud de Jaccard entre idiomas).
  • ImpPrune eliminó un gran conjunto de características compartidas e no informativas (alta similitud de Jaccard), sugiriendo la presencia de "señales débiles" agnósticas al idioma que obstaculizaban el rendimiento.

5. Significado y Perspectivas

• PQ1 (Efectividad): La supervisión débil instruida es una estrategia superior para la detección de discurso de odio en memes, ofreciendo robustez frente a la fragilidad de las instrucciones de VLM de un solo disparo.
• PQ2 (Idioma/Cultura): Si bien el método mejora el rendimiento multilingüe, el análisis reveló que las LF centradas en inglés (que reflejan perspectivas occidentales sobre cuestiones queer) pueden no transferirse perfectamente. Sin embargo, la poda ayuda a aislar señales específicas del idioma.
• PQ3 (Comportamiento del modelo): El análisis de características mostró que un pequeño subconjunto de LF lleva la mayor parte del peso predictivo. Algunas características son redundantes (por ejemplo, preguntar sobre la orientación sexual de maneras ligeramente diferentes), mientras que otras proporcionan información complementaria (por ejemplo, distinguir posturas neutrales).
• Limitaciones y trabajo futuro:
  • Sesgo cultural: Las LF se diseñaron principalmente desde una perspectiva occidental, lo que podría hacer que se pierdan marcadores culturalmente específicos en hindi y chino.
  • OCR: La falta de una etapa dedicada de OCR significa que el texto incrustado en las imágenes se procesa conjuntamente con la imagen, lo que podría introducir errores.
  • Futuras direcciones: Incorporar OCR explícito, instrucción adaptativa culturalmente y perspectivas diversas en el diseño de LF para mejorar la generalización sin un reentrenamiento costoso.

Conclusión

El artículo demuestra que descomponer tareas multimodales complejas en preguntas específicas permite una detección de discurso de odio más robusta e interpretable. Al aprovechar un VLM cuantizado para la extracción de características y un clasificador ligero para la agregación, los autores lograron resultados de vanguardia en una tarea compartida multilingüe, demostrando que "hacer las preguntas correctas" es más efectivo que "adivinar la respuesta correcta" en un solo disparo.