I Came, I Saw, I Explained: Benchmarking Multimodal LLMs on Figurative Meaning in Memes

1. Problema y Motivación

Los memes de internet son una forma popular de comunicación multimodal que combina texto e imágenes para transmitir significados complejos, a menudo utilizando lenguaje figurativo (metáforas, ironía, sarcasmo, alusiones, etc.) de manera no literal. Aunque los Grandes Modelos de Lenguaje Multimodales (MLLMs) han avanzado rápidamente, sigue siendo incierto cómo estos modelos integran y procesan la información visual y textual para identificar y explicar dicho significado figurativo.

El estudio aborda las siguientes brechas:

• Falta de evaluación sistemática sobre la capacidad de los MLLMs generativos para detectar y explicar seis tipos específicos de significado figurativo en memes.
• Desconocimiento sobre cómo la manipulación controlada de las modalidades (texto vs. imagen) afecta las predicciones.
• Ausencia de criterios definidos para evaluar la calidad y la fidelidad de las explicaciones generadas por los modelos.

2. Metodología

Datos y Configuración Experimental

Los autores evaluaron el rendimiento en tres conjuntos de datos públicos:

1. FigMemes: Memes políticamente opinados con anotaciones para seis tipos figurativos: alusión, exageración, ironía/sarcasmo, antropomorfismo, metáfora/símil y contraste.
2. Memotion 2: Enfocado en la detección de sarcasmo (con niveles de intensidad).
3. MET-Meme: Enfocado en la detección binaria de metáforas.

Se utilizaron ocho MLLMs de última generación de tres familias diferentes, variando en tamaño:

• Aya-Vision: 8B y 32B parámetros.
• Gemma 3: 4B, 12B y 27B parámetros.
• Qwen2.5-VL: 7B, 32B y 72B parámetros.

Tareas y Estrategias de Entrada

Se definieron dos tareas principales:

1. Detección: Clasificación binaria (sí/no) y multi-etiqueta (para FigMemes) para identificar la presencia de significado figurativo.
2. Explicación: Generación de una justificación textual que respalde la predicción, referenciando componentes visuales y/o textuales.

Para analizar la contribución de cada modalidad, se probaron tres condiciones de entrada:

• Meme original: Texto e imagen completos.
• Solo texto: La imagen se elimina y solo se proporciona el texto extraído.
• Solo imagen: El texto incrustado en la imagen se elimina mediante OCR (PaddleOCR) y relleno (LaMa), dejando solo el contenido visual.

Se utilizaron dos estrategias de prompting (instrucción): una basada en etiquetas binarias y otra basada en puntuaciones continuas (0-1) para medir la probabilidad.

Evaluación

• Automática: Métricas F1, precisión, recall y exactitud (micro-promedio) para la detección.
• Humana: Se evaluaron 90 memes (30 por dataset) utilizando 7 criterios en una escala Likert de 5 puntos:
  • Coherencia interna: Relevancia y consistencia entre la etiqueta y la explicación.
  • Fidelidad al contenido: Correctitud, longitud apropiada, completitud visual y textual, y ausencia de alucinaciones (fidelidad).

3. Contribuciones Clave

1. Tarea de Detección y Explicación: Introducen un nuevo marco de evaluación que obliga a los modelos no solo a clasificar, sino a justificar sus predicciones sobre significado figurativo en memes.
2. Análisis de Modalidades Controlado: Realizan una investigación sistemática sobre cómo la eliminación de texto o imagen afecta el rendimiento, revelando dependencias específicas por tipo figurativo.
3. Evaluación Humana de Explicaciones: Proporcionan una evaluación cualitativa rigurosa que revela la brecha entre la precisión de la etiqueta y la fidelidad de la explicación generada.
4. Benchmark Público: Liberan el código y los datos de evaluación para fomentar la investigación futura.

4. Resultados Principales

Detección y Sesgos

• Sesgo hacia lo figurativo: Todos los modelos muestran un fuerte sesgo para asociar significado figurativo a los memes, incluso cuando el contenido es literal. Tienen dificultades para identificar casos "sin figuratividad".
• Rendimiento por Modelo: Los modelos más grandes (especialmente Qwen-72B) obtienen los mejores resultados generales, aunque las diferencias entre familias son marginales en algunos casos.
• Dependencia de Modalidades:
  • La ironía y el sarcasmo dependen fuertemente de la información visual.
  • La alusión, exageración y antropomorfismo dependen más del texto.
  • La metáfora requiere una interacción compleja e indispensable entre texto e imagen; eliminar cualquiera de las dos modalidades causa una caída drástica en el rendimiento.

Calidad de las Explicaciones (Evaluación Humana)

• Brecha de Fidelidad: Incluso cuando los modelos predicen la etiqueta correcta, sus explicaciones a menudo fallan.
• Alucinaciones Visuales: Los modelos tienden a inventar detalles visuales o malinterpretar elementos clave (ej. interpretar mal un gesto de silencio en un gato).
• Inconsistencia: A veces la explicación contradice la etiqueta asignada (ej. etiquetar algo como sarcástico pero explicar que no lo es).
• Falta de Matices Socio-Psicológicos: Los modelos fallan al interpretar ironías basadas en comportamientos humanos cotidianos o patrones psicológicos (ej. la disposición a gastar grandes sumas en tecnología pero rechazar pagos pequeños).
• Comparación de Modelos: Aunque Qwen-72B lidera en métricas automáticas, en la evaluación humana sus explicaciones no superan significativamente a modelos más pequeños en todos los criterios, y a veces son peores en coherencia.

Robustez del Prompt

Los modelos muestran una sensibilidad moderada a los cambios en el diseño del prompt (etiqueta vs. puntuación), pero el rendimiento varía más según el dataset que según la estrategia de instrucción.

5. Significado e Implicaciones

Este estudio demuestra que, aunque los MLLMs actuales pueden detectar patrones superficiales de significado figurativo, carecen de una comprensión profunda y fiel de la interacción multimodal necesaria para interpretar memes complejos.

• Limitaciones Actuales: La capacidad de razonamiento de los modelos sigue siendo frágil frente a la ambigüedad y los matices culturales o psicológicos inherentes a los memes.
• Dirección Futura: Se requiere desarrollar arquitecturas multimodales más sofisticadas que no solo predigan etiquetas, sino que garanticen la fidelidad del razonamiento y una mayor sensibilidad a los contextos socio-psicológicos.
• Valoración de Explicaciones: El trabajo subraya que la precisión de la etiqueta no es suficiente; la calidad de la explicación es crucial para la confianza y la utilidad de estos modelos en aplicaciones reales.

En resumen, el artículo establece un nuevo estándar para la evaluación de la inteligencia multimodal en el contexto del humor y la comunicación figurativa en internet, revelando que los modelos actuales aún tienen un largo camino por recorrer para comprender verdaderamente la "alma" de un meme.