🤖 AI

EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection

Este artículo propone EVL-MCoT, un marco de visión y lenguaje mejorado que aprovecha el razonamiento de Cadena de Pensamiento multi-perspectiva y un mecanismo de decodificación guiado por prototipos para mejorar la detección de memes dañinos al abordar las limitaciones en la integración de conocimientos de trasfondo y la alineación visual-textual de grano fino.

Autores originales: Hao Yang, Jin Wang, Xuejie Zhang

Publicado 2026-07-27

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hao Yang, Jin Wang, Xuejie Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El lenguaje oculto de Internet

Imagina Internet como un patio de recreo gigante y caótico donde la gente no solo habla; cuentan chistes usando imágenes y palabras mezcladas. Estos se llaman "memes". A veces, un meme es solo un gato gracioso con un pie de foto divertido. Pero otras veces, un meme es un caballo de Troya: parece un chiste inofensivo, pero en realidad esconde un mensaje cruel, racista o de odio en su interior. Este es el problema complejo que los científicos están tratando de resolver. Para entender un meme, no puedes mirar solo la imagen o solo el texto; tienes que entender cómo trabajan juntos. Es como intentar entender un truco de magia mirando solo las manos del mago o solo escuchando la música, pero sin ver ambas cosas a la vez.

Durante mucho tiempo, las computadoras intentaron detectar estos malos memes mirando la imagen y el texto por separado, como dos detectives diferentes trabajando de forma aislada. Pero esto solía fallar porque perdían las pistas sutiles, como el sarcasmo o las referencias culturales, que solo aparecen al combinar ambos. Recientemente, los científicos comenzaron a utilizar el razonamiento de "Cadena de Pensamiento" (CoT, por sus siglas en inglés). Piensa en esto como pedirle a una computadora que "piense en voz alta" antes de dar una respuesta, explicando sus pasos como un estudiante que muestra su procedimiento matemático. Sin embargo, la forma antigua de hacer esto era como pedirle a un estudiante que resuelva un problema usando un solo método. Si ese estudiante cometía un error en su primer paso, toda la respuesta estaba mal, y no tenía un plan de respaldo. Este artículo presenta una nueva forma de ayudar a las computadoras a pensar con más cuidado, utilizando múltiples perspectivas para atrapar los memes dañinos y astutos que otros pasan por alto.

El escuadrón de detectives: EVL-MCoT

Los investigadores, Hao Yang, Jin Wang y Xuejie Zhang de la Universidad de Yunnan, proponen un nuevo sistema llamado EVL-MCoT (Enhanced Vision-Language Multi-CoT). Puedes pensar en este sistema como un escuadrón de detectives superpotente que no depende de un solo detective para resolver un caso. En su lugar, envía a todo un equipo para investigar el mismo meme desde diferentes ángulos.

Así es como ocurre la magia:

1. La estrategia de "Pensar dos veces" (Multi-CoT)
En los viejos tiempos, una computadora miraba un meme e intentaba adivinar si era malo o bueno en un solo paso. Si se confundía, simplemente adivinaba. El nuevo método, EVL-MCoT, obliga a la computadora a generar múltiples explicaciones diferentes para el mismo meme. Imagina pedirle a tres expertos distintos que expliquen un chiste confuso: uno podría centrarse en la historia, otro en los símbolos visuales y un tercero en el tono de voz. El sistema crea una explicación "dañina" y una "inofensiva" para la misma imagen. Luego, las compara. Al observar las diferencias entre estos múltiples caminos, la computadora es mucho menos propensa a ser engañada por el sarcasmo o el sesgo oculto. Es como revisar tu trabajo con un segundo par de ojos antes de entregar un examen.

2. El decodificador "Linterna" (Guiado por prototipos)
Uno de los mayores problemas al detectar malos memes es que la computadora suele pasar por alto detalles diminutos e importantes en la imagen. Puede que vea a una multitud entera pero pase por alto una cara de enfado específica en una esquina. Para solucionar esto, los investigadores añadieron un "Decodificador Guiado por Prototipos". Piensa en esto como una linterna especial que la computadora usa para escanear la imagen. En lugar de mirar toda la imagen a la vez, la linterna resalta "prototipos" o patrones clave específicos (como un símbolo particular o un tipo de expresión) que se sabe que son importantes. Esto ayuda a la computadora a hacer un acercamiento a los detalles finos que normalmente se ignoran, asegurando que no se pierda las pequeñas pistas que convierten una imagen divertida en una de odio.

3. El decodificador de "Contexto" (Guiado por contexto)
Incluso si la computadora ve los detalles, podría no entender por qué importan sin el contexto adecuado. El "Decodificador Guiado por Contexto" actúa como un traductor que conecta los puntos entre la imagen y las palabras. Toma las pistas visuales que la linterna encontró y pregunta: "¿Cómo cambia esta imagen el significado de este texto?". Por ejemplo, si el texto dice "Vete a casa", es inofensivo. Pero si la imagen muestra a un grupo específico de personas siendo perseguidas, el significado cambia por completo. Este decodificador obliga al texto y a la imagen a hablar profundamente entre sí, asegurando que la computadora entienda la historia completa, no solo las partes.

Lo que encontraron

El equipo probó su nuevo sistema en dos grandes colecciones de memes: el conjunto de datos Hateful Memes (con más de 10,000 ejemplos) y el conjunto de datos MultiOFF (con 743 ejemplos). Compararon su sistema con muchos otros modelos famosos, incluyendo algunos que utilizan enormes cerebros de IA como GPT-4 y LLaVA.

Los resultados fueron muy prometedores. En el conjunto de datos Hateful Memes, el EVL-MCoT logró una precisión del 75.88% en pruebas estándar y del 75.57% en pruebas complicadas y no vistas anteriormente. También obtuvo un AUROC (una medida de qué tan bien distingue entre lo bueno y lo malo) de 79.25% y 79.40%, respectivamente. Estos números fueron superiores a casi todos los demás métodos probados, incluyendo algunos muy avanzados.

En el conjunto de datos MultiOFF, el sistema alcanzó una precisión del 70.0% y un F1-score de 63.8, superando nuevamente a los otros modelos.

Los investigadores también realizaron experimentos para ver qué pasaría si eliminaban partes de su sistema. Cuando quitaron el "Multi-CoT" (los múltiples caminos de pensamiento), la precisión cayó significamente. Cuando eliminaron los decodificadores "Prototype-Guided" o "Context-Guided", el rendimiento también disminuyó. Esto sugiere que cada parte de su equipo es necesaria para obtener los mejores resultados. Descubrieron que usar más caminos de pensamiento (específicamente, generar 3 explicaciones dañinas y 3 inofensivas) funcionaba mejor que usar solo una o dos.

Por qué es importante

Este artículo sugiere que la forma en que enseñamos a las computadoras a entender la cultura de Internet debe cambiar. En lugar de solo mirar una imagen y adivinar, o usar una sola línea de razonamiento, necesitamos sistemas que puedan discutir consigo mismos, revisar su propio trabajo y mirar los detalles con lupa. Al utilizar este enfoque de "Multi-CoT", el sistema EVL-MCoT demuestra que las computadoras pueden volverse mejores para detectar los mensajes dañinos y ocultos que intentan esconderse detrás de una cara sonriente. Aunque el sistema no es perfecto, representa un paso significativo hacia la creación de un internet más seguro al ayudar a las máquinas a comprender el lenguaje complejo y, a menudo, truculento de los memes.

Resumen Técnico: EVL-MCoT para la Detección de Memes Dañinosos

1. Planteamiento del Problema

Los memes dañinos, que combinan elementos visuales y textuales para transmitir sarcasmo, ironía o discriminación, representan un desafío significativo para la detección automatizada. Los enfoques existentes se basan principalmente en modelos de visión-lenguaje de doble flujo que extraen características visuales y textuales simultáneamente. Sin embargo, estos métodos sufren tres limitaciones críticas:

Falta de Conocimiento de Fondo: A menudo no logran incorporar la información de trasfondo y el conocimiento previo necesarios para interpretar significados ocultos y referencias culturales implícitas.
Razonamiento de Cadena Única No Fiable: Aunque se ha explorado el razonamiento de Cadena de Pensamiento (CoT, por sus siglas en inglés), los enfoques simples de trayectoria única de CoT son propensos a inconsistencias, errores y sesgos debido a su dependencia de una única trayectoria de razonamiento y a los sesgos inherentes de los Modelos de Lenguaje de Gran Escala (LLMs).
Fusión de Características Superficial: Los métodos actuales dependen frecuentemente de mecanismos de fusión superficial que no logran alinear los detalles visuales locales con los prompts textuales finos, lo que impide una comprensión profunda de las intrincadas conexiones entre las modalidades.

2. Metodología: EVL-MCoT

Los autores proponen Enhanced Vision-Language Multi-CoT (EVL-MCoT), un marco diseñado para abordar estas limitaciones mediante el razonamiento de múltiples perspectivas y una alineación multimodal avanzada. La arquitectura consta de tres componentes principales:

2.1 Generación de Multi-CoT

Para mejorar la fiabilidad del razonamiento y reducir el sesgo, el marco genera múltiples cadenas de razonamiento en lugar de una sola trayectoria.

Prompting de Doble Perspectiva: Para cada instancia de meme $M = \{I, T\}$ , el sistema solicita a un MLLM (por ejemplo, GPT, LLaVA) que genere procesos de razonamiento desde perspectivas tanto dañinas ($hatefult$) como benignas ($benignt$).
Razonamiento Comparativo: Al emparejar $n$ CoTs dañinos con $m$ CoTs benignos, el sistema crea $n \times m$ combinaciones. El modelo trata esto como una tarea comparativa, seleccionando la cadena de razonamiento que mejor se ajuste a la relación imagen-texto. Este enfoque de múltiples rutas introduce redundancia, ayudando al modelo a capturar matices culturales y sesgos implícitos de manera más robusta.

2.2 Decodificador Guiado por Prototipos

Para abordar el desafío de la fusión visual-textual de grano fino, los autores introducen un decodificador guiado por prototipos.

Codificación Visual: Las entradas visuales se procesan utilizando un codificador Long-CLIP congelado para extraer tokens visuales $H$ .
Atención de Prototipos: Se inicializan características de prototipos aprendibles $Pr$. Se aplica un mecanismo de atención cruzada donde los prototipos sirven como consultas ( $Q$ ) y los tokens visuales sirven como claves ( $K$ ) y valores ( $V$ ). Esto agrupa tokens semánticamente similares bajo el mismo prototipo, capturando información contextual global.
Fusión de Características: Un enfoque de fusión basado en atención agrega estas características mejoradas por prototipos en una representación visual final $S$ , mejorando la capacidad del modelo para captar dependencias de largo alcance.

2.3 Decodificador Guiado por Contexto

Para cerrar la brecha entre la visión y el texto, se emplea un decodificador guiado por contexto.

Codificación de Texto: Las características del texto ( $T_{emb}$ ) se extraen utilizando el codificador de texto Long-CLIP congelado.
Alineación Visual-Textual: Las características de los prototipos visuales ($Pr$) actúan como consultas ( $Q$ ), mientras que las características del texto sirven como claves ( $K$ ) y valores ( $V$ ). Este mecanismo permite que el codificador de texto atienda dinámicamente al contexto visual, enriqueciendo las incrustaciones de texto con los priors visuales y permitiendo un refinamiento semántico de grano fino.

2.4 Estrategia de Entrenamiento

Las características finales (incrustaciones de texto mejoradas $T_{embE}$ y características visuales refinadas $S$ ) se concatenan y alinean utilizando un objetivo de aprendizaje contrastivo. El modelo minimiza la pérdida de entropía cruzada entre las puntuaciones de alineación de las características de texto dañinas/benignas concatenadas y las características visuales frente a las etiquetas de verdad de campo (ground truth).

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

Integración de Marco: La propuesta de EVL-MCoT, que integra el razonamiento de múltiples cadenas (Multi-CoT) con una fusión multimodal avanzada para superar el razonamiento de cadena única no fiable y la alineación transmodal superficial.
Reducción de Sesgo y Alineación: La generación de CoTs diversos para reducir el sesgo y las inconsistencias, junto con un nuevo marco de decodificación (guiado por prototipos y guiado por contexto) que mejora significativamente la alineación visual-textual.
Validación Empírica: Demostración de un rendimiento competitivo en los conjuntos de datos HatefulMemes y MultiOFF, superando a los modelos base unimodales, multimodales y de modelos de lenguaje de gran escala (LMM) existentes.

4. Resultados Experimentales

Los autores evaluaron EVL-MCoT en dos conjuntos de datos:

Dataset HatefulMemes: El modelo logró resultados de vanguardia (state-of-the-art) tanto en las divisiones TestSeen (Precisión: 75.88%, AUROC: 79.25%) como TestUnseen (Precisión: 75.57%, AUROC: 79.40%), superando a bases sólidas incluyendo Flamingo, IDEFICS y varios modelos basados en CLIP.
Dataset MultiOFF: El modelo alcanzó una Precisión de 70.0% y un F1-score de 63.8%, superando a los modelos base unimodales (por ejemplo, ResNet50, BERT) y otros enfoques multimodales (por ejemplo, VisualBERT, CLIP, variantes de LLaVA).

Estudios de Ablación:

Eliminar Long-CLIP degradó significamente el rendimiento, confirmando la necesidad del procesamiento de contexto largo para las secuencias CoT.
Eliminar el Decodificador Guiado por Prototipos o el Decodificador Guiado por Contexto provocó caídas de rendimiento comparables, validando sus roles en el aprendizaje de características estructuradas y la alineación contextual.
Reducir el número de rutas CoT (por ejemplo, $n=1, m=1$ ) causó una caída sustancial en la precisión, demostrando que las múltiples rutas de razonamiento son esenciales para la robustez.

5. Significado y Reivindicaciones

El artículo afirma que EVL-MCoT fortalece significativamente la alineación entre las modalidades visual y textual, mejorando finalmente la capacidad de detección de memes dañinos.

Interpretabilidad: El marco genera explicaciones de CoT estructuradas que resaltan diferentes aspectos del contenido del meme (visual, textual o significado implícito), ofreciendo una mayor interpretabilidad que los clasificadores de caja negra.
Robustez: Al simular argumentos tanto de apoyo como de oposición mediante Multi-CoT, el modelo reduce la aleatoriedad y mejora la consistencia en la toma de decisiones.
Generalización: El enfoque demuestra capacidades de generalización superiores, particularmente en distribuciones de datos no vistas, al aprovechar una comprensión semántica profunda en lugar de un emparejamiento de características superficial.

Los autores concluyen que, si bien el marco actual es efectivo, el trabajo futuro se centrará en estrategias para acortar las cadenas de razonamiento sin comprometer el rendimiento y extender la aplicación a otras tareas multimodales.