Resumen Técnico: Adaptación del Aprendizaje por Refuerzo con Supervisión de Cadena de Pensamiento para la Detección Explicable de Memes Odiosos y Propagandísticos

1. Planteamiento del Problema

Los memes odiosos y propagandísticos explotan la interacción entre la imagen y el texto para transmitir una intención dañina que ninguna de las dos modalidades revela por sí sola. Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han avanzado en la comprensión de la visión y el lenguaje, su aplicación a la moderación de contenido de memes sigue siendo poco explorada, particularmente en lo que respecta a los modelos basados en el "pensamiento" que generan pasos de razonamiento intermedios explícitos. Los enfoques existentes carecen a menudo de una integración sistemática de la supervisión de Cadena de Pensamiento (CoT), el etiquetado de grano fino y el Aprendizaje por Refuerzo (RL) para este dominio específico. Además, el Ajuste Fino Supervisado (SFT) estándar ofrece un control limitado sobre el equilibrio entre la corrección de la predicción y la fidelidad de las explicaciones generadas. El artículo aborda la brecha en la aplicación del post-entrenamiento basado en RL para optimizar tanto el rendimiento de la clasificación como la calidad de la explicación para la detección de memes odiosos y propagandísticos en diferentes idiomas (inglés y árabe) y tareas (detección binaria de odio y detección multiclase de propaganda).

2. Metodología

El enfoque propuesto emplea un pipeline de post-entrenamiento de múltiples etapas fundamentado en la supervisión de CoT y la Optimización de Política Relativa de Grupo (GRPO).

2.1. Construcción de Datos y Anotación

• Conjuntos de Datos: El estudio utiliza el benchmark Hateful Memes (FHM) (inglés, binario) y el conjunto de datos de Memes Propagandísticos Árabes (ArMeme) (árabe, cuatro clases: propaganda, no-propaganda, no-meme, otro).
• Anotaciones de Grano Fino: Para FHM, se utilizan las anotaciones públicas existentes para categorías protegidas y tipos de ataque. Para ArMeme, donde no existían anotaciones de propaganda de grano fino, los autores desarrollaron un pipeline de anotación multi-LLM. Esto implica dos modelos independientes (GPT-4.1 y Llama-4-Scout) que generan etiquetas de técnicas de propaganda estructuradas y razonamientos, que luego son consolidados por un tercer modelo (Gemini-3-Pro).
• Destilación de Cadena de Pensamiento (CoTD): Un modelo profesor fuerte (GPT-4.1) genera trazas de razonamiento paso a paso condicionadas a la imagen del meme, el texto y las etiquetas. Estas trazas se utilizan como objetivos de supervisión durante el entrenamiento, pero no se exponen durante la inferencia para evitar la filtración de etiquetas.
• Datos No Etiquetados: Para los experimentos de auto-supervisión, los autores construyeron pools no etiquetados agregando datasets de memes públicos (para FHM) y rastreando redes sociales (para ArMeme), filtrando duplicados y no-memes.

2.2. Pipeline de Entrenamiento

La metodología sigue un proceso de tres etapas:

1. Calentamiento mediante SFT: El MLLM se inicializa mediante Ajuste Fino Supervisado sobre etiquetas de oro, explicaciones y trazas de razonamiento destiladas. Las variantes incluyen el entrenamiento con solo etiquetas binarias, la adición de etiquetas de grano fino y la incorporación de CoT destilada.
2. GRPO Supervisado: El modelo se somete a la optimización por RL utilizando GRPO. A diferencia de PPO, GRPO no requiere una red de valor aprendida; en su lugar, toma una muestra de un grupo de $K$ completaciones y utiliza la media del grupo como línea base.
   • Función de Recompensa Compuesta: La recompensa $R(y)$ combina cinco componentes:
     • $R_{fmt}$: Cumplimiento de formato (asegurando que la estructura de salida incluya razonamiento, etiqueta y explicación).
     • $R_{lbl}$: Corrección de la etiqueta.
     • $R_{exp}$: Regularización de la longitud de la explicación (apuntando a ~100 palabras).
     • $R_{think}$: Regularización de la longitud del pensamiento. Esto penaliza las trazas de CoT excesivamente cortas (por debajo de un umbral $L_{min}$) para prevenir el "hackeo de recompensa" (ej. razonamiento vacío) sin incentivar la verbosidad.
     • $R_{met}$: Similitud semántica (puntuación METEOR) con el razonamiento de oro.
3. GRPO Auto-supervisado: Para aprovechar los datos no etiquetados, el modelo es entrenado adicionalmente utilizando pseudo-etiquetas basadas en consenso. Se seleccionan muestras basadas en el desacuerdo del modelo (acuerdo parcial a través de múltiples predicciones con muestreo de temperatura). Un mecanismo de voto de mayoría asigna las pseudo-etiquetas, que luego se utilizan para calcular una señal de recompensa junto con las recompensas estructurales.

3. Contribuciones Clave

1. Generalización Cross-Task y Cross-Lingual: El estudio extiende el post-entrenamiento basado en GRPO de un único dataset binario en inglés a una compleja tarea de detección de propaganda multiclase en árabe, introduciendo un pipeline de doble anotador para el etiquetado de grano fino en un entorno previamente no etiquetado.
2. Análisis Empírico Exhaustivo: El artículo proporciona extensos estudios de ablación analizando la interacción entre la supervisión de CoT, el etiquetado de grano fino y la optimización por RL a través de baselines unimodales, zero-shot y de ajuste fino.
3. Optimización de RL Estabilizada: La introducción de una recompensa de longitud de pensamiento basada en umbrales ($R_{think}$) mitiga eficazmente el hackeo de recompensa (acortamiento de las trazas de razonamiento) mientras mantiene un rendimiento equilibrado por clase.
4. GRPO Auto-supervisado: El trabajo explora la viabilidad del pseudo-etiquetado basado en consenso para el entrenamiento por RL sin anotaciones humanas, demostrando su efectividad en entornos de dominio interno y multiclase, al tiempo que destaca las limitaciones en escenarios binarios con desajuste de distribución.

4. Resultados

Los experimentos se realizaron en los benchmarks FHM y ArMeme utilizando Qwen3-VL-8B-Thinking como modelo base.

• Ganancias de Rendimiento:
  • FHM: El enfoque propuesto alcanzó un 82.0% de precisión y un 0.80 de macro-F1, superando el estado del arte anterior (79.9% de precisión, 0.79 de macro-F1) por +2.1% de precisión y +0.01 de macro-F1.
  • ArMeme: El enfoque logró un 0.612 de macro-F1 (con GRPO auto-supervisado), lo que representa una mejora de +7.6 puntos sobre el trabajo previo (0.536) y una mejora de +6.1 puntos sobre el benchmark original.
• Comparación con Baselines:
  • El enfoque generativo basado en RL superó a los fuertes baselines de clasificación de secuencias (ej. Gemma-3-12B-IT, Qwen3-VL-8B-Instruct) en macro-F1 en ArMeme (0.612 vs. 0.594) proporcionando además explicaciones interpretables.
  • Los baselines unimodales (solo texto o solo imagen) tuvieron un rendimiento significativamente inferior al enfoque de razonamiento multimodal, confirmando la necesidad de la interacción cross-modal.
• Hallazgos de Ablación:
  • Supervisión de Grano Fino: Añadir etiquetas de grano fino durante el SFT mejoró el macro-F1 en +8.0 puntos en ArMeme (0.43 a 0.51).
  • Destilación de CoT: La CoT destilada proporcionó ganancias adicionales durante el SFT y sirvió como una inicialización crítica para GRPO.
  • Calentamiento SFT: El inicio en frío de GRPO (sin SFT) resultó en un rendimiento degenerado en ArMeme (0.332 macro-F1), demostrando que la inicialización por SFT es crítica para tareas complejas.
  • GRPO Auto-supervisado: Mejoró el macro-F1 de ArMeme en +1.5 puntos (0.597 a 0.612) pero redujo ligeramente el rendimiento de FHM (-1.0 punto), atribuido al desajuste de distribución en el pool no etiquetado de FHM y al sesgo de la mayoría en la clasificación binaria.

5. Significancia y Reivindicaciones

El artículo afirma ser, según el conocimiento de los autores, el primer estudio sistemático de GRPO en razonamiento multimodal bajo entornos cross-lingual, de grano fino y auto-supervisados.

• Perspectiva Metodológica: El estudio demuestra que el post-entrenamiento basado en RL con recompensas compuestas, específicamente cuando se combina con la regularización de la longitud del pensamiento, puede optimizar conjuntamente la precisión de la clasificación y la calidad de la explicación de una manera que el SFT estándar no puede.
• Escalabilidad de la Supervisión Sintética: El éxito del pipeline de anotación multi-LLM sugiere que las etiquetas de grano fino sintéticas basadas en consenso pueden servir como un proxy escalable para la anotación humana en tareas de moderación de contenido.
• Condiciones para la Auto-supervisión: El trabajo destaca que el GRPO auto-supervisado es efectivo cuando los datos no etiquetados están en el mismo dominio y el espacio de etiquetas es lo suficientemente diverso para prevenir el sesgo inducido por el consenso (como se vio en la tarea de cuatro clases de ArMeme), pero es menos efectivo cuando los cambios de distribución o los sesgos de mayoría binaria predominan (como se vio en FHM).
• Generativo vs. Discriminativo: Los resultados sugieren que los modelos de razonamiento generativo ofrecen un rendimiento por clase más equilibrado y explicaciones accionables en comparación con los modelos tradicionales de clasificación de secuencias, lo que los hace adecuados para la moderación de contenido práctica donde se requiere interpretabilidad.

Los autores liberan todo el código, extensiones de datos y recursos de evaluación para facilitar la investigación futura en este dominio.