🤖 AI

Discovering Failure Modes in Vision-Language Models using RL

Este artículo propone un marco basado en Aprendizaje por Refuerzo que automatiza la identificación de modos de fallo en Modelos Visión-Lenguaje mediante un agente generador de preguntas que descubre ciegamente 36 nuevas vulnerabilidades sin intervención humana.

Autores originales: Kanishk Jain, Qian Yang, Shravan Nayak, Parisa Kordjamshidi, Nishanth Anand, Aishwarya Agrawal

Publicado 2026-04-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kanishk Jain, Qian Yang, Shravan Nayak, Parisa Kordjamshidi, Nishanth Anand, Aishwarya Agrawal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Modelos Visuales-Lingüísticos (VLM) son como estudiantes geniales que han leído millones de libros y visto millones de fotos. Son muy inteligentes y pueden describir una imagen con gran detalle. Pero, al igual que cualquier estudiante, tienen "puntos ciegos": cosas que ven pero no entienden realmente, como contar objetos pequeños, entender la perspectiva o notar detalles sutiles.

El problema es que, hasta ahora, encontrar estos errores era como buscar agujas en un pajar... a mano. Los investigadores tenían que pensar en preguntas difíciles, escribirlas y probarlas una por una. Era lento, costoso y, a veces, los investigadores se saltaban detalles porque su propia mente les hacía ver solo lo obvio.

La Solución: Un "Entrenador" con Inteligencia Artificial

Los autores de este paper proponen una idea brillante: en lugar de que un humano busque los errores, creemos un "entrenador" automático que aprenda a encontrarlos solo.

Aquí tienes la analogía principal:

Imagina un videojuego de lucha donde tienes dos personajes:

El Luchador (El Modelo a probar): Es el modelo de IA que queremos evaluar.
El Entrenador (El Agente de Aprendizaje por Refuerzo): Es un nuevo modelo de IA creado para ser el "entrenador" del luchador.

¿Cómo funciona el entrenamiento?

El objetivo del Entrenador: Su misión no es ganar, sino hacer que el Luchador falle. Debe hacerle preguntas sobre una imagen que el Luchador no sepa responder correctamente.
El sistema de recompensas (El silbato del árbitro): Hay un tercer personaje, el Árbitro (Verificador). Si el Entrenador hace una pregunta buena (gramaticalmente correcta, relacionada con la imagen) y el Luchador falla la respuesta, el Árbitro le da puntos al Entrenador.
El aprendizaje: Al principio, el Entrenador hace preguntas tontas como "¿Qué hay en la foto?". El Luchador las responde bien. Pero el Entrenador aprende de sus errores. Con el tiempo, se vuelve más astuto. Empieza a preguntar cosas más difíciles: "¿De qué color es el objeto que está detrás de la silla y a la izquierda del perro?".

La Magia: De lo Simple a lo Complejo

Lo más interesante es cómo evoluciona este Entrenador:

Fase 1 (El principiante): Al principio, el Entrenador descubre errores obvios. "¡Oh, el modelo no sabe contar!".
Fase 2 (El experto): A medida que el Entrenador sigue practicando, deja de preguntar lo obvio. Empieza a buscar en los rincones más oscuros de la imagen. Descubre que el modelo falla cuando tiene que combinar varias habilidades a la vez (ej: "¿Qué objeto rojo está a la derecha de la ventana pero a la izquierda del gato?").
El resultado: El Entrenador descubre 36 nuevos tipos de errores que nadie había visto antes. Errores que ni los humanos se habían imaginado buscar.

¿Por qué es mejor que los humanos?

Sin cansancio: Un humano se cansa de hacer preguntas después de un rato. El Entrenador nunca se cansa y sigue probando millones de combinaciones.
Sin prejuicios: Los humanos suelen mirar lo que es llamativo (un perro grande, un coche rojo). El Entrenador mira todo, incluso lo aburrido y pequeño, y descubre que el modelo falla ahí también.
Adaptabilidad: Si cambiamos el "Luchador" por un modelo más inteligente, el Entrenador se adapta automáticamente y empieza a hacer preguntas aún más difíciles para encontrar sus nuevos puntos débiles.

En resumen

Este paper presenta un sistema de "entrenamiento de IA contra IA". En lugar de que los humanos diseñen exámenes para probar a las máquinas, crean un "entrenador" que aprende a hacer preguntas trampa cada vez más inteligentes.

Es como si tuvieras un entrenador de boxeo que, en lugar de golpearte con un puño, te hace preguntas cada vez más complejas hasta que te quedas sin respuestas, revelando exactamente dónde necesitas mejorar. Gracias a esto, podemos hacer que las Inteligencias Artificiales sean más robustas, seguras y entendibles para todos.

Resumen Técnico: Descubrimiento de Modos de Fallo en Modelos Visión-Lenguaje mediante Aprendizaje por Refuerzo

1. Planteamiento del Problema

Los Modelos Visión-Lenguaje (VLM) han demostrado capacidades notables en benchmarks multimodales, pero a menudo fallan en conceptos visuales básicos que los humanos resuelven con facilidad, como el conteo, el razonamiento espacial y la comprensión de puntos de vista.

Limitaciones de los enfoques actuales: Los estudios previos han identificado modos de fallo manualmente (ej. Benchmarks como MMBench, BLINK). Sin embargo, estos métodos son:
- Costosos y no escalables: Requieren curación de datos y anotación humana intensiva.
- Sesgados: La intervención humana tiende a centrarse en objetos salientes, ignorando detalles sutiles y limitando la cobertura de vulnerabilidades.
- Estáticos: No se adaptan a las debilidades específicas de un modelo candidato concreto.
Objetivo: Desarrollar un marco totalmente automatizado para descubrir modos de fallo (puntos ciegos) en cualquier VLM candidato sobre una distribución de datos dada, sin intervención humana, superando las limitaciones de los métodos de "bucle abierto" (donde el generador de preguntas no se adapta a las respuestas).

2. Metodología Propuesta

Los autores proponen un marco basado en Aprendizaje por Refuerzo (RL) que trata el descubrimiento de fallos como un problema de optimización secuencial. El sistema consta de tres componentes principales:

El Interrogador (Questioner): Un agente de RL basado en un VLM. Su objetivo es generar adaptativamente un conjunto de preguntas ( $Q$ $Q$ ) para una imagen dada ( $I$ $I$ ) que el VLM objetivo (Answerer) responda incorrectamente.
- Utiliza el algoritmo GRPO (Group Relative Policy Optimization) para entrenar la política.
- Genera preguntas en secuencia para evitar redundancia y explorar conceptos visuales distintos simultáneamente.
El Respondedor (Answerer): El VLM objetivo cuyo modo de fallo se está investigando. Sus parámetros permanecen congelados durante el entrenamiento.
El Verificador (Verifier): Un VLM de razonamiento robusto que actúa como juez. Evalúa las preguntas y respuestas para generar la señal de recompensa.

Función de Recompensa ( $R_Q$ ):
La recompensa es un componente clave que guía al agente para encontrar fallos genuinos y diversos. Se define como:
$R_Q = \Delta_Q \cdot V_Q \cdot (1 - C_Q) - P_Q$
Donde:

$V_Q$ (Validez): 1 si la pregunta es gramaticalmente correcta, atómica, está anclada visualmente y es objetiva; 0 en caso contrario.
$C_Q$ (Corrección): 1 si el VLM responde correctamente (penalización para el interrogador); 0 si responde incorrectamente (recompensa). El objetivo es maximizar los casos donde $C_Q=0$ .
$\Delta_Q$ (Diversidad): Escala la recompensa positiva para fomentar la variedad. Se descompone en:
- Diversidad Semántica: Penaliza preguntas semánticamente similares a las ya falladas (usando similitud coseno de embeddings).
- Diversidad Léxica: Penaliza la repetición de prefijos de preguntas (ej. evitar usar siempre "¿Cuántos...?") para fomentar variedad en el tipo de interrogación.
$P_Q$ (Penalización): Penaliza preguntas inválidas para acelerar la generación de consultas correctas.

3. Contribuciones Clave

Marco Automatizado de RL: Propuesta de un sistema donde un agente interrogador aprende activamente a identificar debilidades de cualquier VLM objetivo, adaptándose dinámicamente a sus patrones de fallo.
Taxonomía Automatizada de Fallos: Desarrollo de una tubería (pipeline) de cuatro etapas (identificación de primitivas, modelado de temas, extracción de habilidades y meta-habilidades) para clasificar los modos de fallo descubiertos en una jerarquía estructurada.
Descubrimiento de Nuevos Modos de Fallo: Identificación de 36 modos de fallo novedosos y habilidades específicas que los métodos estáticos y basados en humanos no habían detectado.
Evaluación Exhaustiva: Comparación contra múltiples baselines (Zero-Shot, Fine-Tuning Supervisado, Iteración de Expertos, ConMe) y análisis de ablación para entender el impacto de cada componente de la recompensa.

4. Resultados Experimentales

Los experimentos se realizaron utilizando modelos de la familia Qwen (Qwen2.5-VL y Qwen3-VL) sobre el conjunto de datos COCO.

Tasa de Descubrimiento de Fallos (FDR): El enfoque RL superó significativamente a todos los baselines.
- RL: 47.58% de FDR.
- RL + SFT: 50.73% (el mejor rendimiento).
- Comparativa: Superó a ConMe (39.89%) y a la Iteración de Expertos (38.36%).
Diversidad y Complejidad:
- Diversidad Semántica: RL alcanzó 64.96 (frente a 61.78 de ConMe).
- Diversidad Léxica: RL mostró una ventaja masiva (0.53 vs 0.19-0.30 en otros métodos), evitando la repetición de plantillas.
- Cobertura de Habilidades: El método RL descubrió 131 habilidades únicas, comparado con 89-94 en los baselines.
- Complejidad: Las preguntas generadas por RL requieren un promedio de 3.30 habilidades simultáneas por consulta (vs 3.10 en baselines), indicando un razonamiento más complejo y composicional.
Generalización: El marco demostró ser generalizable a diferentes combinaciones de modelos (Questioner vs. Answerer de distintos tamaños: 3B, 7B, 8B), manteniendo altas tasas de descubrimiento incluso contra modelos más grandes, aunque la FDR disminuye ligeramente a medida que aumenta la capacidad del modelo objetivo.
Evolución Temporal: Durante el entrenamiento, el agente RL sigue un "currículo implícito": primero explota habilidades vulnerables tempranas (ej. razonamiento numérico) y luego descubre habilidades más elusivas y complejas (ej. razonamiento físico-espacial) a medida que el entrenamiento madura.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la evaluación de VLMs:

De Estático a Adaptativo: Se aleja de los benchmarks manuales estáticos hacia un proceso de descubrimiento continuo y adaptativo que se ajusta a las vulnerabilidades específicas de cada modelo.
Escalabilidad: Elimina la necesidad de curación manual masiva, permitiendo escalar la detección de fallos a nuevos modelos y dominios de datos de forma automática.
Profundidad de Análisis: Al forzar al modelo a generar preguntas composicionalmente complejas y de "cola larga", revela puntos ciegos cognitivos sutiles que los métodos tradicionales pasan por alto.
Futuro: Abre la puerta a cerrar el ciclo de retroalimentación, donde los modos de fallo descubiertos podrían utilizarse para mejorar (fine-tuning) los propios VLMs, creando sistemas más robustos y fiables.

En conclusión, el marco propuesto demuestra que el Aprendizaje por Refuerzo es una herramienta superior para la "red teaming" (pruebas de intrusión) de modelos de visión-lenguaje, logrando una cobertura más amplia, diversa y profunda de sus limitaciones cognitivas.