Benchmarking Deflection and Hallucination in Large Vision-Language Models

Este trabajo presenta VLM-DeflectionBench, un nuevo benchmark dinámico y extensible que evalúa la capacidad de los modelos de visión y lenguaje para detectar conflictos de evidencia y generar respuestas de evitación cuando el conocimiento recuperado es insuficiente o engañoso, abordando así las limitaciones de las evaluaciones actuales.

Lo esencial

¡Claro que sí! Imagina que los Modelos de Lenguaje y Visión Grandes (LVLM) son como estudiantes geniales y muy rápidos que han leído millones de libros y visto millones de fotos. Son capaces de responder preguntas complejas sobre cualquier cosa, desde "¿qué animal es este?" hasta "¿qué dice la receta en este libro de cocina?".

Pero, como cualquier estudiante, a veces tienen un problema: se inventan las respuestas.

El Problema: El "Efecto Alucinar" vs. El "Efecto Pedir Ayuda"

Imagina que le preguntas a tu amigo experto: "¿Qué hay en la foto de este coche antiguo?".

• Si el experto no sabe, pero intenta adivinar por no parecer tonto, te dice: "¡Es un Ferrari rojo de 1950!" (aunque en la foto sea un Ford gris de 1980). Esto es una alucinación. Es peligroso porque te da información falsa con mucha seguridad.
• Si el experto es honesto, dice: "No tengo suficiente información en la foto para saberlo, lo siento". Esto es una deflexión (o abstención). Es lo correcto cuando no se tiene la respuesta.

El problema es que, hasta ahora, los tests para medir a estas inteligencias artificiales solo preguntaban: "¿Acertó la respuesta?". No les importaba si se inventó la respuesta o si pidió ayuda. Además, muchos de estos tests se volvían obsoletos rápido porque los modelos aprendían las respuestas de memoria (como un estudiante que se sabe el examen de memoria) y ya no necesitaban buscar la información.

La Solución: El "Examen de Honestidad" (VLM-DeflectionBench)

Los autores de este paper crearon un nuevo tipo de examen llamado VLM-DeflectionBench. Piénsalo como un simulador de realidad para estas IAs.

En lugar de solo preguntar "¿sabes la respuesta?", este examen pone a los modelos en situaciones difíciles y variadas para ver cómo reaccionan:

1. La Trampa de la Memoria (Paramétrico): Les hacen una pregunta sin darles ninguna ayuda. Si el modelo no sabe la respuesta de memoria, debería decir "no sé". Si se inventa algo, reprueba.
2. La Respuesta Perfecta (Oráculo): Les dan la respuesta exacta en un papel. Aquí, el modelo debería acertar. Si falla, es que no sabe leer bien.
3. El Ruido de Fondo (Realista): Les dan la respuesta correcta, pero mezclada con 10 respuestas falsas y confusas. ¿El modelo se confunde y elige la falsa? ¿O logra encontrar la verdad?
4. La Trampa Total (Adversarial): Les dan solo respuestas falsas y confusas. Aquí, el modelo debe decir "no sé". Si intenta adivinar, está fallando gravemente.

¿Qué descubrieron? (La Gran Sorpresa)

Los autores probaron este examen con 20 de los modelos más inteligentes del mundo (incluyendo los de Google, OpenAI, Meta, etc.) y encontraron cosas muy interesantes:

• Son muy tercos: Incluso cuando tienen información falsa o confusa frente a ellos, la mayoría de los modelos prefieren inventar una respuesta ("¡Es un Ferrari!") antes que decir "no sé". Les cuesta mucho admitir que no tienen la información.
• El texto manda sobre la imagen: Si les muestran una foto clara de un perro, pero les dan un texto falso que dice "esto es un gato", ¡la mayoría de los modelos creerán el texto y dirán que es un gato! Ignoran lo que ven sus "ojos" porque confían demasiado en lo que "leen".
• Pedir ayuda es difícil: Si les decimos "si no estás seguro, no respondas", a veces funcionan mejor, pero a veces se vuelven demasiado tímidos y dejan de responder incluso cuando sí saben la respuesta. Es un equilibrio muy difícil de lograr.

En resumen

Este paper nos dice que, aunque nuestras IAs son muy inteligentes, aún no son muy honestas. Necesitamos enseñarles no solo a ser inteligentes, sino a saber cuándo callarse.

El nuevo examen que crearon es como un entrenador de ética para estas máquinas. No solo mide cuánto saben, sino cómo se comportan cuando no saben. Y lo mejor es que este examen es "vivo": se actualiza constantemente para asegurarse de que los modelos no puedan simplemente memorizar las respuestas, obligándolos a pensar y a ser honestos en un mundo real lleno de información falsa y confusa.

La lección final: Una IA confiable no es solo la que da la respuesta correcta, sino la que sabe decir "no sé" cuando la evidencia no es suficiente.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Benchmarking Deflection and Hallucination in Large Vision-Language Models" en español:

1. El Problema

Los Modelos de Lenguaje y Visión Grandes (LVLMs) dependen cada vez más de la recuperación de información (retrieval) para responder preguntas multimodales intensivas en conocimiento. Sin embargo, los benchmarks existentes presentan dos limitaciones críticas:

• Obsolescencia rápida: A medida que los conjuntos de datos de entrenamiento de los LVLMs crecen, muchos modelos pueden responder preguntas que antes requerían recuperación basándose únicamente en su conocimiento paramétrico (memorizado), lo que invalida la dificultad de las pruebas.
• Falta de distinción en modos de fallo: Las evaluaciones actuales se centran casi exclusivamente en la precisión (accuracy). No distinguen adecuadamente entre alucinación (generar una respuesta incorrecta o no fundamentada cuando la evidencia es insuficiente o contradictoria) y deflexión (reconocer la falta de información y abstenerse de responder).
• Conflicto de evidencia: Los benchmarks actuales no evalúan adecuadamente cómo se comportan los modelos cuando la evidencia visual y textual entran en conflicto o cuando la información recuperada es ruidosa.

2. Metodología: VLM-DeflectionBench

Los autores presentan VLM-DeflectionBench, un nuevo benchmark diseñado para evaluar la calibración y la robustez de los LVLMs bajo condiciones de recuperación estricta.

A. Pipeline de Curación Dinámica

A diferencia de los conjuntos de datos estáticos, este benchmark se construye mediante un pipeline dinámico que se adapta a la mejora de los modelos:

1. Filtrado Paramétrico: Se utiliza un conjunto de modelos "de puerta" (gating models) fuertes (ej. GEMMA3, QWEN-2.5-VL) para identificar y eliminar preguntas que pueden responderse correctamente sin contexto externo. Solo se retienen las muestras que requieren conocimiento externo genuino.
2. Minería de Contextos Negativos: Para cada muestra retenida, se empareja con:
   • Contexto Dorado (Gold): La evidencia correcta necesaria para la respuesta.
   • Distractores (Negativos): Se generan o extraen contextos visuales y textuales que son semánticamente similares pero incorrectos (ruido), simulando escenarios de recuperación imperfecta.
3. Control de Calidad: Se verifica que los modelos de puerta no puedan resolver las muestras con el contexto dorado (garantizando que la tarea es difícil) y que no puedan ser engañados por los distractores (garantizando que los distractores son válidos).

B. Escenarios de Evaluación

El benchmark define cuatro escenarios controlados para desentrañar la memorización de la robustez en la recuperación:

1. Paramétrico: Solo pregunta e imagen (sin contexto externo). El modelo debe abstenerse si no sabe la respuesta.
2. Oráculo: Se proporciona únicamente el contexto dorado perfecto. El modelo debe responder con alta precisión.
3. Realista: Se mezcla el contexto dorado con distractores. El modelo debe identificar la evidencia correcta y filtrar el ruido.
4. Adversarial: Se proporcionan solo distractores (sin evidencia correcta). El modelo ideal debe abstenerse (deflexión) y no alucinar.

3. Contribuciones Clave

1. Pipeline de Curación Dinámico: Un método para mantener la dificultad del benchmark a lo largo del tiempo, filtrando muestras que los modelos pueden resolver por memorización a medida que evolucionan.
2. VLM-DeflectionBench: Una colección de 2,775 muestras que cubren diversos escenarios de recuperación multimodal (texto e imagen), cada una con contextos dorados y distractores pre-recuperados.
3. Protocolo de Evaluación de Alta Resolución: Una métrica que cuantifica simultáneamente la precisión, la tasa de alucinación y la tasa de deflexión, permitiendo analizar el equilibrio entre estos factores.

4. Resultados Experimentales

Se evaluaron 20 LVLMs de última generación (tanto de código abierto como propietarios, como GPT-5, Claude 4, Gemini 2.5, LLaVA, InternVL, etc.). Los hallazgos principales son:

• Fallo en la Deflexión: La mayoría de los modelos fallan sistemáticamente al abstenerse cuando la evidencia es insuficiente o engañosa. Tienen una tendencia fuerte a alucinar en lugar de decir "no lo sé".
• Sesgo Texto sobre Visión: En escenarios realistas con distractores, los modelos muestran un sesgo hacia la información textual. Si hay texto contradictorio (aunque sea incorrecto) junto a una imagen correcta, los modelos suelen ignorar la evidencia visual y seguir el texto, colapsando la precisión.
• Fragilidad ante el Ruido: A medida que aumenta la densidad de distractores (ruido de recuperación), la precisión cae drásticamente y la alucinación aumenta, incluso en los modelos más potentes. La deflexión no aumenta lo suficiente para compensar estos errores.
• Compensación (Trade-off) con Prompts: Instrucciones estrictas para "abstenerse" aumentan la deflexión en escenarios adversarios, pero provocan una caída masiva en la precisión en escenarios realistas (sobre-deflexión), lo que indica que la ingeniería de prompts es una herramienta "tonta" que no resuelve el problema de calibración interna.
• Limitaciones de los Modelos Propietarios: Incluso los sistemas comerciales más avanzados (como GPT-5 o Claude Opus) no logran un equilibrio perfecto; a menudo alucinan con evidencia correcta o se abstienen en exceso cuando se les presiona demasiado.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Cambia el paradigma de evaluación: Mueve el foco de "¿qué sabe el modelo?" a "¿cómo se comporta el modelo cuando no sabe o cuando la información es ruidosa?".
• Identifica un riesgo de seguridad: La incapacidad de los LVLMs para abstenerse ante evidencia contradictoria o incompleta es un riesgo crítico para aplicaciones del mundo real (medicina, derecho, noticias), donde las alucinaciones pueden tener consecuencias graves.
• Marco Reutilizable: Proporciona una infraestructura extensible que puede actualizarse a medida que surgen nuevos modelos y fuentes de datos, asegurando que la evaluación de la fiabilidad en la generación aumentada por recuperación (RAG) multimodal permanezca relevante.

En conclusión, el estudio demuestra que, a pesar de los avances en capacidades, los LVLMs actuales carecen de una calibración de confianza adecuada, prefiriendo generar respuestas incorrectas (alucinaciones) en lugar de reconocer sus limitaciones, especialmente en entornos de recuperación multimodal ruidosa.