FREAK: A Fine-grained Hallucination Evaluation Benchmark for Advanced MLLMs

1. Problema Identificado

Los Modelos de Lenguaje Multimodal Grandes (MLLMs) sufren de alucinaciones, donde generan contenido que es lógicamente plausible y coherente con el sentido común, pero que contradice la evidencia visual real de la imagen.

• Limitaciones de los benchmarks actuales: Evaluaciones anteriores como POPE o AMBER han alcanzado un punto de saturación debido a tareas demasiado simplificadas (generalmente juicios binarios verdadero/falso) y falta de diversidad.
• El vacío específico: Existe una carencia crítica en la evaluación de alucinaciones de grano fino (fine-grained hallucinations). Los modelos actuales tienden a ignorar detalles visuales específicos en favor de su conocimiento paramétrico (sentido común memorizado), fallando al percibir modificaciones sutiles pero contradictorias en la realidad.

2. Metodología: El Benchmark FREAK

Para abordar esto, los autores proponen FREAK (Fine-gRained Evaluation Against Knowledge), un nuevo benchmark diseñado para cuantificar la severidad de las alucinaciones de grano fino.

A. Pipeline de Generación de Datos

FREAK utiliza un pipeline automatizado y novedoso para crear imágenes fotorealistas con detalles "contra-sentido común" (Counter-Commonsense - CCS):

1. Generación de Descripción CCS: Se utiliza un LLM para generar descripciones de objetos que violan el sentido común (ej. un semáforo con luces roja y verde invertidas, un reloj con 4 manecillas).
2. Generación de Imagen "Normal": Se genera una imagen realista y normal del objeto usando un modelo de generación de imágenes (Seedream 3.0).
3. Edición Localizada: Se utiliza un modelo de edición de imágenes potente (SeedEdit 3.0) para modificar localmente la imagen normal e introducir el detalle CCS, manteniendo el resto de la imagen fotorealista.
4. Construcción de Preguntas: Se generan preguntas de opción múltiple y de respuesta libre para evaluar si el modelo detecta la modificación.
5. Validación Humana: Un equipo humano verifica rigurosamente cada instancia para asegurar que la modificación es clara, realista y no ambigua.

B. Estructura del Benchmark

• Datos: 1,786 imágenes CCS y 1,799 preguntas.
• Categorías: Se divide en 6 tareas cognitivas: Detección, Conteo, Atributos, Análisis, Posición y OCR.
• Formato: Incluye preguntas de opción múltiple (con distractores basados en sentido común) y preguntas de respuesta libre.

3. Contribuciones Clave

1. Pipeline Automatizado de Alta Calidad: Integración de modelos de generación y edición de imágenes para crear datos CCS fotorealistas a escala, superando las limitaciones de edición manual o generación directa.
2. Evaluación Objetiva y Diversa: A diferencia de benchmarks previos que usan imágenes sintéticas de baja calidad o tareas binarias, FREAK ofrece una evaluación más matizada con imágenes de alta fidelidad y preguntas que desafían la percepción de detalles específicos.
3. Análisis de Procesos de Razonamiento: El estudio no solo evalúa el resultado final, sino que analiza la dinámica interna de los modelos (probabilidades durante el razonamiento) para entender por qué fallan.

4. Resultados Experimentales

Los experimentos se realizaron en una amplia gama de modelos SOTA (Gemini, GPT-4, Claude, Qwen, InternVL, etc.).

• Brecha Humano-IA: Los modelos SOTA alcanzan una precisión promedio de solo ~45%, mientras que la línea base humana es de 86.71%. Esto revela una brecha de ~40 puntos porcentuales en la percepción de detalles.
• Tasas de Alucinación: La tasa de alucinación (HalluRate) de muchos modelos es cercana o superior a su precisión, indicando que a menudo eligen la respuesta basada en el sentido común en lugar de la evidencia visual.
• Rendimiento por Tarea: Los modelos fallan estrepitosamente en tareas de Conteo y Análisis de alto nivel, mientras que tienen un rendimiento ligeramente mejor (aún bajo) en tareas de bajo nivel como Atributos y OCR.
• Efecto del Razonamiento (Chain-of-Thought - CoT):
  • Contrario a la intuición, activar el razonamiento (CoT) degradó el rendimiento en la mayoría de los modelos.
  • El análisis de las trayectorias de probabilidad mostró que durante el proceso de pensamiento, los modelos a menudo pierden confianza en la respuesta correcta y refuerzan sus sesgos hacia los distractores (alucinaciones), terminando con una elección contradictoria a su juicio inicial.
  • Los modelos de razonamiento especializados (RL-tuned) no mostraron mejoras significativas sobre sus versiones base en esta tarea.

5. Significado e Implicaciones

• Diagnóstico de la "Ceguera" Visual: FREAK demuestra que, a pesar de los avances en comprensión visual, los MLLMs siguen dependiendo excesivamente de sus pesos paramétricos (memoria) en lugar de "ver" realmente la imagen, especialmente cuando hay conflictos con el sentido común.
• Limitación del CoT: El estudio revela una vulnerabilidad crítica en los mecanismos de razonamiento actuales de los MLLMs: el proceso de pensamiento puede amplificar las alucinaciones en lugar de corregirlas, ya que el modelo intenta justificar lógicamente una percepción visual incorrecta.
• Nuevo Estándar: FREAK establece un nuevo estándar para la evaluación de la robustez de los MLLMs, proporcionando una herramienta esencial para el desarrollo de modelos más fiables para aplicaciones industriales y de uso diario donde la precisión en los detalles es crucial.

En resumen, el artículo expone que los modelos multimodales más avanzados aún tienen dificultades severas para percibir detalles visuales específicos que contradicen su conocimiento previo, y que las técnicas actuales de razonamiento no son suficientes para mitigar este problema, sino que a veces lo exacerban.