🤖 AI

FINER: MLLMs Hallucinate under Fine-grained Negative Queries

Este trabajo presenta FINER, un marco y benchmarks diseñados para evaluar y mitigar las alucinaciones de los modelos de lenguaje multimodal ante consultas negativas de alta granularidad, proponiendo además la técnica FINER-Tuning que mejora significativamente el rendimiento de estos modelos tanto en tareas específicas como en capacidades multimodales generales.

Autores originales: Rui Xiao, Sanghwan Kim, Yongqin Xian, Zeynep Akata, Stephan Alaniz

Publicado 2026-03-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Rui Xiao, Sanghwan Kim, Yongqin Xian, Zeynep Akata, Stephan Alaniz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que tienes un amigo muy inteligente, pero un poco despistado, llamado MLLM (Modelo de Lenguaje Multimodal). Este amigo ha visto millones de fotos y puede describirlas con palabras maravillosas. Sin embargo, a veces, cuando le preguntas cosas muy específicas, alucina: inventa cosas que no están en la foto porque su cerebro se "desconecta" de la realidad visual y se deja llevar por lo que cree que debería estar ahí.

El paper que me has pasado, titulado FINER, es como un entrenamiento especial para curar este "despiste" de tu amigo. Aquí te lo explico con analogías sencillas:

1. El Problema: El "Sí" Automático

Imagina que le muestras a tu amigo una foto de un gato naranja sentado en un sofá.

Si le preguntas: "¿Ves un gato?", él dice: "Sí". (Correcto).
Si le preguntas: "¿Ves un perro?", él dice: "No". (Correcto).

Pero, el problema surge con preguntas finas y negativas (de ahí el nombre FINER). Imagina que le preguntas:

"¿Ves un gato naranja con las orejas caídas que está debajo de la silla?"

En la foto, el gato es naranja, pero tiene las orejas erguidas y está sobre la silla, no debajo.

El problema: Los modelos actuales suelen decir "Sí". ¡Se han alucinado! Han ignorado los detalles pequeños (orejas, posición) porque la idea general ("gato naranja") les parece familiar. Es como si alguien te dijera: "¿Ves al hombre con sombrero rojo en la playa?" y tú respondes "Sí" sin mirar si el sombrero es azul o si está en la montaña.

2. La Solución: El "Entrenamiento de Detalle" (FINER-Tuning)

Los autores crearon un nuevo "gimnasio" para estos modelos. No se trata de enseñarles a ver cosas nuevas, sino de enseñarles a rechazar mentiras sutiles.

El Gimnasio (FINER Benchmarks): Crearon miles de preguntas trampa. No son preguntas simples como "¿Hay un gato?", sino preguntas tipo: "¿Ves un gato con orejas caídas, sentado bajo una silla, con un collar azul?".
- La mayoría de la frase es verdad (hay un gato, hay una silla), pero un pequeño detalle es mentira.
- El objetivo es que el modelo diga: "No, no veo eso. Veo un gato con orejas erguidas y sobre la silla".
El Entrenamiento (FINER-Tuning): Usaron una técnica llamada DPO (Optimización Directa de Preferencias). Imagina que eres un entrenador de perros.
- Le muestras al perro (el modelo) la foto y la pregunta trampa.
- Si el perro dice "Sí" (alucina), le das una "reprimenda" (rechazo).
- Si el perro dice "No, pero veo X" (corrección), le das una "galleta" (premio).
- Con el tiempo, el perro aprende a ser un detective escéptico: ya no acepta cualquier afirmación, sino que verifica cada detalle antes de hablar.

3. ¿Qué pasó después del entrenamiento?

Los resultados fueron sorprendentes:

Se volvieron más inteligentes: Los modelos entrenados con este método mejoraron hasta un 24% en detectar estas mentiras sutiles.
No perdieron su inteligencia general: A veces, cuando entrenas a un modelo para ser más cuidadoso, se vuelve "miedoso" y deja de responder preguntas fáciles. Pero aquí, al entrenar con preguntas finas, el modelo se volvió más preciso sin dejar de ser útil en otras tareas. ¡Es como si un atleta entrenara para correr mejor y, de paso, mejorara su salto!
Funciona en todo: No solo mejoraron en las preguntas trampa, sino que también mejoraron en otros tests de "alucinación" y en tareas generales de ver y entender imágenes.

En resumen

Este paper nos dice que los modelos de IA actuales son como artistas que pintan de memoria: si les preguntas por un detalle pequeño que no encaja, a veces siguen pintando lo que esperan ver en lugar de lo que realmente hay.

FINER es el entrenamiento que les enseña a mirar de verdad, a ser críticos con los detalles y a decir "No" cuando algo no cuadra, incluso si el resto de la historia suena muy convincente. Es un paso gigante para que la IA sea más confiable y menos propensa a inventar historias.

1. El Problema: Alucinaciones en Consultas Negativas de Alta Granularidad

Los Modelos de Lenguaje Multimodal (MLLMs) han avanzado significativamente en la comprensión visual, pero siguen siendo propensos a las alucinaciones (generar respuestas no respaldadas por la imagen). La literatura actual y los benchmarks existentes (como POPE, DASH, AMBER) se centran principalmente en consultas coarsas (baja granularidad), como la presencia o ausencia de un solo objeto.

El artículo identifica una brecha crítica: los MLLMs fallan catastróficamente cuando se enfrentan a consultas negativas de alta granularidad. Estas consultas no solo preguntan si un objeto existe, sino que introducen contradicciones sutiles combinando múltiples objetos, atributos y relaciones espaciales.

El desafío: Los modelos tienden a cometer "falsos positivos" (responder "Sí" a una pregunta que debería ser "No") cuando la consulta contiene una mezcla de elementos verdaderos y uno falso muy específico (ej. "¿Puedes ver al gato marrón con orejas caídas sentado debajo de la silla?" cuando el gato tiene las orejas erguidas).
La limitación actual: Los modelos existentes no logzan aislar y rechazar el error fino dentro de una descripción compleja, mostrando una fragilidad que aumenta a medida que la granularidad de la consulta se vuelve más detallada.

2. Metodología: FINER y FINER-Tuning

Los autores proponen un enfoque integral que incluye nuevos benchmarks y una técnica de ajuste fino.

A. Los Benchmarks FINER

Se introducen dos nuevos conjuntos de datos de evaluación basados en Consultas Negativas de Alta Granularidad (FINER):

FINER-CompreCap: Basado en CompreCap (imágenes COCO con gráficos de escena anotados por humanos).
FINER-DOCCI: Basado en DOCCI (5,000 imágenes con descripciones largas anotadas por humanos), permitiendo una escala mayor y evaluación open-set.

Construcción de Datos:

Se extraen Gráficos de Escena (SG) positivos (Objetos, Atributos, Relaciones).
Se generan variantes negativas semánticamente plausibles pero incorrectas (ej. cambiar "puerta" por "pilar", o "orejas caídas" por "orejas erguidas").
Se construyen Consultas de Múltiple Elección (MCQ) que combinan elementos positivos y negativos en cuatro configuraciones:
1. Multi-obj: Múltiples objetos (uno incorrecto).
2. Multi-attr: Múltiples atributos (uno incorrecto).
3. Multi-rel: Múltiples relaciones (una incorrecta).
4. Wh-questions: Preguntas "Qué/Cuál" sobre un objeto con un atributo incorrecto.
Métrica de Evaluación: Se utiliza la Precisión Pareada (Accpaired), que requiere que el modelo responda correctamente tanto a la versión positiva como a la negativa de una pregunta para contar como acierto, evitando sesgos hacia respuestas afirmativas o negativas.

B. FINER-Tuning (Método de Entrenamiento)

Para abordar estas fallas, proponen FINER-Tuning, un método de optimización basado en preferencias:

Tecnología: Utiliza Optimización Directa de Preferencias (DPO).
Generación de Datos: Crean un pipeline escalable usando un LLM de código abierto (Phi-4-14B) para extraer frases positivas de descripciones largas (Pixmo-caption) y generar sus contrapartes negativas.
Estructura de Entrenamiento: A diferencia de métodos anteriores que solo corrigen la salida del modelo, FINER-Tuning entrena al modelo para detectar contradicciones en la entrada. Se presentan pares de preferencia donde:
- La respuesta aceptada ( $a^+$ ) niega la premisa falsa o confirma la verdadera.
- La respuesta rechazada ( $a^-$ ) acepta la premisa falsa o niega la verdadera.
Ventaja: Es agnóstico al modelo, escalable y no requiere modelos propietarios costosos para la anotación masiva.

3. Contribuciones Clave

Descubrimiento de la Fragilidad: Demostraron que la precisión de los MLLs de vanguardia cae drásticamente (de ~80% a ~20%) a medida que aumenta la granularidad de las consultas negativas, revelando una vulnerabilidad específica a errores sutiles en consultas complejas.
Nuevos Benchmarks (FINER-CompreCap y FINER-DOCCI): Proporcionan los primeros conjuntos de datos sistemáticos para evaluar la capacidad de los modelos para detectar errores en combinaciones de objetos, atributos y relaciones, superando las limitaciones de los benchmarks anteriores basados en objetos únicos.
FINER-Tuning: Una técnica de ajuste fino simple pero efectiva que utiliza DPO con datos de consultas negativas de alta granularidad.
Mejora Generalizada: Demuestran que el entrenamiento en estas consultas negativas no solo mejora el rendimiento en FINER, sino que también reduce las alucinaciones en otros benchmarks existentes y mejora las capacidades multimodales generales.

4. Resultados Experimentales

Los experimentos se realizaron en modelos de vanguardia como InternVL3.5, Qwen2.5-VL y LLaVA-NeXT.

Rendimiento en FINER:
- FINER-Tuning logró mejoras significativas en la precisión pareada. Por ejemplo, InternVL3.5-14B mejoró hasta un 24.2% en la subsección Multi-rel.
- El modelo ajustado con FINER-Tuning (14B) alcanzó un rendimiento comparable al de Gemini-2.5-Flash (un modelo propietario mucho más grande) en 3 de 4 configuraciones.
- Se observó que las ganancias son mayores a medida que aumenta el número de entidades (objetos, atributos, relaciones) en la consulta.
Generalización a Otros Benchmarks:
- Los modelos ajustados mejoraron consistentemente en benchmarks de alucinación discriminativa (DASH, POPE, AMBER) y generativa (MMHal-Bench, HaloQuest).
- En MMHal-Bench, la tasa de alucinación se redujo al 10% para InternVL3.5-14B.
- En HaloQuest, se observaron mejoras de hasta un 19.3% en LLaVA-1.6.
Capacidades Generales:
- A diferencia de otros métodos de alineación que a menudo sufren una "tasa de alineación" (peor rendimiento en tareas generales), FINER-Tuning no degradó las capacidades generales. De hecho, mejoró ligeramente el rendimiento en benchmarks generales como MMStar y TextVQA.
Estudios de Ablación:
- Se demostró que entrenar con ambos tipos de consultas (positivas y negativas) es crucial; entrenar solo con negativas o usar Supervised Fine-Tuning (SFT) puro dio resultados inferiores o inestables.

5. Significado e Impacto

El trabajo de FINER es significativo porque cambia el paradigma de cómo evaluamos y mejoramos la fiabilidad de los MLLMs:

Más allá de la detección de objetos: Muestra que la verdadera prueba de la "verdad" visual no es solo saber si un objeto está presente, sino entender la composición fina de la escena.
Robustez frente a Premisas Falsas: Proporciona una solución práctica para entrenar modelos que no sean "ingenuos" ante premisas falsas en las preguntas de los usuarios, lo cual es crítico en aplicaciones de alto riesgo como el diagnóstico médico o la seguridad.
Eficiencia y Escalabilidad: Al utilizar un pipeline automatizado con modelos de código abierto para generar datos de entrenamiento, demuestran que se pueden lograr mejoras sustanciales sin depender de costosos ciclos de retroalimentación humana o modelos propietarios cerrados.
Llamado a la Acción: Establece un nuevo estándar para los benchmarks futuros, sugiriendo que la evaluación de alucinaciones debe incluir necesariamente consultas negativas de alta granularidad para evitar una falsa sensación de seguridad en los modelos actuales.

En resumen, FINER demuestra que los MLLMs actuales son frágiles ante la complejidad semántica, pero que mediante un entrenamiento específico con consultas negativas de alta precisión, es posible mitigar estas alucinaciones y mejorar la fiabilidad general de los modelos.