💻 computer science

VIGIL: Tackling Hallucination Detection in Image Recontextualization

Este artículo presenta VIGIL, un novedoso conjunto de datos de referencia y un marco de detección de múltiples etapas que categoriza las alucinaciones en la recontextualización de imágenes en cinco tipos de fidelidad de grano fino para permitir una identificación y explicación de errores más precisa que los métodos existentes.

Autores originales: Joanna Wojciechowicz, Maria Łubniewska, Jakub Antczak, Justyna Baczyńska, Wojciech Gromski, Wojciech Kozłowski, Maciej Zieba

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Joanna Wojciechowicz, Maria Łubniewska, Jakub Antczak, Justyna Baczyńska, Wojciech Gromski, Wojciech Kozłowski, Maciej Zieba

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un director en el set de una película, pero en lugar de contratar actores, comandas a un pintor robótico mágico y superinteligente. Le entregas al robot la foto de tu zapatilla roja favorita y la foto de un parque soleado, y le dices: "Pon la zapatilla en el parque". El robot zumba, pinta una obra maestra y te la devuelve. Pero a veces, el robot se vuelve un poco demasiado creativo. Tal vez convierte tu zapatilla roja en una bota azul, o se olvida de pintar la zapatilla por completo, o coloca el zapato flotando en el aire como un fantasma. Este es el mundo de la recontextualización de imágenes multimodales, un término elegante para referirse al uso de la Inteligencia Artificial (IA) para tomar un objeto de una imagen y depositarlo en una nueva escena basándose en tus instrucciones.

Durante mucho tiempo, los científicos han intentado descubrir cómo detectar cuándo estos artistas de IA cometen errores, los cuales son llamados alucinaciones. Piensa en una alucinación no como un sueño, sino como una mentira que la computadora se dice a sí misma. En el pasado, los investigadores se centraron principalmente en tareas simples de texto a imagen (donde escribes una descripción y obtienes una imagen). Construyeron herramientas que daban una única "puntuación" para decir qué tan buena era la imagen, algo así como un profesor que califica un examen con una nota de "B-". Pero eso no te dice por qué el zapato es azul en lugar de rojo, o por qué la sombra apunta en la dirección equivocada. A medida que la IA mejora su capacidad para crear imágenes realistas, necesitamos una forma de detectar estos errores específicos y sigilosos para poder confiar en las imágenes para cosas como la publicidad o el diseño.

Entra VIGIL, un nuevo sistema creado por un equipo de investigadores que actúa como un crítico de arte superestricto y detallista. En lugar de solo darle una calificación a la IA, VIGIL desglosa la imagen en cinco categorías específicas de errores y explica exactamente qué salió mal. Los investigadores construyeron un enorme conjunto de datos de 1,26 de 1,269 ejemplos donde revisaron manualmente imágenes generadas por IA para ver qué tipos de errores ocurrían con más frecuencia. Descubrieron que la IA tiene dificultades de cinco formas principales: podría cambiar el aspecto del objeto (Fidelidad Visual del Objeto), arruinar el fondo (Fidelidad del Fondo), poner el objeto en el lugar equivocado (Fidelidad Espacial y de Instrucción), hacer que el objeto parezca que no pertenece físicamente al entorno (Fidelidad Física e Integración), o simplemente olvidar dibujar el objeto por completo (Omisión del Objeto).

El artículo presenta un proceso ingenioso que utiliza un equipo de herramientas de IA de código abierto para revisar la imagen paso a paso. Primero, utiliza una herramienta de "segmentación" (como unas tijeras digitales) para recortar los objetos. Luego, compara las piezas recortadas con las fotos de referencia originales para ver si la forma o el color cambiaron. Revisa si el fondo se mantuvo igual, si la iluminación y las sombras tienen sentido, y si el objeto realmente está ahí. Si la IA cometió un error, VIGL no solo dice "Error"; escribe una nota, como: "La silla ahora es una mecedora, pero pediste un sillón de madera", o "El sofá está flotando en el aire".

Cuando los investigadores probaron su sistema, descubrieron que este enfoque paso a paso era muy bueno detectando errores, a menudo superando a otros detectores de IA de código abierto. De hecho, en imágenes de muebles, VIGIL fue el mejor detectando errores. Sin embargo, el artículo señala que el sistema aún no es perfecto. A veces pasa por alto detalles diminutos, como una matrícula distorsionada en un coche o un logotipo borroso en un dispositivo electrónico, porque esos detalles son demasiado pequeños para que la IA los vea claramente después de haber sido recortados. Los autores sugieren que, aunque su método es un gran paso adelante, el mayor desafío ahora es lograr que la IA pueda hacer zoom y revisar esos detalles diminutos de alta definición sin perder la visión general. El objetivo final es pasar de simplemente adivinar si una imagen es "buena" a saber exactamente por qué está mal, para que podamos arreglarla y confiar en lo que vemos.

Resumen Técnico: VIGIL – Abordando la detección de alucinaciones en la recontextualización de imágenes

Planteamiento del problema
La generación de imágenes condicional, particularmente la recontextualización de imágenes (sintetizar nuevas escenas combinando texto con sujetos visuales específicos de imágenes de referencia), ha avanzado rápidamente con los modelos multimodales extensos (LMM). Sin embargo, estos modelos producen con frecuencia alucinaciones: artefactos visuales, cambios de identidad e inconsistencias semánticas no respaldadas por las instrucciones o las referencias de entrada. Si bien la detección de alucinaciones se ha estudiado bien en las tareas de Texto-a-Imagen (T2I), los métodos existentes para la recontextualización multimodal son limitados. Los enfoques actuales suelen reportar puntuaciones numéricas gruesas y opacas (por ejemplo, de 0 a 10) con descripciones textuales no estructuradas, fallando al distinguir entre tipos de error específicos, como la distorsión de la identidad frente al desajuste ambiental. Esta falta de evaluación fina e interpretable obstaculiza el análisis diagnóstico requerido para desplegar estos sistemas en entornos de producción como la publicidad automatizada y la creación de contenido digital.

Metodología
Los autores proponen VIGIL (Visual Inconsistency & Generative In-context Lucidity), un marco que comprende un conjunto de datos de referencia y un flujo de detección de múltiples etapas diseñado para descomponer las alucinaciones en cinco categorías distintas.

Taxonomía de las alucinaciones: El marco define cinco categorías no excluyentes:
- Fidelidad visual del objeto: Desviaciones en la apariencia visual (textura, material, color, geometría) de los objetos insertados con respecto a las referencias.
- Fidelidad del fondo: Alteraciones al entorno circundante (paredes, iluminación, muebles preexistentes) que deberían permanecer sin cambios.
- Fidelidad espacial e instructiva: Fallos en el razonamiento espacial o en el cumplimiento de instrucciones de edición de alto nivel (por ejemplo, colocación incorrecta, fallo al reemplazar/eliminar objetos, introducción de objetos no deseados).
- Fidelidad física e integración: Violaciones de la consistencia física del mundo real, incluyendo iluminación, sombras, perspectiva, escala y oclusión.
- Omisión de objetos: La ausencia total de objetos explícitamente requeridos por las instrucciones de entrada.
Flujo de detección: A diferencia de los detectores "todo en uno", VIGIL emplea un conjunto coordinado de modelos de código abierto para procesar las imágenes a través de pasos especializados:
- Extracción de objetos: Qwen3.5 analiza el prompt para identificar los sujetos y SAM 3 genera máscaras para estas entidades tanto en las imágenes de referencia como en las generadas.
- Verificación de la fidelidad del objeto: DINO v3 genera embeddings para los objetos segmentados. Un algoritmo de Asignación de Suma Lineal empareja los objetos de referencia con los recortes generados basándose en la similitud de coseno ( $S_{cos} > \tau$ ). Los desajustes o la falta de coincidencias se marcan como errores.
- Verificación de la fidelidad del fondo: Se enmascaran los objetos (con un margen extendido para excluir sombras de contacto) para aislar el fondo. El flujo de trabajo utiliza un análisis comparativo directo y localización guiada por diferencias para identificar discrepancias estructurales, instando a un Modelo de Lenguaje-Visión (VLM) a distinguir entre errores mayores y artefactos de integración natural.
- Verificación de la fidelidad física: El VLM evalúa la plausibilidad física en dos granularidades: a nivel de objeto (iluminación, sombras, escala relativa al contexto) y a nivel de escena (incoherencia global, objetos flotantes, fuentes de luz inconsistentes).
- Verificación espacial e instructiva: El prompt se destila en restricciones atómicas (relaciones posicionales o directivas de reemplazo). El VLM evalúa cada restricción individualmente contra la imagen generada para detectar mala ubicación, fallos de reemplazo u objetos no deseados.

Conjunto de datos
Los autores introducen el conjunto de datos VIGIL, que contiene 1,269 muestras anotadas manualmente en cinco dominios de productos: ropa, muebles, cosméticos, electrónica y automóviles. El conjunto de datos incluye imágenes de referencia, imágenes de fondo, prompts textuales y las imágenes recontextualizadas resultantes generadas por Gemini 2.5 Flash Image. Las anotaciones se proporcionan en formato JSON, etiquetando clases específicas de alucinación y proporcionando justificaciones explicativas. El conjunto de datos contiene 1,024 imágenes con alucinaciones (80.7%) y 245 muestras limpias. El acuerdo entre anotadores se midió en 0.8129 (Acuerdo Específico Positivo) utilizando un marco de LLM-como-Juez.

Resultados
El flujo de trabajo fue evaluado utilizando una estrategia de dejar un dominio fuera (leave-one-domain-out), comparando VIGIL contra VLMs independientes (Gemini 2.5 Flash, Qwen3.5-9B, Gemma 3 12B IT) y líneas base adaptadas (VIEScore, CIGEval).

Desempeño: VIGIL logró los mejores puntajes de macro-F1 entre los métodos no pertenecientes a Gemini en la categoría de muebles (0.5064) y resultados competitivos en ropa, cosméticos y electrónica. Superó consistentemente a las líneas base adaptadas (VIEScore y CIGEval), que obtuvieron puntuaciones significativamente más bajas en todos los dominios.
Comparación con modelos propietarios: Aunque Gemini 2.5 Flash logró los puntajes más altos en general, los autores señalan que esto puede deberse a que el modelo juez (también Gemini) favorece estilos de salida similares. Crucialmente, el flujo de trabajo descompuesto de VIGIL usando Qwen3.5-9B a menudo superó a Qwen3.5-9B cuando este último se usó como detector independiente, lo que sugiere que resolver subtareas enfocadas mejora la fiabilidad.
Análisis de errores: Los autores identificaron que las brechas de desempeño en "Automóviles" y "Electrónica" se debieron principalmente a la dificultad de detectar distorsiones de texto sutiles y localizadas (por ejemplo, matrículas) y detalles finos (logos, puertos) que a menudo se ven difuminados o submuestreados en los recortes generados, lo que indica un cuello de botella en la verificación local más que en la estrategia de descomposición general.

Significancia y Reivindicaciones
El artículo afirma que VIGIL aborda una brecha crítica en el campo al ir más allá de las evaluaciones de puntuación única y opaca para proporcionar retroalimentación estructurada, fina y explicable. Las principales contribuciones son:

Un conjunto de datos de referencia de 1,269 muestras anotadas manualmente con verdad de campo a través de cinco categorías de alucinación.
Un método de detección descompuesto que identifica y describe automáticamente las alucinaciones, devolviendo explicaciones textuales para cada error en lugar de puntuaciones aisladas.
Una taxonomía diseñada específicamente para la recontextualización de imágenes, que soporta el diagnóstico de la fiabilidad de los modelos para casos de uso prácticos.

Los autores enfatizan que su enfoque proporciona retroalimentación interpretable por humanos, lo cual es esencial para mover los modelos generativos de la investigación a la producción, particularmente en dominios donde los atributos del producto deben preservarse con alta fidelidad. Expresan explícitamente que el código y el conjunto de datos se harán públicos.

Más como este