🤖 AI

Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions

El artículo presenta CEDI, un marco de interacción dinámico y de múltiples turnos que cierra la brecha entre los puntos de referencia estáticos y las aplicaciones del mundo real al revelar alucinaciones visuales significativamente más y más realistas en los Modelos de Lenguaje Multimodales en comparación con los métodos de evaluación convencionales.

Autores originales: Yijiang Li, Huiqi Zou, Bingyang Wang, Ziang Xiao

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yijiang Li, Huiqi Zou, Bingyang Wang, Ziang Xiao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a ver el mundo. Durante mucho tiempo, los científicos han probado a estos robots mostrándoles una sola imagen y preguntándoles: "¿Qué ves?". Es como un examen sorpresa donde el robot tiene que escribir un ensayo corto sobre una foto. Si el robot acierta las cosas principales, obtiene una A. Pero en el mundo real, no nos quedamos mirando fotos y escribiendo ensayos. Hablamos con nuestros dispositivos. Preguntamos: "¿Es eso un perro?", luego, "¿De qué color es su collar?", luego, "Espera, ¿es un perro o un zorro?". Tenemos conversaciones. Cambiamos de opinión. Nos confundimos. El problema es que nuestras viejas pruebas de "examen sorpresa" no detectan los errores que los robots cometen cuando realmente están charlando con nosotros. Podrían aprobar el examen pero fallar en la conversación, inventando hechos que no existen solo para mantener viva la charla. Esto es algo importante porque si un robot está conduciendo un coche o ayudando a un médico, inventar cosas puede ser peligroso. Necesitamos una forma de probarlos de la manera en que realmente los usamos: en un chat desordenado de ida y vuelta.

Este artículo presenta una nueva forma de probar estos "Modelos de Lenguaje de Visión" (VLM, por sus siglas en inglés) llamada CEDI. Piensa en CEDI no como un examen, sino como una obra de teatro de tres personas. Primero, tienes al Robot (el modelo que se está probando). Segundo, tienes al Detective (un examinador automatizado). Tercero, tienes al Juez (un calificador). El Detective no solo le muestra una imagen al Robot y se va. En su lugar, el Detective recibe un mapa secreto de la imagen (llamado "Grafo de Escena") y un objetivo específico, como "Encuentra el lugar de estacionamiento". El Detective entonces inicia una conversación con el Robot, haciendo preguntas que se vuelven más difíciles y específicas a medida que la charla avanza. El Detective podría preguntar: "¿Hay un coche rojo?" y, si el Robot dice que sí, el Detective podría dar seguimiento con: "¿Qué modelo es?" o incluso intentar engañar al Robot preguntando: "¿Por qué el coche azul está estacionado ahí?", cuando no hay ningún coche azul. El objetivo es ver si el Robot empezará a inventar cosas (alucinar) para mantener viva la conversación.

Los autores descubrieron que este método del "Detective" es mucho mejor para atrapar mentiras que el viejo estilo de "examen sorpresa". Cuando usaron CEDI en varios robots diferentes, descubrieron que los robots inventaban significativamente más detalles falsos de lo que mostraban los métodos antiguos. Por ejemplo, en un conjunto de datos, el nuevo método encontró que las "tasas de alucinación" de los robots aumentaron entre 5 y 23 puntos porcentuales en comparación con los métodos anteriores. Los robots también eran mucho más propensos a mentir cuando la conversación se alargaba. Parece que, a medida que la charla avanza, los robots se confunden por sus propias respuestas anteriores y comienzan a reforzar sus propios errores, como un juego de "teléfono descompuesto" donde el mensaje se vuelve cada vez más erróneo.

El artículo también mostró que los robots son terribles para decir "No lo sé". Cuando el Detective hacía una pregunta basada en una premisa falsa —como "¿Qué sostiene el hombre?" cuando no hay ningún hombre en la imagen—, los robots a menudo intentaban responder de todos modos, inventando un hombre y un sombrero. Les costaba más cuando debían rechazar una idea falsa. El nuevo "Juez" en este sistema, que utiliza una puntuación especial de coincidencia de grafos, fue capaz de detectar estas mentiras de manera más consistente que las herramientas anteriores, coincidiendo con las opiniones de los jueces humanos mejor que los métodos antiguos.

En resumen, el artículo sugiere que la vieja forma de probar a los robots con preguntas únicas está pasando por alto una gran parte de sus problemas. Al cambiar a una conversación dinámica de múltiples turnos que imita la vida real, podemos ver que estos robots son mucho más propensos a inventar cosas, especialmente cuando intentan mantener una conversación o cuando son engañados por suposiciones falsas. Los autores no están diciendo que los robots estén rotos, sino que están diciendo que debemos dejar de probarlos como si estuvieran tomando un examen silencioso y empezar a probarlos como si estuvieran teniendo una conversación, porque es ahí donde se esconde el verdadero problema.

Resumen Técnico: CEDI – Evaluación Contextualizada de MLLMs mediante Interacciones Dinámicas de Múltiples Turnos

Declaración del Problema

A pesar de los avances sustanciales en los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) en benchmarks estáticos, su efectividad en aplicaciones del mundo real sigue siendo incierta. El problema central es un desalineamiento fundamental entre los paradigmas de evaluación actuales y el uso real. Los benchmarks existentes son típicamente estáticos, de un solo turno y se llevan a cabo en entornos controlados, mientras que las interacciones de los MLLM en el mundo real son inherentemente dinámicas, de múltiples turnos y contextualizadas. Esta brecha impide la detección de modos de falla —específicamente las alucinaciones visuales (generar salidas que no son fieles al contenido de la imagen)— que solo emergen durante diálogos complejos e interactivos. Además, los métodos de evaluación actuales suelen fallar al capturar la acumulación de errores a lo largo de contextos largos o la incapacidad del modelo para rechazar premisas falsas.

Metodología: El Marco de Trabajo CEDI

Los autores proponen CEDI (Evaluaciones Contextualizadas de MLLMs mediante Interacciones Dinámicas de múltiples rondas), un marco que redefine la evaluación como una interacción de tres partes:

El Evaluado: El MLLM que está siendo probado.
El Examinador: Un agente automatizado que lleva a cabo una entrevista semiestructurada de múltiples turnos.
El Calificador: Un agente automatizado que puntúa el diálogo en términos de fidelidad y cobertura.

1. Examinador Dinámico y Contextualizado

Inspirado en las entrevistas de evaluación humanas, el examinador adapta su estrategia de cuestionamiento basándose en las respuestas del modelo.

Representación de Grafo de Escena: Para asegurar que las preguntas estén fundamentadas en evidencia visual en lugar de sesgos lingüísticos, el examinador utiliza un Grafo de Escena ( $G = (V, E, A)$ ) que representa objetos, relaciones y atributos.
Modelado de Contexto: El examinador simula un escenario de usuario en primera persona con un objetivo específico (por ejemplo, "Soy una persona con discapacidad visual y necesito encontrar el baño"). Selecciona un subgrafo relevante ( $G_s$ ) del grafo de escena completo para dirigir la conversación.
Estrategia de Recorrido: La entrevista se modela como un recorrido sobre $G_s$ $G_{s}$ . En cada turno, el examinador selecciona un nodo objetivo y genera uno de cuatro tipos de preguntas:
- Regulares: Consultas fundamentadas sobre elementos observables.
- De Seguimiento: Preguntas condicionadas al diálogo previo para probar la consistencia.
- Adversarias: Preguntas sobre objetos o relaciones plausibles pero ausentes para probar la dependencia de la evidencia visual frente a la coocurrencia estadística.
- Incontestables (Unanswerable): Preguntas basadas en premisas fabricadas (objetos o relaciones falsas) para probar la capacidad del modelo para rechazar información falsa.
Escalamiento de Contexto: Para asegurar una amplia cobertura visual, el examinador genera múltiples contextos distintos por imagen, expandiendo la unión de los subgrafos consultados sin requerir un único pie de foto exhaustivo.

2. Calificador Basado en Grafos de Escena

El calificador evalúa la transcripción acumulada del diálogo en lugar de las respuestas de un solo turno.

Parseo: Un LLM parsea la transcripción en un grafo de escena predicho ( $\hat{G}$ ), filtrando entidades físicas.
Métricas: El calificador compara $\hat{G}$ $\hat{G}$ contra el grafo de escena de verdad fundamental ( $G^*$ $G^{*}$ ) utilizando:
- Distancia de Edición de Grafos (GED): Mide el costo de las operaciones de edición (inserciones, eliminaciones, sustituciones) para transformar $\hat{G}$ en $G^*$ . Las inserciones penalizan las alucinaciones; las eliminaciones penalizan el contenido faltante.
- $\Delta$ Con: Mide la similitud estructural mediante matrices de afinidad de nodos.
- Descomposición: Los autores definen $GED_{hal}$ (aislando el contenido alucinado) y $GED_{cov}$ (aislando el contenido faltante) para desentrañar la precisión y el recall.

Principales Contribuciones

Propuesta de Marco de Trabajo: Introducción de CEDI, desplazando la evaluación de los MLLM de los benchmarks estáticos a las interacciones dinámicas de tres partes guiadas por grafos de escena.
Estrategia de Cuestionamiento: Desarrollo de un protocolo de entrevista semiestructurado con cuatro tipos de preguntas distintas (incluyendo adversarias e incontestables) diseñadas para provocar comportamientos de alucinación específicos.
Métrica de Evaluación: Un calificador basado en grafos de escena que cuantifica tanto la severidad de la alucinación como la cobertura visual al nivel de la transcripción, ofreciendo una mayor alineación con las anotaciones humanas que las métricas existentes como CHAIR o MMHal.
Validación Empírica: Evaluación exhaustiva a través de diversos modelos (de código abierto y propietarios), conjuntos de datos (VG, COCO, ADE20K) y dominios.

Resultados

Aumento de la Elicitación de Alucinaciones: CEDI expone consistentemente significativamente más alucinaciones que los baselines de pie de foto, de pregunta binaria (ej. POPE) y de solo prompt. En el conjunto de datos Synthetic Visual Genome (SVG), CEDI aumentó la cobertura entre 3 y 19 puntos porcentuales y la tasa de alucinación por turno (VALOR) entre 5 y 23 puntos porcentuales en comparación con los baselines de pie de foto.
Alineación Humana: La métrica $GED_{hal}$ muestra una correlación de Pearson consistente ( $\rho = 0.22–0.33$ ) con los conteos de alucinaciones anotados por humanos en todos los modelos, superando a CHAIR y MMHal, que fluctúan o muestran correlaciones negativas para ciertos modelos.
Efectos de Contexto e Historial:
- Escalamiento de Contexto: Aumentar el número de contextos por imagen mejora monótonamente la detección de alucinaciones y la cobertura.
- Historial de Diálogo: Los modelos alucinan con más frecuencia cuando se les permite ver su propio historial de conversación, a menudo reforzando afirmaciones previas sin sustento.
- Tipos de Preguntas: Los modelos son particularmente vulnerables a las preguntas "incontestables" y "adversarias", que requieren el rechazo de premisas.
Patrones de Error: El análisis cualitativo revela que las alucinaciones están dominadas por objetos inexistentes (62%), seguidos de atributos incorrectos (20%) y relaciones incorrectas (15%).

Significancia y Reivindicaciones

El artículo afirma que CEDI representa un paso hacia evaluaciones ecológicamente válidas de los MLLM. Al simular interacciones de múltiples turnos, dirigidas por objetivos y realistas, CEDI revela modos de falla que los benchmarks estáticos pasan por alto, tales como la acumulación de alucinaciones a lo largo de contextos largos y la incapacidad de rechazar premisas falsas. Los autores argumentan que este marco proporciona una base más fiel para diagnosticar fallas de modelos y guiar el desarrollo de VLMs fiables para el despliegue en el mundo real. Si bien la instanciación actual se centra en la alucinación visual, los autores postulan que la formulación subyacente es generalizable a tareas y aplicaciones más amplias.