💬 NLP

VisRAG2.0: Mitigating Visual Hallucinations via Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation

El artículo propone EVisRAG, un marco guiado por evidencia que mitiga las alucinaciones visuales en el razonamiento de múltiples imágenes mediante la recopilación explícita de evidencia visual relevante para la pregunta y el empleo de un nuevo algoritmo RS-GRPO para una optimización conjunta mejorada de la localización y el razonamiento, logrando ganancias de rendimiento significativas en los bancos de pruebas de respuestas a preguntas visuales.

Autores originales: Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

Publicado 2026-07-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un misterio, pero en lugar de una sola pista, te entregan una pila desordenada de tres periódicos, fotos y mapas diferentes. Tienes un detective superinteligente en tu bolsillo: un programa informático llamado Modelo de Lenguaje-Visión (VLM, por sus siglas en inglés) que puede leer texto y mirar imágenes. Este detective es excelente respondiendo preguntas, pero a veces, cuando se enfrenta a una enorme pila de imágenes, se confunde. Podría empezar a inventar detalles que no vio, como afirmar que una foto muestra un gato cuando en realidad es un perro, o mezclar hechos de dos páginas distintas. Esto se llama "alucinación visual".

Para ayudar a estos detectives, los científicos han desarrollado un sistema llamado Generación Aumentada por Recuperación Visual (VRAG). Piensa en esto como darle al detective un carnet de biblioteca. Cuando haces una pregunta, el sistema extrae instantáneamente las páginas más relevantes de la biblioteca y se las entrega al detective. La idea es que, si el detective tiene la evidencia adecuada justo frente a él, no necesitará adivinar ni inventar cosas. Sin embargo, incluso con las páginas correctas, el detective suele tener dificultades para encontrar la frase o la imagen exacta que necesita entre el ruido, o puede distraerse con detalles irrelevantes y aun así inventar una respuesta. La gran pregunta es: ¿Cómo enseñamos al detective a ser un verdadero investigador que escanea cuidadosamente cada página, anota solo los hechos que realmente ve y luego resuelve el misterio sin adivinar?

Esto es exactamente lo que el artículo "VisRAG2.0" (específicamente el marco EVisRAG) pretende resolver. Los autores, un equipo de investigadores de universidades de China, proponen una nueva forma de entrenar a estos detectives de IA para que dejen de alucinar y comiencen a razonar con evidencia real. Descubrieron que los métodos anteriores eran como darle al detective una pila de papeles y decirle: "¡Simplemente descúbrelo!", lo que a menudo conducía a la confusión. En cambio, EVisRIG obliga al modelo a actuar como un detective meticuloso que sigue un proceso estricto de tres pasos: Observar, Registrar y Razonar.

Primero, el modelo observa las imágenes recuperadas y declara explícitamente lo que ve, página por página. Segundo, crea un "registro de evidencia", escribiendo hechos específicos de cada imagen y, crucialmente, señalando cuándo una imagen no tiene información útil. Finalmente, utiliza únicamente ese registro escrito para resolver el problema. Para asegurar que el modelo realmente aprenda este comportamiento, los investigadores inventaron un nuevo método de entrenamiento llamado RS-GRPO (Optimización de Política Relativa de Grupo con Alcance de Recompensa). Puedes pensar en esto como un entrenador muy estricto que no solo da una nota por la respuesta final. En su lugar, el entrenador da una puntuación separada para "¿Miraste la imagen correcta?" y otra puntuación para "¿Escribiste el hecho correctamente?". Esto evita que el modelo obtenga una buena nota solo por adivinar la respuesta correcta por suerte, asegurando que realmente aprenda a buscar la evidencia primero.

Los resultados de este nuevo enfoque son bastante impresionantes. Al ser probado en varios bancos de pruebas de respuesta de preguntas visuales (como leer gráficos, documentos y diapositivas), el modelo EVisRAG superó consistentemente a los modelos "base" estándar en un promedio de aproximadamente un 19% en precisión. Más importante aún, redujo significativamente la cantidad de veces que el modelo inventaba hechos. En una prueba específica, un modelo estándar podría mirar un gráfico y afirmar con confianza que el país equivocado tiene una población mayor porque alucinó un número. EVisRAG, sin embargo, miraría el gráfico, escribiría los números correctos en su registro de evidencia y luego deduciría correctamente la respuesta.

El artículo también argumenta en contra de la idea de que simplemente hacer que el modelo "piense durante más tiempo" o añadir agentes más complejos al sistema sea la mejor solución. En su lugar, demuestran que un enfoque estructurado y guiado por la evidencia, combinado con su método de entrenamiento específico (RS-GRPO), es más efectivo. Demostraron que, al delimitar el alcance de las recompensas —otorgando crédito solo por las acciones correctas en el momento adecuado—, el modelo se vuelve mucho más estable y confiable. Si bien el artículo no afirma que esto resuelva todos los problemas posibles de la IA, los experimentos sugieren que este método es un gran paso adelante para hacer que los sistemas de IA visual sean más confiables, precisos y menos propensos a inventar cosas cuando observan múltiples imágenes.

Resumen Técnico: VisRAG2.0 (EVisRAG)

Planteamiento del Problema

La Generación Aumentada por Recuperación Visual (VRAG) tiene como objetivo dotar a los Modelos de Lenguaje-Visión (VLMs) de evidencia visual externa para responder preguntas que exceden el conocimiento paramétrico. Sin embargo, los enfoques de VRAG actuales enfrentan desafíos signific efectivos en entornos de múltiples imágenes:

Alucinaciones Visuales: Los VLMs a menudo fallan al identificar con precisión la evidencia relevante para la pregunta a través de múltiples imágenes recuperadas, lo que conduce a respuestas incorrectas o a la fabricación de contenido visual inexistente.
Falta de Recolección Explícita de Evidencia: Los métodos actuales suelen trasplantar las prácticas de RAG basadas en texto al dominio visual sin un proceso explícito de recolección de evidencia entre imágenes. Dependen de agentes o herramientas externas, lo que aumenta la complejidad arquitectónica y el costo computacional.
Inestabilidad en el Entrenamiento: La optimización conjunta de la percepción visual y el razonamiento utilizando recompensas mixtas suele provocar un entrenamiento inestable. La falta de una asignación de crédito clara causa interferencia entre señales, donde los gradientes de objetivos heterogéneos compiten a través de tokens irrelevantes.

Metodología: EVisRAG

Los autores proponen EVisRAG (Generación Aumentada por Recuperación de Visión guiada por Evidencia), un marco diseñado para permitir que los VLMs realicen una percepción y un razonamiento visual precisos a través de múltiples imágenes.

1. Proceso de Razonamiento Guiado por Evidencia

EVisRAG estructura el proceso de generación en cuatro etapas distintas, yendo más allá del Chain-of-Thought (CoT) estándar al separar explícitamente la observación, el registro de evidencia y el razonamiento:

Recuperación (Retrieval): Recupera las instantáneas de las páginas de documentos top- $k$ relevantes para la consulta.
Percepción Visual (Observación): El modelo observa secuencialmente las imágenes recuperadas, generando una observación gruesa y consciente de la página ( $y_o$ ) para establecer una comprensión del contenido visual.
Registro de Evidencia: Condicionado en la consulta y las observaciones, el modelo genera secuencias de evidencia por imagen ( $y_e$ ). Crucialmente, registra explícitamente "sin información relevante" para las imágenes que carecen de evidencia, evitando que el modelo fuerce detalles irrelevantes en el razonamiento.
Razonamiento de Respuesta: El modelo realiza un razonamiento "estilo detective" ( $y_r$ ) sobre la evidencia agregada ( $y_p = \{y_o, y_e\}$ ), formulando hipótesis, verificando contradicciones y organizando una trayectoria coherente antes de generar la respuesta final ( $y_a$ ).

2. Optimización de Política Relativa de Grupo con Ámbito de Recompensa (RS-GRPO)

Para entrenar EVisRAG de manera efectiva, los autores introducen RS-GRPO, una extensión de la Optimización de Política Relativa de Grupo (GRPO) que aborda el problema de la asignación de crédito en el razonamiento de múltiples etapas.

Ámbitos de Recompensa (Reward Scopes): La secuencia de salida se segmenta en cuatro ámbitos: Observación ( $T_o$ ), Registro de Evidencia ( $T_e$ ), Razonamiento ( $T_r$ ) y Respuesta ( $T_a$ ).
Recompensas de Grano Fino: Se aplican tres recompensas específicas:
- Recompensa de Formato ( $R_{format}$ ): Fuerza la adherencia al flujo de trabajo estructurado (observar $\to$ registrar $\to$ razonar $\to$ responder).
- Recompensa de Percepción ( $R_{perception}$ ): Evalúa si las regiones relevantes para la pregunta están correctamente localizadas y resumidas en la fase de registro de evidencia.
- Recompensa de Derivación ( $R_{derivation}$ ): Evalúa si la respuesta final se deriva correctamente de la evidencia registrada.
Optimización por Ámbitos: A diferencia de los métodos tradicionales que transmiten las recompensas a toda la secuencia, RS-GRPO restringe cada recompensa a su ámbito de tokens efectivo (por ejemplo, $R_{perception}$ solo supervisa $T_o$ y $T_e$ ). Esto reduce la interferencia entre etapas, agudiza las señales de optimización y estabiliza el entrenamiento.

Contribuciones Clave

Marco EVisRAG: Una arquitectura novedosa que separa explícitamente la recolección de evidencia visual del razonamiento, permitiendo que los VLMs actúen como "detectives" al reunir y verificar la evidencia imagen por imagen antes de concluir.
Algoritmo RS-GRPO: Una estrategia de entrenamiento que introduce recompensas específicas por ámbito para alinear las señales de recompensa con los intervalos de tokens específicos. Esto mitiga la interferencia entre los objetivos de percepción y razonamiento, llevando a una optimización conjunta más estable y efectiva.
Evaluación Exhaustiva: Experimentos extensos en cinco diversos benchmarks de VQA (ChartQA, InfoVQA, DocVQA, SlideVQA, ViDoSeek) que demuestran la eficacia del enfoque.

Resultados Experimentales

Ganancias de Rendimiento: EVisRAG (utilizando un backbone de 7B parámetros) supera consistentemente al baseline Qwen2.5-VL-7B con un promedio de 19% en precisión y 27% en puntuación F1. También supera a modelos de 32B más grandes y a otros métodos y VLRMs de última generación.
Reducción de Alucinaciones: El marco reduce sustancialmente las alucinaciones visuales. En escenarios con recuperación incorrecta, EVisRAG muestra un aumento controlado en la abstención (negarse a responder) en lugar de generar respuestas incorrectas, lo que indica una mayor fidelidad al contenido recuperado.
Estudios de Ablación:
- Reemplazar el CoT genérico con Razonamiento Guiado por Evidencia produce ganancias consistentes, demostrando el valor de la localización de evidencia estructurada.
- RS-GRPO supera a DAPO y StepGRPO, confirmando que la asignación de crédito por ámbito es crítica para el rendimiento.
Análisis de Atención: EVisRAG logra la mayor relación de atención de evidencia visual (concentración en cajas de evidencia anotadas por humanos) entre los métodos comparados, lo cual correlaciona fuertemente con una mayor precisión en el razonamiento.
Eficiencia: A pesar de la generación de múltiples etapas, EVisRAG mantiene una latencia de inferencia competitiva (aprox. 100s) y una longitud de salida que supera a baselines como R1-Router, los cuales incurren en mayores costos computacionales para una precisión similar o menor.

Significado

El artículo afirma que la recolección de evidencia explícita y el diseño de recompensa por ámbito son mecanismos efectivos para mejorar la fundamentación visual y la fiabilidad del razonamiento en entornos de múltiples imágenes. Al desacoplar la percepción del razonamiento y aplicar una supervisión dirigida, EVisRAG aborda las causas raíz de las alucinaciones visuales en VRAG. El trabajo demuestra que un modelo de 7B equipado con este marco puede exceder el rendimiento de modelos significativamente más grandes, ofreciendo un camino práctico y escalable hacia sistemas de generación aumentada por recuperación visual más fiables, interpretables y resistentes a las alucinaciones.