💬 NLP

FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA

El artículo presenta FilterRAG, un marco de generación aumentada por recuperación de cero disparos (zero-shot) que integra BLIP-VQA con fuentes de conocimiento externo como Wikipedia y DBpedia para reducir significativamente las alucinaciones y mejorar la precisión en la respuesta a preguntas visuales (Visual Question Answering), particularmente para escenarios impulsados por el conocimiento y fuera de la distribución (Out-of-Distribution).

Autores originales: Nobin Sarwar

Publicado 2026-01-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nobin Sarwar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una fiesta y alguien te muestra la foto de un perro caliente con ingredientes extraños y te pregunta: "¿Qué son esos?". Si nunca has visto ese ingrediente específico antes, tu cerebro podría intentar adivinar basándose en lo que crees que parece. Podrías decir: "Probablemente es mostaza", aunque en realidad sea pepinillo. En el mundo de la Inteligencia Artificial, este juego de adivinanzas se llama alucinación. La IA está segura de sí misma, pero se equivoca.

Este artículo presenta un nuevo sistema llamado FilterRAG para evitar que la IA cometa estos errores de confianza, especialmente cuando se encuentra con cosas que no ha visto en sus datos de entrenamiento.

Así es como funciona, desglosado en conceptos simples:

1. El Problema: El "Sabelotodo" que adivina

Los modelos de IA actuales (como los que pueden mirar una imagen y responder preguntas) son excelentes describiendo lo que ven. Pero si les haces una pregunta que requiere conocimiento externo —como "¿Para qué deporte se usa esta motocicleta?" o "¿Qué es este condimento específico?"— suelen tener dificultades.

Sin una forma de verificar los hechos, estos modelos dependen de sus "memorias" de su entrenamiento. Si los datos de entrenamiento están sesgados o incompletos, la IA adivina. Es como un estudiante que toma un examen sin haber estudiado el capítulo específico; intenta dar una respuesta que suene bien, pero que en realidad es falsa.

2. La Solución: El enfoque del "Bibliotecario"

Los autores crearon FilterRAG. Piensa en este sistema como un estudiante al que se le permite usar una biblioteca durante el examen.

El Estudiante (BLIP-VQA): Esta es la parte de la IA que mira la imagen y lee la pregunta. Es inteligente viendo imágenes, pero necesita ayuda con los hechos.
La Biblioteca (Wikipedia y DBpedia): En lugar de adivinar, el sistema hace una pausa y corre a una biblioteca digital. Busca hechos del mundo real sobre la imagen y la pregunta.
El Bibliotecario (GPT-Neo): Esta es la parte que lee los hechos que la biblioteca encontró y escribe la respuesta final.

Al obligar a la IA a "consultar la biblioteca" antes de responder, evita adivinar y comienza a usar hechos.

3. Cómo funciona paso a paso

El artículo describe un proceso específico que podemos visualizar como la preparación de una comida:

Cortar los ingredientes (La cuadrícula): El sistema toma la imagen y la corta en una cuadrícula de 2x2 (cuatro cuadrados).
- ¿Por qué? Si cortas una foto en demasiados trozos diminutos (como una cuadrícula de 4x4), pierdes la visión general y la IA se confunde. Si la mantienes como un solo bloque grande, pierdes los detalles pequeños. La cuadrícula de 2x2 es el tamaño "Goldilocks" (el punto justo): mantiene la imagen coherente pero lo suficientemente detallada.
Mirar la foto: El sistema analiza estos cuatro cuadrados junto con la pregunta.
La búsqueda: Envía una consulta a la "biblioteca" (Wikipedia y DBedia) para encontrar hechos relevantes. Para la pregunta de la motocicleta, podría encontrar hechos sobre el "motocross". Para el perro caliente, podría encontrar hechos sobre el "pepinillo".
El ensamblaje: El sistema combina la imagen, la pregunta y los nuevos hechos que acaba de encontrar.
La respuesta: Un modelo de lenguaje congelado (GPT-Neo) lee toda esta información combinada y escribe la respuesta. Debido a que tiene los hechos, no necesita adivinar.

4. Los Resultados: Mejor en lo "Desconocido"

Los investigadores probaron esto en un conjunto de datos llamado OK-VQA, que está lleno de preguntas complicadas que requieren conocimiento externo.

La Línea Base: Los modelos de IA estándar (sin la biblioteca) acertaron aproximadamente el 40% de las respuestas en estas preguntas complicadas. Estaban alucinando mucho.
FilterRAG: El nuevo sistema obtuvo un 36.5% de precisión.
- Espera, ¿es más bajo? El artículo señala que, aunque la cifra bruta es ligeramente inferior a la de algunos sistemas masivos y supercomplejos que usan computadoras enormes, FilterRAG es mucho más eficiente. Equilibra el rendimiento con la velocidad y el costo.
- La verdadera victoria: El sistema fue mucho mejor en escenarios Fuera de la Distribución (OOD). Esto significa que cuando la IA veía algo totalmente nuevo o extraño (como una motocicleta en un contexto que no había visto antes), era menos probable que alucinara. Se mantenía fundamentada en los hechos en lugar de inventar cosas.

5. El "Puntaje de Fundamentación" (Grounding Score)

Para demostrar que la IA no estaba simplemente adivinando, los autores utilizaron un "Puntaje de Fundamentación". Imagina esto como un medidor de verdad.

Si la IA dice "Mostaza" pero la biblioteca dice "Pepinillo", el puntaje baja.
Si la IA dice "Pepinillo" porque la biblioteca dijo "Pepinillo", el puntaje se mantiene alto.
FilterRAG mantuvo su medidor de verdad alto incluso cuando las preguntas eran difíciles, demostrando que realmente estaba utilizando los hechos que encontró, no solo inventando historias.

Resumen

FilterRAG es como darle a una IA una hoja de trucos (un motor de búsqueda) durante un examen. En lugar de confiar en su propia memoria defectuosa para adivinar la respuesta a una pregunta difícil sobre un perro caliente o una motocicleta, busca la respuesta en una base de datos confiable. Esto evita que diga cosas erróneas con total seguridad, haciéndolo más seguro y confiable para el uso en el mundo real donde podría encontrarse con cosas que nunca ha visto antes.

Resumen Técnico: FilterRAG

Declaración del Problema
Los sistemas de Respuesta Visual a Preguntas (VQA, por sus siglas en inglés) requieren que los modelos integren la percepción visual con la comprensión textual para generar respuestas precisas. Sin embargo, los modelos de Lenguaje-Visión (VLM) existentes, como BLIP y CLIP, sufren frecuentemente de "alucinaciones" —produciendo respuestas plausibles pero incorrectas— particularmente cuando se enfrentan a preguntas con alta demanda de conocimiento o entradas Fuera de Distribución (OOD). Estos errores suelen derivar de una dependencia excesiva de los sesgos aprendidos o de la falta de acceso a conocimiento externo relevante, lo que limita la robustez de los sistemas VQA en entornos reales y dinámicos donde los conceptos pueden no haber sido vistos durante el entrenamiento.

Metodología: FilterRAG
Para abordar estas limitaciones, los autores presentan FilterRAG, un marco de recuperación aumentada diseñado para fundamentar las respuestas de VQA en fuentes de conocimiento externas (específicamente Wikipedia y DBpedia) para mitigar las alucinaciones. El sistema opera a través de un proceso de múltiples pasos ilustrado en la Figura 2:

Preprocesamiento Visual: Las imágenes de entrada se dividen en una cuadrícula (específicamente una cuadrícula de 2x2, determinada como óptima mediante ablación) para equilibrar el detalle visual y la coherencia.
Codificación Multimodal: El modelo BLIP-VQA (que utiliza su arquitectura de Mezcla de Codificador-Decodificador Multimodal) genera incrustaciones (embeddings) visuales y textuales a partir de la imagen y la pregunta asociada.
Recuperación de Conocimiento: El sistema recupera dinámicamente contexto relevante de bases de datos externas:
- Wikipedia: Accedida mediante recuperación basada en búsqueda y extracción basada en resumen.
- DBpedia: Accedida mediante consultas SPARQL.
Aumentación y Generación: El conocimiento recuperado se combina con el par imagen-pregunta para enriquecer el contexto. Un modelo GPT-Neo 1.3B congelado (solo decodificador) utiliza entonces esta información aumentada para generar la respuesta final.
Aprendizaje Zero-Shot: El marco opera en un entorno zero-shot, lo que significa que no requiere ajuste fino (fine-tuning) específico para la tarea en el conjunto de datos objetivo. Aprovecha las capacidades preentrenadas de BLIP-VQA y GPT-Neo para generalizar a dominios no vistos.

La metodología también incorpora un mecanismo de detección de OOD utilizando una función de puntuación $S(I, Q)$ y un umbral $\lambda$ para distinguir entre entradas dentro de la distribución y fuera de la distribución. Las alucinaciones se cuantifican además mediante una "puntuación de fundamentación" (grounding score), calculada a través de la similitud de coseno entre la incrustación de la respuesta predicha y las incrustaciones de la verdad fundamental (usando Sentence Transformers), donde una puntuación por debajo de un umbral $\tau$ indica una alucinación.

Contribuciones Clave
El artículo describe tres contribuciones primarias:

Marco FilterRAG: Un novedoso enfoque de recuperación aumentada que fundamenta las respuestas de VQA en fuentes de conocimiento externo para reducir las alucinaciones.
Aplicación de Aprendizaje Zero-Shot: Demostración de cómo el aprendizaje zero-shot puede mejorar la recuperación y reducir las alucinaciones específicamente en escenarios OOD sin requerir ajuste fino.
Evaluación Exhaustiva: Una evaluación rigurosa en el conjunto de datos OK-VQA, que evalúa la robustez y la fiabilidad en tareas con alta demanda de conocimiento tanto en entornos dentro de la distribución como fuera de la distribución.

Resultados Experimentales
Los autores evaluaron FilterRAG en el conjunto de datos OK-VQA, un referente que requiere conocimiento externo más allá del contenido de la imagen. Los hallazgos clave incluyen:

Precisión: FilterRAG logró una precisión del 36.5% en el conjunto de datos OK-VQA. En configuraciones específicas, alcanzó un 37.0% para datos Dentro de la Distribución (ID) y un 36.0% para datos Fuera de la Distribución (OOD).
Comparación: Aunque el marco logró una precisión absoluta menor en comparación con algunos métodos de ensamble de vanguardia (por ejemplo, KAT con 54.41% o REVIVE con 58.0%), los autores señalan que esos métodos a menudo dependen de modelos significativamente más grandes (por ejemplo, GPT-3 175B congelado) y de mayores recursos computacionales. FilterRAG busca equilibrar el rendimiento con la eficiencia utilizando modelos más pequeños y congelados (BLIP-VQA y GPT-Neo 1.3B).
Mitigación de Alucinaciones: Las puntuaciones de fundamentación para FilterRAG fueron consistentes a través de ID (70.06%), OOD (70.68%) y configuraciones combinadas (70.37%). Esta consistencia sugiere que el modelo fundamenta eficazmente las respuestas en el conocimiento recuperado, reduciendo la probabilidad de alucinaciones en comparación con los modelos base que muestran una caída significativa en las puntuaciones de fundamentación al pasar de VQA general a VQA basado en conocimiento.
Estudio de Ablación: Los experimentos con diferentes tamaños de cuadrícula de imagen (2x2, 3x3, 4x4) revelaron que la cuadrícula 2x2 proporcionó el mejor equilibrio entre precisión y puntuación de fundamentación. Las cuadrículas más grandes (3x3, 4x4) provocaron una fragmentación excesiva, dificultando la capacidad del modelo para extraer características visuales coherentes y alinearlas con el conocimiento recuperado.

Significancia y Reivindicaciones
El artículo afirma que FilterRAG demuestra el potencial de los marcos de recuperación aumentada para mejorar los sistemas VQA para el despliegue en el mundo real, particularmente en escenarios que involucran entradas OOD. Al integrar fuentes de conocimiento externo, el marco mejora la robustez y la fiabilidad de los sistemas VQA, asegurando que las respuestas estén fundamentadas en hechos en lugar de depender únicamente de los sesgos aprendidos. Los autores posicionan a FilterRager como una solución que mejora la generalización más allá de la base de conocimiento de entrenamiento, haciéndolo adecuado para entornos dinámicos donde los conceptos no vistos son comunes. Se identifica como trabajo futuro la mejora de la calidad de la recuperación de conocimiento y el refinamiento de la alineación multimodal para reducir las alucinaciones aún más.