VerifAI: A Verifiable Open-Source Search Engine for Biomedical Question Answering

Each language version is independently generated for its own context, not a direct translation.

¡Claro que sí! Imagina que VerifAI es como un bibliotecario experto, un redactor y un inspector de calidad trabajando juntos en equipo para responder tus preguntas sobre salud, pero con una diferencia crucial: nadie de este equipo se deja llevar por la imaginación.

Aquí te explico cómo funciona este sistema, usando analogías sencillas:

1. El Problema: Los "Alucinadores"

Actualmente, la inteligencia artificial (como los chatbots que usamos a veces) es como un estudiante muy inteligente pero con mucha imaginación. Si le preguntas algo difícil, puede inventar una respuesta que suena muy convincente y bien escrita, pero que es totalmente falsa. En medicina, inventar datos es peligroso (como decir que un medicamento cura algo que no cura). A esto se le llama "alucinación".

2. La Solución: VerifAI (El Equipo de Tres Personas)

VerifAI no es un solo robot, es un equipo de tres especialistas que trabajan en cadena para asegurarse de que la verdad sea la protagonista.

🕵️‍♂️ Especialista 1: El Investigador (Recuperación de Información)

Su trabajo: Cuando tú haces una pregunta (ej: "¿Qué cura mejor el dolor de cabeza?"), este especialista no usa su memoria. ¡Va directamente a la biblioteca!
La analogía: Imagina que tienes un super-olfato que huele entre 36 millones de libros científicos (artículos de PubMed) para encontrar exactamente los 10 más relevantes.
Su superpoder: Usa dos tipos de búsqueda a la vez: una que busca palabras exactas (como un buscador de Google clásico) y otra que busca el significado de las palabras (como si entendiera el contexto). Esto asegura que no se pierda ninguna pista importante.

✍️ Especialista 2: El Redactor (Generación)

Su trabajo: Toma los 10 libros que encontró el Investigador y escribe una respuesta clara y concisa para ti.
La analogía: Es como un periodista que solo escribe si tiene las fuentes en la mano. No inventa nada. Si dice "El medicamento X funciona", inmediatamente pone un pequeño número al lado que dice: "Esto lo dice el artículo número 27290959".
La diferencia: A diferencia de otros robots que a veces olvidan poner las fuentes o inventan números de artículos falsos, este redactor ha sido entrenado específicamente para ser un "escriba de citas" perfecto.

🔍 Especialista 3: El Inspector de Calidad (Verificación)

Su trabajo: Este es el más importante. Lee lo que escribió el Redactor y, frase por frase, vuelve a leer el artículo original que se citó.
La analogía: Imagina a un juez de un concurso de cocina. El Redactor dice: "Este plato es salado". El Inspector toma el plato, lo prueba y mira la receta original.
- Si la receta confirma que es salado: Pinta la frase en VERDE (¡Correcto!).
- Si la receta dice que es dulce: Pinta la frase en ROJO (¡Falso! ¡Mentira!).
- Si la receta no menciona el sabor: Pinta la frase en AMARILLO (No hay evidencia).
Su superpoder: Este inspector es tan bueno en medicina que, según el estudio, es mejor detectando mentiras que modelos gigantes como GPT-4, pero es más rápido y transparente.

3. ¿Por qué es tan especial?

La mayoría de los sistemas de IA te dan una respuesta y ya. VerifAI te da la respuesta, pero también te muestra la "cinta de evidencia".

Transparencia total: Si lees la respuesta en la pantalla, verás que las frases verdaderas están en verde y las falsas en rojo. Puedes pasar el mouse por encima y ver exactamente qué parte del artículo científico respalda esa frase.
Confianza: En un mundo lleno de "fake news" y desinformación médica, VerifAI actúa como un filtro de realidad. No te dice "creo que esto es verdad", te dice "esto es verdad porque aquí está el documento que lo prueba".

En resumen

VerifAI es como tener un detective, un escritor y un juez trabajando en tu bolsillo.

El detective busca la verdad en millones de documentos.
El escritor te cuenta la historia basándose solo en lo que encontró.
El juez revisa cada palabra para asegurarse de que no haya mentiras.

El resultado es un sistema de preguntas y respuestas médicas que es rápido, abierto (cualquiera puede ver cómo funciona) y, lo más importante, confiable. Ya no tienes que adivinar si la IA te está mintiendo; el sistema te lo muestra con colores.

Each language version is independently generated for its own context, not a direct translation.

Resumen Técnico: VerifAI

1. El Problema

La adopción de modelos de lenguaje grandes (LLMs) en dominios críticos como las ciencias de la vida y la biomedicina se ve obstaculizada por el fenómeno de las alucinaciones: la generación de texto que parece plausible pero es factualmente incorrecto o no está respaldado por evidencia.

Riesgo: En contextos médicos, la veracidad es vital; los errores pueden tener consecuencias graves.
Limitación de RAG estándar: Aunque la Generación Aumentada por Recuperación (RAG) mejora la factualidad al usar documentos externos, no garantiza que las respuestas generadas estén alineadas con la evidencia recuperada ni que las citas sean precisas. Estudios previos muestran que muchos sistemas RAG biomédicos citan incorrectamente o generan afirmaciones no soportadas por los documentos recuperados.
Brecha de confianza: Existe una necesidad urgente de sistemas que no solo generen respuestas, sino que verifiquen explícitamente la consistencia factual de cada afirmación contra la fuente original.

2. Metodología

VerifAI es un sistema experto de código abierto que integra tres componentes modulares en una tubería (pipeline) cohesiva:

A. Componente de Recuperación de Información (IR)

Base de datos: Utiliza PubMed (aprox. 25.5 millones de resúmenes filtrados).
Estrategia Híbrida: Combina recuperación léxica (BM25 mediante OpenSearch) y semántica (vectores densos mediante Qdrant y HNSW).
Procesamiento: Los resúmenes se segmentan en oraciones para respetar los límites de tokens de los modelos. Se aplica una normalización de puntuaciones y una combinación ponderada ( $\alpha \cdot \text{léxico} + \beta \cdot \text{semántico}$ ) para optimizar la precisión y el recall.
Optimización: Se utiliza cuantización de 8 bits para la búsqueda de vectores y rescoreado con embeddings de precisión completa cuando es necesario.

B. Componente Generativo (GC)

Modelo Base: Mistral-7B-Instruct-v0.2 (32k ventana de contexto).
Entrenamiento: Se fine-tuneó el modelo utilizando un conjunto de datos personalizado llamado PQAref (9,075 preguntas de PubMedQA con 10 resúmenes relevantes y respuestas generadas por GPT-4).
Técnica: Se empleó QLoRA con cuantización de 4 bits para permitir el entrenamiento en una sola GPU NVIDIA A100.
Objetivo: Generar respuestas concisas donde cada afirmación factual esté acompañada de una cita explícita (ID de PubMed) y reducir drásticamente la generación de IDs de PubMed alucinados.

C. Componente de Verificación (VC)

Mecanismo: Un motor de Inferencia Natural de Lenguaje (NLI) que evalúa si una afirmación generada (hipótesis) es soportada, contradictoria o no tiene evidencia respecto al resumen citado (premisa).
Modelo: Se fine-tuneó un modelo DeBERTa-large (entrenado en SciFact transformado y HealthVer).
Innovación: A diferencia de los verificadores genéricos, este componente está especializado en el dominio biomédico y opera post-generación para detectar alucinaciones a nivel de afirmación.
Interfaz: Visualiza el estado de verificación mediante colores (verde para soportado, amarillo/naranja para parcialmente soportado, rojo para contradicción, gris para sin referencia).

3. Contribuciones Clave

Estrategia de Fine-tuning para SLMs: Demuestra que Modelos de Lenguaje Pequeños (SLMs) como Mistral-7B, cuando se fine-tunean adecuadamente, pueden lograr una fidelidad de citas comparable o superior a LLMs masivos, desafiando la necesidad de modelos gigantes para QA verificable.
Verificación Especializada: Evidencia empírica de que los discriminadores NLI especializados (DeBERTa) superan significativamente a modelos generativos de propósito general (incluyendo GPT-4 y GPT-4o) en benchmarks biomédicos como HealthVer.
Pipeline Open-Source Integral: Lanzamiento del primer sistema de QA verificable de extremo a extremo que integra recuperación híbrida, generación consciente de citas y verificación de implicación (entailment) en un marco modular.

4. Resultados

Las evaluaciones se realizaron en componentes individuales y en un escenario de extremo a extremo (178 preguntas de BioASQ):

Recuperación (IR): El sistema híbrido alcanzó un MAP@10 de 42.7% y un P@10 de 30.8% en BioASQ, superando significativamente a la búsqueda estándar de PubMed (MAP@10 de 19.1%).
Generación (GC):
- El modelo fine-tuneado (M2) redujo las citas alucinadas de un 0.60% (en modo zero-shot) a un 0.08%.
- Mejoró la capacidad de referenciar el resumen más relevante (de 22.5% de fallos en zero-shot a solo 1.2%).
- Logró un BERTScore de 0.90, igualando a GPT-4 Turbo en similitud semántica con las fuentes.
Verificación (VC):
- El modelo DeBERTa alcanzó un F1 de 0.88 en el conjunto de datos SciFact transformado.
- En el benchmark HealthVer, superó al estado del arte anterior (F1 de 0.44 vs 0.36) y a los modelos GPT-4 en configuración zero-shot, demostrando mayor precisión en la detección de contradicciones y soporte.
Evaluación End-to-End: El sistema integrado proporcionó respuestas con conclusiones correctas en el 81.46% de los casos (usando resúmenes gold) y mantuvo una alta fiabilidad en la verificación de afirmaciones (81-84% de precisión).

5. Significado e Impacto

Confiabilidad en Alto Riesgo: VerifAI aborda la "brecha de confianza" en la IA generativa médica al proporcionar una trazabilidad completa de la información, permitiendo a los usuarios verificar cada afirmación contra la fuente original.
Eficiencia y Accesibilidad: Al demostrar que modelos más pequeños y eficientes (SLMs) pueden superar a modelos masivos en tareas de verificación y citación cuando están bien adaptados, el sistema hace viable la implementación de IA verificable en entornos con recursos limitados.
Transparencia y Explicabilidad: La arquitectura modular y la interfaz visual de colores permiten a los expertos del dominio auditar el razonamiento del sistema, alineándose con los principios de la IA explicable (XAI).
Generalización: Aunque optimizado para biomedicina, la arquitectura modular permite adaptar VerifAI a otros dominios de alto riesgo como leyes, finanzas y políticas, simplemente cambiando los componentes de recuperación y verificación.

En conclusión, VerifAI establece un nuevo estándar para la IA generativa en ciencias, priorizando la integridad factual y la transparencia sobre la mera fluidez del texto, y ofrece una solución de código abierto lista para su despliegue en entornos críticos.