💻 computer science

Same Question, Different Source, Different Answer: Auditing Source-Dependence in Medical Multi-Source RAG

Este artículo presenta un nuevo marco de evaluación para sistemas de Generación Aumentada por Recuperación (RAG) multi-fuente que desplaza el enfoque de la corrección de la respuesta hacia la auditoría de la dependencia de las fuentes, demostrando mediante una prueba de referencia sobre educación de pacientes trasplantados que los desacuerdos institucionales son mucho más prevalentes de lo estimado previamente y proponiendo herramientas como HERO-QA y un evaluador estructurado para medir y gestionar sistemáticamente estas relaciones inter-fuente.

Autores originales: Yubo Li, Rema Padman, Ramayya Krishnan

Publicado 2026-05-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yubo Li, Rema Padman, Ramayya Krishnan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un paciente que acaba de recibir un trasplante de corazón. Tienes una pregunta: "¿Cuándo puedo viajar al extranjero nuevamente?". Escribes esto en un chatbot médico inteligente.

En la forma antigua de construir estos chatbots, el sistema encontraría una respuesta "perfecta" y te la daría con total confianza. Pero este artículo argumenta que, en el mundo real, no existe una única respuesta perfecta. En cambio, la respuesta que obtienes depende enteramente de qué libro de reglas del hospital haya elegido el chatbot.

Si el bot elige el libro de reglas del Hospital A, podría decir: "Espera 3 meses". Si elige el libro del Hospital B, podría decir: "Espera 12 meses". Ambas respuestas están escritas con confianza, ambas están citadas correctamente, pero se contradicen entre sí. La forma antigua de probar estos bots no podía ver este problema porque solo buscaban una respuesta "estándar de oro".

Este artículo introduce una nueva forma de auditar estos sistemas, utilizando un sistema de educación para pacientes trasplantados como caso de prueba. Así es como lo hicieron, explicado de forma sencilla:

1. La Colección "Libro de Recetas" (TransplantQA)

Los investigadores reunieron 102 manuales de pacientes diferentes de 23 centros de trasplantes importantes en todo Estados Unidos. Piensa en estos como 102 libros de recetas diferentes para el mismo plato (cuidado post-trasplante). Algunos chefs (hospitales) dicen "añade sal", otros dicen "sin sal", y algunos ni siquiera mencionan la sal.

También recopilaron 1.115 preguntas reales que pacientes reales habían hecho en foros. No las inventaron; son preocupaciones genuinas de personas reales.

2. El "Bibliotecario Inteligente" (HERO-QA)

Para probar el sistema, construyeron un motor de recuperación especial llamado HERO-QA. Imagina a un bibliotecario que intenta encontrar la página correcta en una biblioteca masiva.

Si el libro es corto, el bibliotecario lee todo el libro para asegurarse de no omitir nada.
Si el libro es enorme, el bibliotecario usa un mapa inteligente para encontrar el capítulo específico, luego el párrafo específico, e incluso revisa los párrafos vecinos para obtener el contexto completo.

Este bibliotecario luego le pide a una IA poderosa (el "Generador") que escriba una respuesta basada solo en las páginas que encontró. Hicieron esto para cada una de las preguntas contra cada uno de los manuales. Esto dio como resultado más de 48.000 respuestas diferentes a las mismas preguntas.

3. El "Juez Exigente" (Salida Estructurada)

Ahora viene la parte más importante. Necesitaban una forma de comparar estas 48.000 respuestas para ver cómo diferían. No solo preguntaron: "¿Son iguales o diferentes?". Usaron un "Juez" de IA especializado que actúa como un editor estricto.

En lugar de solo dar una puntuación, este Juez escribe un informe breve para cada par de respuestas que compara. Las clasifica en cinco categorías:

Ausente: Uno de los libros ni siquiera hablaba del tema.
Consistente: Ambos libros dicen exactamente lo mismo.
Complementario: Están de acuerdo en el punto principal pero añaden detalles diferentes (como uno dice "come sano" y el otro añade "y haz ejercicio").
Divergente: Dan consejos diferentes (por ejemplo, "espera 6 semanas" vs. "espera 12 semanas").
Contradictorio: Dicen cosas opuestas (por ejemplo, "puedes hacer esto" vs. "nunca hagas esto").

Crucialmente, el Juez también explica por qué difieren y qué tan grave es la diferencia.

4. El Gran Descubrimiento

Cuando hicieron los cálculos, encontraron algo sorprendente.

El Problema de lo "Faltante": En aproximadamente el 79% de los casos, uno de los manuales no tenía una respuesta en absoluto. La forma antigua de probar esto lo pasó por alto porque asumía que cada libro tenía una respuesta.
El Desacuerdo "Oculto": Cuando corrigieron el sistema de recuperación (haciendo al bibliotecario más inteligente), encontraron más desacuerdo, no menos.
- La Analogía: Imagina que buscas una palabra específica en un diccionario. Si solo miras la primera página, podrías pensar que todos están de acuerdo en la definición. Pero si lees todo el diccionario, te das cuenta de que diferentes ediciones la definen de manera distinta.
- El artículo encontró que las estimaciones anteriores subestimaban con qué frecuencia los hospitales discrepaban. No era que el desacuerdo fuera más fuerte; era que los sistemas antiguos simplemente eran ciegos al hecho de que muchos hospitales no tenían una respuesta en absoluto, ocultando la verdadera magnitud de las diferencias.

5. Por Qué Esto Importa Más Allá de la Medicina

Los autores dicen que esto no se trata solo de trasplantes de corazón. Argumentan que cualquier sistema que extraiga respuestas de múltiples fuentes (como los sistemas legales donde las leyes difieren por estado, o las escuelas donde los estándares del plan de estudios difieren por distrito) tiene esta misma punto ciego.

Si un estudiante le pregunta a un chatbot sobre historia, la respuesta podría cambiar dependiendo de si el bot está leyendo un libro de texto de Nueva York o de Texas. Este artículo proporciona un conjunto de herramientas para medir esa "dependencia de la fuente" para que podamos dejar de fingir que siempre hay una única respuesta correcta.

En resumen: El artículo construyó una prueba masiva para mostrar que cuando la IA responde preguntas basándose en múltiples fuentes, la respuesta a menudo depende de cuál fuente eligió. Crearon una nueva forma de medir estas diferencias, demostrando que necesitamos dejar de buscar una única respuesta "correcta" y comenzar a auditar cómo se relacionan entre sí las diferentes fuentes.

Resumen Técnico: Auditoría de la Dependencia de Fuentes en RAG Médico Multi-Fuente

Enunciado del Problema
Los paradigmas actuales de evaluación de la Generación Aumentada por Recuperación (RAG), particularmente en dominios médicos, se basan en una suposición de "única respuesta de oro". Puntos de referencia como MedQA y PubMedQA tratan las preguntas como si tuvieran una única respuesta correcta, fallando en diagnosticar un modo de fallo crítico en sistemas multi-fuente desplegados: la dependencia de la fuente. En entornos institucionales (por ejemplo, hospitales), los manuales de educación para pacientes a menudo contienen protocolos, cronogramas o recomendaciones conflictivos basados en la gestión local de riesgos y las decisiones editoriales. Cuando un sistema RAG recupera información de diferentes fuentes, puede generar respuestas igualmente fluidas y confiables que son mutuamente excluyentes o divergentes. El marco de evaluación dominante no puede detectar esta heterogeneidad porque carece de un eje para medir la relación entre respuestas fundamentadas en documentos distintos.

Metodología
Los autores proponen un marco para desplazar la unidad de evaluación desde la "corrección de la respuesta" hacia la "relación inter-fuente". Esto se operacionaliza a través de tres componentes centrales:

Punto de Referencia TransplantQA:
- Corpus: 102 manuales de educación para pacientes de 23 centros de trasplante de órganos sólidos en EE. UU. (que cubren corazón, pulmón, riñón, hígado y páncreas). Los documentos se tratan como unidades distintas basadas en la fase de atención (pre-trasplante, post-trasplante o combinada).
- Preguntas: 1.115 preguntas reales de pacientes extraídas de foros en línea y organizaciones de defensa, anonimizadas y reformuladas.
- Estructura: El conjunto de datos se divide en un subconjunto "general" (aplicable a todos los manuales) y un subconjunto "específico de órgano". Esto permite comparaciones por pares tanto de corpus completo como estratificadas.
Pipeline HERO-QA (Recuperación y Orquestación Jerárquica de Evidencia):
- Arquitectura: Un proceso de tres etapas ejecutado en LLMs de pesos abiertos (Qwen3-32B).
- Etapa 1 (Extracción): Convierte PDFs crudos en JSON estructurado con metadatos de sección y página.
- Etapa 2 (Recuperación): Un sistema de recuperación multi-capas con prioridad de recuperación. Los manuales cortos (<80k caracteres) omiten la recuperación para utilizar el contexto del documento completo. Los manuales más largos sufren una recuperación jerárquica (documento → secciones → fragmentos) utilizando cuatro recuperadores paralelos (FAISS denso, BM25 disperso, navegación por cuerpo de sección, navegación por título), seguidos de Fusión de Rangos Recíprocos (RRF) y reordenamiento con codificador cruzado. Los fragmentos superiores se expanden a secciones padre para un contexto coherente.
- Etapa 3 (Juicio): Un juez de salida estructurada evalúa las relaciones por pares entre respuestas generadas a partir de diferentes manuales.
Juez de Salida Estructurada:
- En lugar de una etiqueta binaria, el juez genera un registro JSON estructurado que contiene:
  - Clasificación: Una de cinco etiquetas: AUSENTE (sin información), CONSISTENTE (misma recomendación), COMPLEMENTARIA (compatible pero con detalles diferentes), DIVERGENTE (diferencia sustancial) o CONTRADICTORIA (orientación opuesta).
  - Metadatos Narrativos: tema_de_divergencia (lugar de desacuerdo) y significado_clínico (bajo/medio/alto).
- Validación: El juez fue validado frente a anotadores clínicos humanos en una muestra estratificada, alcanzando un $\kappa$ de Cohen de 0,842 frente a la mayoría humana. Estudios de ablación confirmaron que una salida estructurada de llamada única es necesaria para preservar la discriminación entre las clases COMPLEMENTARIA y DIVERGENTE, lo cual los jueces que solo usan etiquetas no logran capturar.

Resultados Clave
El marco se aplicó a una ejecución de producción que generó 48.056 respuestas fundamentadas y 5.730.465 comparaciones por pares.

Prevalencia del Desacuerdo: Las estimaciones anteriores subestimaron significativamente la prevalencia del desacuerdo. Mientras que los casos explícitamente CONTRADICTORIOS fueron raros (<0,1%), los modos dominantes de desacuerdo fueron COMPLEMENTARIOS (75,4% de los pares no ausentes) y DIVERGENTES (12,9%).
Ausencia como Factor de Enmascaramiento: En el subconjunto general, el 78,9% de los pares fueron AUSENTES (al menos un manual carecía de la información). Al comparar una ejecución anterior de un modelo de 14B con la ejecución actual de 32B, una mejor recuperación redujo la "tasa de ausencia de manuales" en 13,6 puntos porcentuales. Crucialmente, la tasa de divergencia por par se mantuvo estable, pero la prevalencia de preguntas que mostraban cualquier divergencia aumentó en aproximadamente un 16%. Esto indica que las pipelines de recuperación más fuertes revelan desacuerdos latentes en lugar de fabricarlos; las líneas base anteriores omitían el desacuerdo simplemente porque las fuentes relevantes no fueron recuperadas.
Heterogeneidad: Las tasas de ausencia variaron significativamente entre manuales (de 0,45 a 0,99), y las tasas de divergencia variaron según el tipo de órgano, mostrando el páncreas y las preguntas generales las tasas más altas de divergencia.

Significado y Afirmaciones
El artículo argumenta que medir la dependencia de la fuente es una responsabilidad fundamental para cualquier sistema de PLN multi-fuente desplegado, no solo en medicina.

Cambio de Paradigma de Evaluación: Los autores afirman que el paradigma de única respuesta de oro es insuficiente para corpora institucionales de múltiples autores. El campo debe evaluar la relación inter-fuente para diagnosticar si la respuesta de un usuario es contingente al documento específico recuperado.
Agnosticismo de Dominio: Aunque se instanció en educación de trasplantes, el marco (punto de referencia multi-fuente, taxonomía inter-fuente, juez de salida estructurada) está diseñado para transferirse a RAG legal (donde los precedentes federales/estatales pueden entrar en conflicto) y RAG educativo (donde los estándares curriculares específicos de cada estado difieren).
Necesidad Metodológica: El artículo afirma que el juicio estructurado de llamada única es un requisito de diseño, no una conveniencia. La extracción a posteriori de metadatos de un juez que solo usa etiquetas falla en recuperar el matiz entre las relaciones COMPLEMENTARIAS y DIVERGENTES y pierde la gradación de severidad.

Los autores concluyen que su trabajo proporciona el primer instrumento a gran escala para auditar la heterogeneidad inter-fuente, revelando que el desacuerdo en RAG institucional es mucho más prevalente de lo que se entendía anteriormente, aunque su intensidad permanece constante a través de diferentes fortalezas de recuperación.