💻 computer science

Same Question, Different Source, Different Answer: Auditing Source-Dependence in Medical Multi-Source RAG

Este artigo apresenta um novo framework de avaliação para sistemas de Geração Aumentada por Recuperação (RAG) de múltiplas fontes que desloca o foco da correção da resposta para a auditoria da dependência de fontes, demonstrando, por meio de um benchmark de educação para pacientes transplantados, que os desacordos institucionais são muito mais prevalentes do que previamente estimado e propondo ferramentas como o HERO-QA e um juiz estruturado para medir e gerenciar sistematicamente essas relações interfontes.

Autores originais: Yubo Li, Rema Padman, Ramayya Krishnan

Publicado 2026-05-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yubo Li, Rema Padman, Ramayya Krishnan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um paciente que acabou de receber um transplante de coração. Você tem uma pergunta: "Quando posso viajar internacionalmente novamente?" Você digita isso em um chatbot médico inteligente.

Na antiga maneira de construir esses chatbots, o sistema encontraria uma resposta "perfeita" e a entregaria a você com total confiança. Mas este artigo argumenta que, no mundo real, não há uma única resposta perfeita. Em vez disso, a resposta que você recebe depende inteiramente de qual manual de regras do hospital o chatbot acabou de pegar.

Se o bot pegar o manual do Hospital A, ele pode dizer: "Aguarde 3 meses". Se pegar o livro do Hospital B, pode dizer: "Aguarde 12 meses". Ambas as respostas são escritas com confiança, ambas são citadas corretamente, mas elas se contradizem. A antiga maneira de testar esses bots não conseguia ver esse problema porque eles só procuravam uma única resposta "padrão-ouro".

Este artigo apresenta uma nova maneira de auditar esses sistemas, usando um sistema de educação para pacientes transplantados como caso de teste. Aqui está como eles fizeram isso, explicado de forma simples:

1. A Coleção "Livro de Receitas" (TransplantQA)

Os pesquisadores reuniram 102 manuais de pacientes diferentes de 23 grandes centros de transplante nos EUA. Pense neles como 102 livros de receitas diferentes para o mesmo prato (cuidados pós-transplante). Alguns chefs (hospitais) dizem "adicione sal", outros dizem "sem sal", e alguns nem mencionam sal.

Eles também coletaram 1.115 perguntas reais que pacientes reais fizeram em fóruns. Eles não inventaram essas perguntas; são preocupações genuínas de pessoas reais.

2. O "Bibliotecário Inteligente" (HERO-QA)

Para testar o sistema, eles construíram um mecanismo de recuperação especial chamado HERO-QA. Imagine um bibliotecário tentando encontrar a página certa em uma biblioteca massiva.

Se o livro for curto, o bibliotecário lê o livro inteiro para garantir que nada seja perdido.
Se o livro for enorme, o bibliotecário usa um mapa inteligente para encontrar o capítulo específico, depois o parágrafo específico e até verifica os parágrafos vizinhos para obter o contexto completo.

Esse bibliotecário então pede a uma IA poderosa (o "Gerador") que escreva uma resposta baseada apenas nas páginas que encontrou. Eles fizeram isso para cada pergunta individual contra cada manual. Isso resultou em mais de 48.000 respostas diferentes para as mesmas perguntas.

3. O "Juiz Rigoroso" (Saída Estruturada)

Agora vem a parte mais importante. Eles precisavam de uma maneira de comparar essas 48.000 respostas para ver como elas diferiam. Eles não perguntaram apenas: "Elas são iguais ou diferentes?". Eles usaram um "Juiz" de IA especializado que age como um editor rigoroso.

Em vez de apenas dar uma pontuação, esse Juiz escreve um relatório curto para cada par de respostas que compara. Ele as classifica em cinco categorias:

Ausente: Um livro nem sequer abordou o tópico.
Consistente: Ambos os livros dizem exatamente a mesma coisa.
Complementar: Eles concordam no ponto principal, mas adicionam detalhes diferentes (como um diz "coma saudável" e o outro adiciona "e faça exercícios").
Divergente: Eles dão conselhos diferentes (ex: "aguarde 6 semanas" vs. "aguarde 12 semanas").
Contraditório: Eles dizem coisas opostas (ex: "você pode fazer isso" vs. "nunca faça isso").

Crucialmente, o Juiz também explica por que eles diferem e quão grave é a diferença.

4. A Grande Descoberta

Quando eles executaram os números, descobriram algo surpreendente.

O Problema do "Faltante": Em cerca de 79% dos casos, um dos manuais não tinha uma resposta de forma alguma. A antiga maneira de testar perdeu isso porque assumia que cada livro tinha uma resposta.
A Discordância "Oculta": Quando eles corrigiram o sistema de recuperação (tornando o bibliotecário mais inteligente), encontraram mais discordância, não menos.
- A Analogia: Imagine que você está procurando uma palavra específica em um dicionário. Se você olhar apenas a primeira página, pode achar que todos concordam com a definição. Mas se você ler o dicionário inteiro, percebe que diferentes edições a definem de maneiras diferentes.
- O artigo descobriu que estimativas anteriores subestimavam com que frequência os hospitais discordavam. Não era que a discordância fosse mais forte; era que os sistemas antigos eram simplesmente cegos ao fato de que muitos hospitais não tinham uma resposta de forma alguma, escondendo a verdadeira extensão das diferenças.

5. Por Que Isso Importa Além da Medicina

Os autores dizem que isso não é apenas sobre transplantes de coração. Eles argumentam que qualquer sistema que extraia respostas de múltiplas fontes (como sistemas jurídicos, onde as leis diferem por estado, ou escolas, onde os padrões curriculares diferem por distrito) tem essa mesma mancha cega.

Se um aluno perguntar a um chatbot sobre história, a resposta pode mudar dependendo se o bot está lendo um livro didático de Nova York ou do Texas. Este artigo fornece um conjunto de ferramentas para medir essa "dependência da fonte", para que possamos parar de fingir que sempre há uma única resposta correta.

Em resumo: O artigo construiu um teste massivo para mostrar que, quando a IA responde perguntas com base em múltiplas fontes, a resposta frequentemente depende de qual fonte ela escolheu. Eles criaram uma nova maneira de medir essas diferenças, provando que precisamos parar de procurar uma única resposta "correta" e começar a auditar como diferentes fontes se relacionam entre si.

Resumo Técnico: Auditoria da Dependência de Fontes em RAG Multi-Fonte Médico

Declaração do Problema
Os paradigmas atuais de avaliação de Geração Aumentada por Recuperação (RAG), particularmente em domínios médicos, baseiam-se numa premissa de "única resposta-ouro". Benchmarks como MedQA e PubMedQA tratam as perguntas como tendo uma única resposta correta, falhando em diagnosticar um modo de falha crítico em sistemas multi-fontes implantados: a dependência de fontes. Em ambientes institucionais (por exemplo, hospitais), os manuais de educação do paciente frequentemente contêm protocolos, cronogramas ou recomendações conflitantes, baseados na gestão de riscos local e em escolhas editoriais. Quando um sistema RAG recupera informações de diferentes fontes, pode gerar respostas igualmente fluentes e confiantes que são mutuamente exclusivas ou divergentes. O quadro de avaliação dominante não consegue detectar essa heterogeneidade porque carece de um eixo para medir a relação entre respostas fundamentadas em documentos distintos.

Metodologia
Os autores propõem um quadro para deslocar a unidade de avaliação da "correção da resposta" para a "relação inter-fonte". Isso é operacionalizado através de três componentes principais:

Benchmark TransplantQA:
- Corpus: 102 manuais de educação do paciente de 23 centros de transplante de órgãos sólidos dos EUA (abrangendo coração, pulmão, rim, fígado e pâncreas). Os documentos são tratados como unidades distintas com base na fase de cuidado (pré-transplante, pós-transplante ou combinada).
- Perguntas: 1.115 perguntas reais de pacientes extraídas de fóruns online e organizações de defesa, anonimizadas e reformuladas.
- Estrutura: O conjunto de dados é dividido em um subconjunto "geral" (aplicável a todos os manuais) e um subconjunto "específico de órgão". Isso permite comparações em pares de todo o corpus e estratificadas.
Pipeline HERO-QA (Recuperação e Orquestração Hierárquica de Evidências):
- Arquitetura: Um processo de três estágios executado em LLMs de pesos abertos (Qwen3-32B).
- Estágio 1 (Extração): Converte PDFs brutos em JSON estruturado com metadados de seção e página.
- Estágio 2 (Recuperação): Um sistema de recuperação multi-camada com foco em recall. Manuais curtos (<80k caracteres) contornam a recuperação para usar o contexto do documento completo. Manuais mais longos passam por recuperação hierárquica (documento → seções → blocos) usando quatro recuperadores paralelos (FAISS denso, BM25 esparso, navegação por corpo de seção, navegação por título), seguidos por Fusão de Classificação Recíproca (RRF) e reclassificação por cross-encoder. Os blocos principais são expandidos para seções-pai para contexto coerente.
- Estágio 3 (Julgamento): Um juiz de saída estruturada avalia as relações em pares entre respostas geradas a partir de diferentes manuais.
Juiz de Saída Estruturada:
- Em vez de um rótulo binário, o juiz gera um registro JSON estruturado contendo:
  - Classificação: Um de cinco rótulos: AUSENTE (sem informação), CONSISTENTE (mesma recomendação), COMPLEMENTAR (compatível mas com detalhes diferentes), DIVERGENTE (diferença substantiva) ou CONTRADITÓRIO (orientação oposta).
  - Metadados Narrativos: divergence_topic (locus da discordância) e clinical_significance (baixa/média/alta).
- Validação: O juiz foi validado contra anotadores clínicos humanos em uma amostra estratificada, alcançando um $\kappa$ de Cohen de 0,842 contra a maioria humana. Estudos de ablação confirmaram que uma saída estruturada de chamada única é necessária para preservar a discriminação entre as classes COMPLEMENTAR e DIVERGENTE, que juízes baseados apenas em rótulos falham em capturar.

Principais Resultados
O quadro foi aplicado em uma execução de produção gerando 48.056 respostas fundamentadas e 5.730.465 comparações em pares.

Prevalência de Discordância: Estimativas anteriores subestimaram significativamente a prevalência de discordância. Enquanto casos explícitos CONTRADITÓRIOS eram raros (<0,1%), os modos dominantes de discordância foram COMPLEMENTAR (75,4% dos pares não ausentes) e DIVERGENTE (12,9%).
Ausência como Fator de Mascaramento: No subconjunto geral, 78,9% dos pares foram AUSENTES (pelo menos um manual carecia da informação). Ao comparar uma execução anterior do modelo de 14B com a execução atual de 32B, uma recuperação melhor reduziu a "taxa de ausência do manual" em 13,6 pontos percentuais. Crucialmente, a taxa de divergência por par permaneceu estável, mas a prevalência de perguntas mostrando qualquer divergência aumentou em ~16%. Isso indica que pipelines de recuperação mais fortes revelam discordância latente em vez de fabricá-la; as linhas de base anteriores perdiam a discordância simplesmente porque as fontes relevantes não eram recuperadas.
Heterogeneidade: As taxas de ausência variaram significativamente entre os manuais (0,45 a 0,99), e as taxas de divergência variaram por tipo de órgão, com pâncreas e perguntas gerais mostrando as maiores taxas de divergência.

Significado e Alegações
O artigo argumenta que medir a dependência de fontes é uma responsabilidade fundamental para qualquer sistema de PLN multi-fonte implantado, não apenas na medicina.

Mudança de Paradigma de Avaliação: Os autores afirmam que o paradigma de única resposta-ouro é insuficiente para corpora institucionais multi-autores. O campo deve avaliar a relação inter-fonte para diagnosticar se a resposta de um usuário é contingente ao documento específico recuperado.
Agnosticismo de Domínio: Embora instanciado na educação sobre transplantes, o quadro (benchmark multi-fonte, taxonomia inter-fonte, juiz de saída estruturada) foi projetado para transferir para RAG jurídico (onde precedentes federais/estaduais podem conflitar) e RAG educacional (onde padrões curriculares específicos de estado diferem).
Necessidade Metodológica: O artigo afirma que o julgamento estruturado de chamada única é um requisito de design, não uma conveniência. A extração post-hoc de metadados de um juiz baseado apenas em rótulos falha em recuperar a nuance entre as relações COMPLEMENTAR e DIVERGENTE e perde a graduação de severidade.

Os autores concluem que seu trabalho fornece o primeiro instrumento em larga escala para auditar a heterogeneidade inter-fonte, revelando que a discordância em RAG institucional é muito mais prevalente do que anteriormente compreendido, embora sua intensidade permaneça consistente entre diferentes forças de recuperação.