💻 computer science

A million-scale cross-document clinical citation-evidence question answering dataset

Este artigo apresenta o RefQA, um conjunto de dados de escala de milhões contendo 1,52 milhão de registros de perguntas e respostas de evidência-citação clínica entre documentos derivados do PubMed Central, apresentando metadados estruturados, fundamentação de alegações verificáveis e anotações de alta qualidade para apoiar pesquisas em análise de citações clínicas.

Autores originais: Imjin Ahn, Young-Hak Kim, Sanghyun Park, Tae Joon Jun

Publicado 2026-09-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Imjin Ahn, Young-Hak Kim, Sanghyun Park, Tae Joon Jun

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na vasta biblioteca da ciência médica, onde milhões de artigos de pesquisa são publicados todos os anos, uma única frase muitas vezes carrega o peso de uma decisão que salva vidas. Quando um médico lê uma nova diretriz recomendando um tratamento específico, essa recomendação geralmente se apoia em uma cadeia de referências que remonta a estudos anteriores. Essas referências são os elos da corrente, conectando uma afirmação atual à evidência original. No entanto, por décadas, a comunidade científica sabe que esses elos nem sempre são fortes. Às vezes, um artigo afirma apoiar uma ideia, mas o estudo original que ele cita diz algo diferente, ou talvez nada sobre aquele tópico. Essa lacuna entre o que um artigo diz ter encontrado e o que a fonte realmente contém cria uma incerteza perigosa para os clínicos que tentam compreender a literatura. Para corrigir isso, os pesquisadores precisavam de uma maneira de ler não apenas os artigos, mas as conexões entre eles, verificando se cada afirmação é verdadeiramente respaldada pela evidência que cita.

Uma equipe de pesquisadores construiu agora uma ferramenta digital massiva para resolver esse problema, criando um conjunto de dados contendo mais de 1,5 milhão de registros dessas conexões. Eles a chamam de RefQA. O projeto foca na literatura clínica, especificamente nos artigos que tratam da saúde humana e do cuidado ao paciente. A equipe começou reunindo milhões de artigos de texto completo de um arquivo público conhecido como PubMed Central. Eles não olharam apenas para o texto; eles olharam para os momentos específicos em que um artigo menciona outro. Nos arquivos digitais desses artigos, toda vez que um escritor cita um estudo anterior, há um marcador oculto que vincula os dois documentos. Os pesquisadores usaram programas de computador para encontrar cada um desses links, criando um mapa de quem cita quem em todo o campo da medicina clínica.

O desafio era entender o significado por trás de cada link. Uma citação não é apenas um ponteiro; é uma declaração de crença. Quando um escritor diz, "Como mostrado no estudo X", ele está fazendo uma afirmação sobre o que o estudo X provou. Os pesquisadores queriam saber se essa afirmação era verdadeira. Para descobrir, eles usaram um sistema de inteligência artificial poderoso para ler a frase que cita e o resumo do artigo citado lado a lado. A IA foi treinada para agir como um editor cuidadoso, fazendo perguntas específicas: O que o escritor está tentando dizer? O artigo original realmente apoia essa ideia? A evidência é forte, fraca ou inexistente? O sistema foi instruído a ser extremamente preciso. Se a IA decidisse que o artigo original apoiava a afirmação, ela teria que extrair uma citação direta, palavra por palavra, do resumo original para prová-lo. Esse requisito significava que a verdade da afirmação poderia ser verificada instantaneamente por qualquer pessoa que lesse o registro.

A equipe aplicou um filtro rigoroso para garantir que os dados fossem relevantes para a medicina humana. Eles mantiveram apenas as citações onde tanto o artigo que escreve quanto o artigo citado tratavam de pesquisa clínica envolvendo pacientes. Essa regra removeu milhões de registros que misturavam experimentos de ciência básica com estudos humanos, garantindo que o conjunto de dados final contivesse apenas cadeias de evidências que os médicos pudessem realmente usar. Após rodar esse processo em mais de 1,5 milhão de eventos de citação, o resultado foi uma coleção limpa e organizada de registros. Cada registro contém o contexto da citação, os detalhes dos dois artigos envolvidos e a análise da IA sobre o relacionamento entre eles. O sistema foi notavelmente preciso, com quase todos os registros seguindo o formato exigido corretamente. Quando especialistas humanos verificaram uma pequena amostra do trabalho, eles concordaram com os julgamentos da IA sobre se uma citação era relevante ou enganosa na maioria dos casos, confirmando que a máquina aprendeu a distinguir entre um elo sólido e um elo quebrado.

Um dos recursos mais importantes deste conjunto de dados é sua capacidade de detectar erros. Os pesquisadores descobriram que um número significativo de citações na literatura médica não apoia, de fato, as afirmações feitas sobre elas. Em alguns casos, um artigo pode citar um estudo para respaldar uma estatística, mas o estudo nunca mencionou esse número. Em outros, um artigo pode afirmar que um tratamento funciona, enquanto o estudo citado na verdade não encontrou diferença entre o tratamento e um placebo. O conjunto de dados captura essas incompatibilidades, rotulando-as claramente para que futuros programas de computador possam aprender a identificá-las. Os pesquisadores também forneceram uma versão dos dados que é gratuita para qualquer pessoa usar em projetos comerciais, mantendo a coleção completa disponível para aqueles que precisam ver o quadro completo, incluindo artigos com regras de uso mais restritivas.

A escala deste trabalho é sem precedentes. Tentativas anteriores de mapear essas conexões eram ou muito pequenas para serem úteis no treinamento de sistemas de computador avançados, ou muito amplas para capturar o significado específico das citações. Este novo conjunto de dados preenche essa lacuna, oferecendo um recurso de escala de milhões que é tanto profundo quanto amplo. Ele permite que pesquisadores treinem novos modelos de inteligência artificial para ler a literatura médica com um nível de escrutínio que era anteriormente impossível. Ao ensinar esses modelos a verificar afirmações contra suas fontes, o trabalho ajuda a construir um futuro onde as decisões médicas sejam baseadas em evidências que foram rigorosamente verificadas. O conjunto de dados está agora disponível para cientistas e desenvolvedores utilizarem, fornecendo uma base para ferramentas que podem ajudar médicos a navegar pelo volume esmagador de pesquisas médicas com maior confiança e precisão.

Resumo Técnico: RefQA – Um Conjunto de Dados de um Milhão de Escala para Perguntas e Respostas de Evidência de Citação Clínica entre Documentos

Definição do Problema

Na literatura clínica, as citações frequentemente carregam um peso semântico que vai além de simples ponteiros; elas afirmam que um artigo citado sustenta afirmações específicas. No entanto, estudos de auditoria indicam que uma fração não trivial das citações médicas deturpa suas fontes. Os recursos existentes falham em abordar essa lacuna em escala: o LongCite alinha citações a respostas dentro de documentos únicos, mas não segue as citações até suas fontes; o OpCitance escala para milhões de citações entre documentos, mas carece de uma camada de perguntas e respostas (QA) semântica; e recursos validados manualmente, como CliniFact e MedAESQA, são pequenos demais para treinamento em larga escala. Há uma necessidade de um conjunto de dados legível por máquina e de grande escala que vincule citações no texto a evidências específicas em artigos citados, expressas como pares de pergunta-resposta verificáveis, para permitir a auditoria de cadeias de atribuição e o treinamento de sistemas de geração aumentada por recuperação (RAG) fiéis.

Metodologia

O RefQA é construído através de um pipeline determinístico de múltiplos estágios processando artigos de Acesso Aberto do PubMed Central (PMC). O pipeline consiste em três fases primárias:

1. Aquisição e Extração Estrutural

Fonte: 276 arquivos JATS XML do PMC (snapshots de 2026), totalizando 145 GB.
Parsing: Um parser customizado extrai metadados do artigo, seções do corpo (mapeadas para buckets IMRaD) e eventos de citação no texto (<xref ref-type="bibr">).
Captura de Contexto: Para cada citação, o sistema registra o parágrafo envolvente, a sentença que cita, o título da seção, a contagem de cocitação e o ID específico do artigo citado.
Enriquecimento de Metadados: Um índice Parquet enxuto une os dados do PMC com metadados do PubMed e métricas do iCite (incluindo flags is_clinical, Relative Citation Ratio e percentil NIH).

2. Enriquecimento Clínico-Clínico

Um filtro rigoroso de "duplo-clínico" é aplicado: um registro é mantido apenas se ambos os artigos (o que cita e o citado) estiverem marcados como is_clinical = True no iCite. Adicionalmente, o artigo citado deve possuir um resumo do PubMed não vazio para servir como verdade fundamental para verificações de fidelidade. Este filtro exclui cadeias translacionais (ciência básica citando clínica) para garantir que a cadeia de evidência permança dentro do domínio clínico, resultando em 1.582.658 registros para extração semântica.

3. Extração Semântica com GLM-5.1-FP8

Os registros enriquecidos são processados pelo modelo GLM-5.1-FP8 sob um prompt de sistema fixo para gerar uma estrutura CitationQA estrita em JSON. O esquema impõe:

Distinções Duais: Separa o QUE a citação afirma (propósito) do COMO ela é apresentada (tipo de evidência).
Fundamentação Verbatim: Se o artigo citado sustenta a afirmação, o modelo deve extrair uma substring literal do resumo citado.
Mecanismo de Abstenção: Se a citação for uma incompatibilidade, o modelo deve zerar os campos de afirmação/resposta e fornecer um mismatch_reason.
Extração Estatística: Afirmações numéricas disparam um objeto estruturado de statistic_extraction.

O pipeline roda em uma frota de cinco nós de GPUs NVIDIA B200, completando a extração em aproximadamente 72 horas.

Principais Contribuições

Escala e Escopo: O RefQA contém 1.524.426 registros de evidência de citação entre documentos, referenciando 347.247 artigos únicos em grandes especialidades clínicas (cardiovascular, oncologia, doenças infecciosas). Este é o primeiro benchmark de grande escala deste tipo para literatura clínica.
Fidelidade Verificável: O conjunto de dados inclui uma citação literal do resumo citado para afirmações sustentadas, permitindo que usuários subsequentes verifiquem a fidelidade via correspondência de substring.
Esquema Estrito e Licenciamento:
- A saída segue um esquema JSON estrito de 12 campos com restrições condicionais.
- Aborda a heterogeneidade de licenciamento fornecendo um subconjunto permissivo (561.795 registros, CC-BY/Domínio Público) e um corpus completo (1.524.426 registros) com colunas de licença por registro.
Reprodutibilidade: O pipeline é determinístico, baseando-se em extração estrutural baseada em regras e snapshots fixos de 2026. O código, os prompts e as sementes (seeds) são liberados sob licença MIT.

Resultados e Validação Técnica

Validade do Esquema: A execução de produção alcançou uma taxa de validação de esquema de 99,99994% (1.582.557/1.582.558 registros passaram). Uma única falha residual foi excluída do depósito canônico.
Fidelidade (Faithfulness):
- Correspondência de Substring Larga: 96,03% dos registros que exigem citação contêm uma substring que corresponde ao resumo citado (considerando normalização de espaços em branco/hifens).
- Correspondência de Substring Exata: 89,12% são idênticos em bytes.
- Impacto de Truncamento: Zero registros falharam na fidelidade devido ao truncamento de prompt de 3.500 caracteres, confirmando que a escolha de engenharia não comprometeu a qualidade dos dados.
Anotação Humana: Uma sobreposição estratificada de 250 registros foi anotada por dois revisores humanos (um candidato a doutorado e um médico certificado).
- Acordo de Relevância: Cohen's $\kappa$ = 0,68 (substancial).
- Fidelidade da Afirmação: Coeficiente de Correlação Intraclasse (ICC) = 0,72 (bom).
- Fidelidade da Resposta: ICC = 0,25 (baixo, refletindo a subjetividade da pontuação de respostas de múltiplas sentenças).
Acordo entre Modelos: Quando re-anotado por GPT-5.4-mini e Claude Sonnet 4.6:
- Design do Estudo: Acordo quase perfeito ( $\kappa$ 0,80–0,87).
- Campos Subjetivos: Acordo de regular a moderado ( $\kappa$ 0,21–0,51) para relevância e força de suporte, indicando que esses campos são influenciados pelo modelo.
Ablação: As escolhas de design (bucket residual observacional e clarificação WHAT/WHY) reduziram as taxas de falha de esquema em 234 vezes em comparação com um prompt piloto.

Significância e Alegações

Os autores posicionam o RefQA como um recurso fundamental para:

Treinamento e Benchmarking: Permitir o questionamento clínico fundamentado em citações, onde a citação literal serve como um alvo de fidelidade integrado.
Detecção de Alucinação: Fornecer uma classe negativa natural (registros de incompatibilidade/mismatch) e um subconjunto adversarial confirmado por humanos (10 registros) para avaliar sistemas de geração aumentada por recuperação.
Auditoria de Afirmação-Evidência: Permitir a verificação de se a afirmação de um artigo que cita é realmente sustentada pela fonte citada.
Ajuste Fino Supervisionado (SFT): Suportar o treinamento de modelos de linguagem médica em pares estruturados de citação-evidência.

O artigo alega modestamente que, embora o conjunto de dados permita essas aplicações, os campos subjetivos (relevância, força de suporte) devem ser tratados como influenciados pelo modelo e não como canônicos, e que usuários que exigem alta precisão nessas áreas devem confiar no subconjunto de ouro adjudicado por humanos ou realizar a extração novamente com outros modelos. O conjunto de dados não pretende cobrir cadeias translacionais ou revisões sistemáticas (excluídas pelo filtro is_clinical), focando em um corpus defensável de evidência direta clínica-para-clínica.