BioDivergence: A Benchmark and Evaluation Framework for Hidden Contextual Contradictions in Biomedical Abstracts

Resumo Técnico: BioDivergence

Definição do Problema
A literatura biomédica frequentemente contém achados que parecem discordar entre os estudos. No entanto, muitas dessas aparentes discordâncias não são contradições lógicas genuínas; em vez disso, são "divergências condicionadas ao contexto", onde as afirmações permanecem localmente válidas sob diferentes condições (ex: variando coortes, geografias, protocolos de ensaio ou subtipos de doenças). Os benchmarks existentes de Inferência de Linguagem Natural (NLI) e de verificação de alegações científicas (ex: FEVER, SciFact, VitaminC) tipicamente reduzem essas relações a rótulos planos (implicação, contradição, neutro) ou categorias de conflito grosseiras. Essa abordagem colapsa a divergência condicionada ao contexto em um único rótulo de "contradição", superestimando a discordância na literatura e falhando em avaliar uma capacidade crítica para sistemas de PLN biomédico a jusante: a habilidade de recuperar a estrutura contextual específica que explica por que dois achados divergem.

Metodologia
Os autores introduzem o BioDivergence, um framework de avaliação projetado para operacionalizar a recuperação de contradições contextuais ocultas. O framework é construído sobre três componentes principais:

1. Ontologia e Taxonomia:

   • Taxonomia de Conflito: Uma taxonomia de seis classes distinguindo entre sem conflito, contradição direta, contradição contextual, aparente contradição subespecificada, insuficiência de evidência e controvérsia científica não resolvida.
   • Ontologia de Divergência: Uma ontologia de 13 eixos capturando as dimensões contextuais que impulsionam a discordância (ex: população, geografia, período de tempo, protocolo de ensaio, desenho do estudo, subtipo de doença, linhagem de organismo, cenário clínico, etc.).

2. Formulação da Tarefa:
   O framework trata a análise de contradição como um problema estruturado de múltiplas saídas. Para cada par de afirmações, o modelo deve prever quatro alvos primários:

   • Tipo de Conflito: Seleção a partir da taxonomia de seis classes.
   • Eixos de Divergência: Identificação do subconjunto de eixos que explicam a divergência.
   • Confundidor Dominante: Seleção do eixo mais explicativo individual.
   • Explicação de Reconciliação: Uma explicação em linguagem natural de como as afirmações coexistem ou por que a tensão permanece.
   • (Saída Escopada): A extração de spans de evidência ao nível da afirmação é incluída na v1.0 como uma calibração de tempo de lançamento sob uma regra de prata "verbatim da afirmação", em vez de um benchmark de fundamentação maduro.

3. Construção do Benchmark (BioDivergence-Silver-v1.0):

   • Pipeline de Dados: O benchmark é construído a partir de 202.180 resumos normalizados em cinco domínios biomédicos (AMR, oncologia, doenças infecciosas, genômica, ensaios clínicos/epidemiologia), gerando 527.907 afirmações e 50.000 pares candidatos.
   • Anotação: Os rótulos são gerados via um pipeline de anotação "silver" com esquema restrito usando LLMs (Qwen2.5-72B para o piloto, Qwen2.5-7B para o lançamento completo) com fallbacks heurísticos e validação de esquema.
   • Design de Divisão (Split): Uma inovação crítica é a divisão primária disjunta por artigo (11.865 pares: 10.183 treino / 840 dev / 842 teste). Isso garante zero sobreposição de artigos, afirmações ou IDs de pares entre as divisões. Este design impede que modelos alcancem pontuações altas via memorização de nível de artigo, forçando-os a aprender o raciocínio contextual. Uma variante legada de nível de par é mantida apenas para comparabilidade retroativa.

Principais Contribuições

1. Formalização da Contradição Contextual: O artigo formaliza a tarefa de recuperar por que as afirmações biomédicas divergem, abordando uma lacuna deixada pela NLI plana e benchmarks de conflito de conhecimento.
2. Framework de Avaliação Estruturado: Introdução de uma taxonomia de conflito de seis classes e uma ontologia de divergência de 13 eixos, acoplada a uma especificação de tarefa de quatro alvos primários mais um escopado.
3. Lançamento do BioDivergence-Silver-v1.0: Um benchmark silver de larga escala, disjunto por artigo, com auditorias de vazamento explícitas e análises de sensibilidade.
4. Lente de Avaliação: Demonstração de que a avaliação disjunta por artigo altera fundamentalmente o ranking dos modelos, separando a memorização de artigos do aprendizado de raciocínio contextual.

Resultados Experimentais

• Queda de Desempenho devido ao Controle de Vazamento: Ao passar da variante legada de nível de par (que permite sobreposição de artigos) para a divisão primária disjunta por artigo, o F1 de contradição contextual do modelo de referência ajustado cai aproximadamente 12 pontos (de ~0,521 para ~0,401). Isso indica que uma parte significativa do desempenho em benchmarks anteriores de nível de par foi impulsionada pela memorização de nível de artigo.
• Desempenho Zero-Shot: A avaliação de teste primária completa com 842 exemplos usando Mistral-7B-Instruct-v0.3 (zero-shot) atinge 0,5523 de acurácia e 0,3894 de contextual-F1. Isso confirma que o sinal é recuperável por baselines independentes da família de anotadores sem vazamento de artigo.
• Dificuldade da Tarefa: A extração de eixos de divergência e a predição de confundidor dominante permanecem difíceis para todos os sistemas, ficando atrás da acurácia de tipo de conflito. Isso sugere que recuperar por que as afirmações divergem é mais difícil do que decidir se elas divergem.
• Especialização de Modelos: LLMs zero-shot dominam a classificação grosseira e a geração de reconciliação, enquanto modelos de referência ajustados performam melhor na detecção contextual e predição de confundidores em divisões legadas. Baselines baseados em recuperação dominam a extração de spans de evidência (por construção da regra verbatim).
• Confiabilidade: O benchmark suporta de forma confiável a avaliação para duas classes de conflito (sem conflito e contradição contextual) e nove dos treze eixos de divergência na v1.0.

Significância e Alegações
O artigo alega que o BioDivergence fornece uma lente de avaliação necessária que separa a divergência contextual da contradição direta. Ao impor divisões disjuntas por artigo, ele isola a memorização de nível de artigo do aprendizado da tarefa, oferecendo uma avaliação mais honesta das capacidades de raciocínio contextual de um modelo. Os autores posicionam o BioDivergence-Silver-v1.0 não como um recurso de curadoria de especialistas de padrão ouro, mas como um benchmark silver estruturado e de larga escala que expõe tarefas de raciocínio de múltiplos componentes anteriormente não avaliadas. O framework destaca que rótulos de contradição planos são insuficientes para PLN biomédico, pois obscurecem a natureza matizada e dependente de contexto do desacordo científico. O trabalho futuro é notado para estender a anotação, fundamentação e calibração de ouro, mas a v1.0 é apresentada como uma ferramenta funcional para avaliação consciente de vazamentos.