HypothesisMed: Inference-Time Answer Fusion and Structured Hypothesis-Space Reporting for Biomedical Question Answering

Resumo Técnico do HypothesisMed

Definição do Problema
As avaliações atuais de Grandes Modelos de Linguagem (LLMs) para respostas a perguntas (QA) biomédicas dependem fortemente da precisão da resposta final. No entanto, o artigo argumenta que a precisão por si só é insuficiente para fluxos de trabalho biomédicos sensíveis à confiabilidade. Um modelo pode selecionar a opção correta, mas falhar ao produzir saídas processáveis por máquinas, ignorar instruções estruturadas ou comprometer-se confiantemente com respostas incorretas quando o espaço de respostas disponível está incompleto, duplicado ou contraditório. Benchmarks existentes como MedQA, MedMCQA e PubMedQA normalmente não avaliam se um modelo consegue reconhecer esses espaços de resposta "fracos" ou fornecer metadados de confiabilidade auditáveis junto às suas previsões.

Metodologia: O Pipeline HypothesisMed
O artigo introduz o HypothesisMed, um pipeline de confiabilidade em tempo de inferência projetado para separar a seleção da resposta do relatório de confiabilidade estruturado. O sistema opera através dos seguintes componentes:

• Estratégias de Prompting: O pipeline avalia quatro métodos de inferência:
  1. Prompt Direto (Direct Prompting): Raciocínio mínimo, seleção direta da resposta.
  2. Cadeia de Pensamento (Chain-of-Thought - CoT): Etapas de raciocínio explícitas antes da seleção.
  3. Prompting HypothesisMed-v3: Um prompt estruturado projetado para gerar metadados específicos.
  4. Fusão Proposta (Proposed Fusion): Uma combinação dos anteriores.
• Rótulos de ESPAÇO Estruturados: Uma inovação central é o campo SPACE (um nome de rótulo, não um modelo), que o HypothesisMed-v3 utiliza para classificar o status do espaço de resposta em três categorias:
  • VÁLIDO (VALID): Existe uma única melhor resposta suportada medicamente.
  • INCOMPLETO (INCOMPLETE): A resposta correta parece estar ausente ou insuficientemente representada.
  • CONTRADITÓRIO (CONTRADICTED): As opções são internamente inconsistentes, duplicadas ou medicamente contraditórias.
• Fusão de Respostas (Answer Fusion): A resposta final é selecionada via votação majoritária sobre candidatos processáveis gerados pelos prompts direto, CoT e HypothesisMed-v3. Se não houver uma maioria estrita, utiliza-se uma ordem de fallback determinística (Direto $\to$ CoT $\to$ HypothesisMed-v3).
• Métricas de Avaliação: Além da Precisão da Resposta (Answer Accuracy) padrão, o estudo mede:
  • Cobertura de Processamento (Parse Coverage): A fração de saídas processadas com sucesso em uma opção válida.
  • Cobertura de SPACE (SPACE Coverage): A fração de saídas contendo um rótulo SPACE válido.
  • Precisão de SPACE (SPACE Accuracy): A correção do rótulo SPACE (ex: identificar corretamente um espaço VÁLIDO vs. alegar falsamente que ele é INCOMPLETO).
  • Comprometimento Falso (False Commitment): A taxa de respostas incorretas de alta confiança (confiança $\ge$ 0.5).

Configuração Experimental
O estudo avalia quatro modelos de pesos abertos: Qwen2.5-7B-Instruct, Phi-4-mini-instruct, DeepSeek-R1-Distill-Qwen-32B e BioMistral-7B.

• Avaliação Primária: 1.000 exemplos por dataset (MedQA, MedMCQA, PubMedQA) para todos os quatro modelos.
• Avaliação Escalada: 10.183 exemplos por modelo para Qwen2.5-7B e Phi-4-mini.
• Teste de Estresse de SPACE: Um teste expandido de 12.000 exemplos por modelo onde os espaços de resposta são artificialmente perturbados (removendo respostas corretas para criar conjuntos INCOMPLETOS, duplicando respostas para criar conjuntos CONTRADITÓRIOS) para testar a capacidade do modelo de detectar defeitos.

Resultados Principais

1. Trocas entre Precisão e Confiabilidade (Accuracy and Reliability Trade-offs): Na avaliação primária dos quatro modelos, o pipeline proposto Fusão de Respostas + HypothesisMed-v3 melhorou a precisão ponderada das respostas em relação à melhor baseline de Direto ou CoT para todos os modelos, enquanto simultaneamente aumentou a cobertura de processamento e a cobertura de SPACE.
   • Qwen2.5-7B: Alcançou 0.6367 de precisão (vs. 0.6003 da baseline CoT) com 100% de cobertura de processamento e 99.97% de cobertura de SPACE.
   • Phi-4-mini: Mostrou ganhos substanciais, melhorando de 0.4817 (CoT) para 0.5767 (Proposto), com uma redução massiva nos comprometimentos falsos (de 0.9838 para 0.4054).
2. Comportamentos Específicos do Modelo:
   • DeepSeek-R1-32B: Mostrou melhoria na precisão com fusão (0.1690 para 0.3877), mas os autores observam que isso reflete principalmente a melhoria na formatação/usabilidade, e não um ganho puro de raciocínio, já que suas baselines tinham baixíssima cobertura de processamento.
   • BioMistral-7B: Demonstrou baixa conformidade com saída estruturada (cobertura de SPACE próxima de zero), indicando que a especialização de domínio não garante a adesão a restrições de saída estruturada.
3. Avaliação Escalada: No teste de 10.183 exemplos, a fusão melhorou substancialmente a precisão do Phi-4-mini (0.4296 para 0.5192). Para o Qwen2.5-7B, o CoT permaneceu ligeiramente superior em precisão bruta em comparação à fusão, mas o método de fusão proporcionou cobertura completa de processamento/SPACE e um comprometimento falso significativamente menor.
4. Teste de Estresse de SPACE: A capacidade de diagnosticar defeitos no espaço de resposta permaneceu difícil. No teste de estresse, o Qwen2.5-7B alcançou 0.3074 de precisão de SPACE, e o Phi-4-mini alcançou 0.4168, sugerindo que o prompting estruturado via prompt tem dificuldade em detectar de forma confiável anomalias sutis no espaço de resposta.

Significância e Alegações
O artigo afirma explicitamente que sua principal contribuição não é um claim de estado da arte universal para precisão em QA biomédico. Em vez disso, a significância reside em:

• Separabilidade de Capacidades: Demonstrar que a precisão da resposta, a processabilidade, o relatório de confiabilidade estruturado, a calibração e o comportamento de comprometimento falso são capacidades distintas e separáveis que devem ser avaliadas independentemente.
• Componentes de Fluxo de Trabalho Auditáveis: Fornecer um framework de inferência reproduzível para avaliar LLMs biomédicos como componentes de fluxo de trabalho auditáveis sob restrições de confiabilidade estruturada, em vez de meramente como geradores de respostas.
• Relatório de Confiabilidade Estruturado: Introduzir um método para gerar metadados legíveis por máquina (rótulos SPACE) que permite que sistemas downstream detectem quando um modelo está operando em um espaço de resposta incompleto ou contraditório, mitigando o risco de comprometimentos incorretos e confiantes.

Os autores concluem que, embora o diagnóstico do espaço de resposta continue sendo um desafio para os modelos atuais, o pipeline HypothesisMed oferece um passo necessário em direção à avaliação de LLMs biomédicos com o rigor exigido para uma implantação automatizada segura.