From Voting to Agent Collaboration: Answer-Type-Aware LLM Pipelines for BioASQ 14b

Resumo Técnico: Do Voto à Colaboração de Agentes: Pipelines de LLM Sensíveis ao Tipo de Resposta para BioASQ 14b

Definição do Problema
O questionamento biomédico (QA - Question Answering) enfrenta desafios significativos devido à rápida expansão da literatura científica, onde evidências críticas estão frequentemente distribuídas em múltiplos documentos, expressas em terminologias heterogêneas ou apresentadas em contextos conflitantes. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa em configurações de recuperação aumentada, sua aplicação ao QA biomédico é dificultada por limitações específicas: sensibilidade à ordem dos trechos recuperados, dificuldade em resolver evidências conflitantes, necessidade de normalização precisa de entidades e o risco de alucinação. Além disso, o desafio BioASQ Task B envolve formatos de resposta distintos — sim/não (yes/no), fatual (factoid) e lista (list) — cada um com requisitos de raciocínio e métricas de avaliação únicos. Os autores argumentam que uma estratégia de inferência única e uniforme é insuficiente para abordar os diversos critérios de raciocínio e avaliação de cada tipo de questão.

Metodologia
O artigo apresenta o ku_dmis, um framework de LLM específico para o tipo de questão, projetado para o BioASQ 14b Task B. O sistema emprega uma arquitetura modular que direciona as questões para pipelines de inferência especializados, utilizando múltiplos LLMs e estratégias de ensemble para aumentar a robustez.

1. Arquitetura do Sistema:

   • Entrada: O sistema recebe uma questão, seu tipo e trechos (snippets) relevantes do padrão-ouro (gold-standard).
   • Roteamento: Um roteador direciona a entrada para um de três ramos especializados: Sim/Não, Fatual ou Lista.
   • Abordagem de Ensemble: Múltiplos LLMs (incluindo variantes do GPT-4o, GPT-5, Claude Sonnet/Opus e modelos Gemini) são usados como raciocinadores complementares. Seus resultados são agregados para mitigar vieses específicos de cada modelo.

2. Estratégias Específicas por Tipo de Questão:

   • Questões de Sim/Não: Para lidar com a sensibilidade à ordem das evidências e sinais conflitantes, o sistema emprega o embaralhamento de trechos (snippet shuffling) combinado com autorreflexão. Cada modelo consulta os trechos embaralhados quatro vezes. Um voto de maioria determina a resposta inicial. Se as saídas forem inconsistentes, um agente de verificação intervém, estruturando a evidência em categorias positivas, negativas e incertas para tomar uma decisão binária final (Sim, Não ou Nenhum).
   • Questões Factuais: Estas exigem a identificação precisa de entidades biomédicas (ex: drogas, genes). O pipeline utiliza a entrada de trecho completo combinada com aprendizado em contexto (ICL) de Cadeia de Pensamento (CoT) baseado em recuperação. Questões de treinamento semanticamente similares são recuperadas para fornecer demonstrações que guiam o modelo no raciocínio da evidência para a resposta. As saídas de múltiplos modelos são normalizadas e agregadas via filtragem de consenso, retendo candidatos que aparecem em pelo menos três saídas de modelos, classificados por contagem de votos.
   • Questões de Lista: Para equilibrar alta revocação (recall) e precisão, uma arquitetura de colaboração multi-agente é utilizada. Isso envolve quatro agentes sequenciais:
     • Analista de Evidências: Escaneia os trechos, pontua a relevância e extrai candidatos sem se comprometer com uma resposta final.
     • Agente de Raciocínio: Gera uma lista de candidatos enquanto relê as evidências para evitar omissões.
     • Agente de Verificação: Audita a lista quanto ao embasamento, completude, formatação e duplicatas.
     • Agente Supervisor: Revisa os relatórios intermediários e o feedback para finalizar a lista, adotando-a ou revisando-a com base nos trechos originais.

3. Desenvolvimento e Avaliação:

   • As estratégias foram selecionadas com base em experimentos preliminares no conjunto de teste BioASQ 13b.
   • O sistema final foi avaliado no desafio oficial BioASQ 14b Task B através de quatro lotes (batches).
   • Variantes de submissão (ku_dmis1–5) foram testadas para otimizar o prompting, a normalização e os limiares de agregação.

Principais Contribuições

• Framework Unificado: O artigo unifica duas abordagens anteriormente distintas — ensembles baseados em LLM e frameworks de QA agênticos — em um único sistema sensível ao tipo de questão.
• Inferência Específica por Tipo: Demonstra que procedimentos de inferência distintos (votação/embaralhamento para binários, CoT/consenso para fatuais e colaboração multi-agente para listas) são necessários para lidar com as restrições específicas de raciocínio e avaliação de cada tipo de questão do BioASQ.
• Mecanismos de Robustez: A introdução de embaralhamento de trechos, agentes de verificação seletivos e ICL baseado em recuperação visa especificamente os problemas de instabilidade e alucinação comuns em aplicações de LLM biomédicos.

Resultados
Na avaliação oficial do BioASQ 14b, o sistema ku_dmis demonstrou desempenho competitivo em todos os lotes e tipos de questão:

• Sim/Não: Alcançou desempenho estável com uma pontuação média de F1 macro de 0,9110 em quatro lotes. O sistema manteve alta precisão mesmo nos lotes posteriores, mais desafiadores.
• Factual: Alcançou um MRR (Mean Reciprocal Rank) médio de 0,4626. Notavelmente, o sistema garantiu o primeiro lugar na sub-tarefa factual do Lote 4. O desempenho variou por lote, com os resultados mais fortes observados no lote final, sugerindo a eficácia do raciocínio de trecho completo e da filtragem de consenso.
• Lista: Mostrou melhoria significativa entre os lotes, com o F-measure médio subindo de 0,2734 no Lote 1 para 0,5652 no Lote 4, resultando em uma média geral de 0,4439. Essa melhoria é atribuída ao pipeline de agentes colaborativos, que reduz tanto a sobre-geração quanto a sub-geração de entidades.

Significância e Alegações
Os autores alegam que seus resultados validam a eficácia da combinação de inferência específica por tipo de questão, predição de ensemble e mecanismos de verificação explícitos para um QA biomédico confiável. O artigo enfatiza que uma estratégia de prompting "tamanho único" é subótima para os diversos requisitos da literatura biomédica. Ao adaptar o procedimento de inferência ao formato da resposta — usando votação para estabilidade em decisões binárias, consenso para precisão de entidades e colaboração de agentes para cobertura de listas — o sistema alcança um desempenho robusto.

O artigo reconhece modestamente as limitações, observando que o sistema depende de modelos proprietários (limitando a reprodutibilidade), foca em respostas exatas em vez de geração de parágrafos ideais, e que a variabilidade de desempenho sugere a necessidade de uma melhor normalização de sinônimos biomédicos e de limiares adaptativos. No entanto, a principal contribuição permanece sendo a demonstração de que pipelines especializados e sensíveis ao tipo de questão aumentam significativamente a confiabilidade e a precisão dos LLMs em domínios biomédicos complexos.