Retrieval Augmented Biomedical Question Answering with Weak Question Recovery and Neural Reranking for BioASQ Task 14b

Resumo Técnico: Resposta a Perguntas Biomédicas com Recuperação Aumentada por Recuperação (RAG) com Recuperação de Perguntas Fracas e Reclassificação Neural

Declaração do Problema
O questionamento (QA) biomédico enfrenta desafios significativos devido ao crescimento rápido da literatura, terminologia específica do domínio, variabilidade de sinônimos e a necessidade de raciocínio multi-salto (multi-hop reasoning). Embora os Grandes Modelos de Linguagem (LLMs) tenham melhorado a geração de texto, a qualidade da recuperação continua sendo um gargalo; os documentos recuperados frequentemente contêm evidências ruidosas, parciais ou fracamente relacionadas, levando a alucinações ou respostas incorretas a jusante. Especificamente, pipelines de recuperação padrão costumam falhar em consultas "fracas" que envolvem doenças raras ou relações complexas entre entidades, onde a sobreposição lexical é baixa. O benchmark BioASQ Task 14b destaca essas dificuldades, exigindo que os sistemas não apenas recuperem documentos e trechos relevantes, mas também gerem respostas exatas e resumos ideais através de quatro tipos de perguntas (sim/não, fatual, lista, resumo).

Metodologia
Os autores apresentam um pipeline unificado desenvolvido pela equipe DS@GT ARC BioASQ, integrando expansão de consulta de múltiplas fontes, reclassificação neural, um mecanismo de recuperação condicional de perguntas fracas e geração assistida pelo OpenBioLLM.

1. Pipeline de Recuperação e Reclassificação:

   • Expansão de Consulta: O sistema expande as consultas utilizando três estratégias: expansão de memória de treinamento (baseada em perguntas similares do BioASQ), expansão de sinônimos biomédicos via OpenBioLLM e aumento baseado em relações (capturando ligações entre doença-tratamento ou gene-via).
   • Recuperação Inicial: As consultas expandidas são enviadas à API do PubMed (NCBI E-utilities) para recuperar documentos candidatos (60–100 por pergunta).
   • Reclassificação Neural (Reranking): Um modelo SentenceTransformer baseado em MiniLM, ajustado (fine-tuned), reclassifica os candidatos com base na similaridade semântica. Isso é combinado com sinais heurísticos (sobreposição de título, correspondência de palavras-chave, alinhamento de entidades).
   • Fusão: Os resultados de múltiplas expansões de consulta são fundidos usando Reciprocal Rank Fusion (RRF) para melhorar a robustez.

2. Recuperação de Perguntas Fracas:

   • Um mecanismo condicional identifica consultas de baixo desempenho com base na qualidade dos trechos (snippets) (escores de relevância lexical < 0,35) e sinais de recuperação (baixa contagem de artigos únicos, alta redundância).
   • Para esses casos específicos, o sistema aplica expansão semântica direcionada e aumento baseado em relações para recuperar evidências relevantes, fundindo seletivamente os resultados melhorados em vez de substituir todo o conteúdo de saída.

3. Seleção e Poda de Trechos (Snippet Selection and Pruning):

   • A análise do conjunto de treinamento revelou retornos decrescentes na cobertura de vocabulário além de dois trechos por pergunta. Consequentemente, o pipeline emprega uma poda controlada para remover trechos redundantes ou de baixa relevância, equilibrando precisão e revocação para otimizar a eficiência do prompt para a geração a jusante.

4. Geração de Respostas:

   • Modelo: O sistema utiliza o aaditya/Llama3-OpenBioLLM-70B como espinha dorsal generativa. Para ajustar este modelo de 70B em uma única NVIDIA A100 (40 GB), a Quantização de Pesos Consciente de Ativação (AWQ) é aplicada, comprimindo os pesos para precisão de 4 bits enquanto protege os canais salientes.
   • Inferência: O modelo é servido via vLLM com PagedAttention para gerenciar a fragmentação de memória.
   • Prompting: Prompts estruturados são usados com instruções de formatação específicas por tipo (ex: "EXACT: yes/no" para fatuais, entidades delimitadas por barras para listas) para garantir a conformidade com os esquemas do BioASQ.
   • Fases: A Fase A+ utiliza evidências recuperadas para a geração, enquanto a Fase B utiliza evidências de ouro (gold evidence) curadas pelos organizadores, permitindo a ablação dos efeitos da qualidade da recuperação.

Resultados Principais

• Recuperação (Fase A): O pipeline proposto alcançou uma Precisão Média (MAP) de 0,0956 no Lote 4. Estudos de ablação local mostraram que o framework completo (incluindo recuperação de perguntas fracas e limpeza) melhorou o MAP@10 de 0,0745 (baseline) para 0,0955, um aumento relativo de ~28%. O sistema superou consistentemente configurações de reclassificação alternativas usando bi-encoders MPNet maiores ou cross-encoders genéricos do MS MARCO, sugerindo que o ajuste fino específico do domínio combinado com estratégias de recuperação é mais eficaz do que simplesmente aumentar o tamanho do modelo.
• Respostas Exatas (Fase A+ & B): O desempenho variou por lote e tipo de pergunta. Na Fase B (usando evidência de ouro), o sistema alcançou um macro-F1 de sim/não de 0,8952 (Lote 3) e uma acurácia estrita de fatos de 0,4118. Isso indica que, quando evidências de alta qualidade são fornecidas, o framework OpenBioLLM gera respostas exatas confiáveis.
• Respostas Ideais: Os escores ROUGE para resumos ideais foram menores que as métricas de respostas exatas (ex: ROUGE-2 F1 ~0,1758 no Lote 3), sugerindo que, embora o refinamento da recuperação ajude significativamente a previsão de respostas exatas, a geração de resumos abstrativos continua sendo um desafio que requer mais ajuste de instrução (instruction tuning).

Significância e Alegações
O artigo alega que a principal contribuição reside em demonstrar que o refinamento consciente da recuperação e a seleção controlada de evidências são críticos para um QA biomédico robusto. Especificamente:

• Recuperação Direcionada: Uma estratégia de recuperação de perguntas fracas condicional aborda efetivamente consultas difíceis sem exigir modificações globais na arquitetura central de recuperação.
• Eficiência vs. Tamanho: A reclassificação leve (MiniLM) combinada com o refinamento estratégico de recuperação produz melhores equilíbrios entre eficácia e eficiência computacional do que modelos maiores e genéricos.
• Fundamentação de Evidências: Os resultados enfatizam que a qualidade da resposta é altamente dependente da qualidade da evidência; falhas de recuperação correlacionam-se diretamente com erros de geração, particularmente para perguntas factuais e de listas, onde perder uma única entidade impacta as métricas.
• Engenharia de Sistema: O trabalho destaca que a formatação robusta, o pós-processamento e a poda de trechos são tão vitais quanto os próprios modelos de recuperação e geração para garantir a validade da submissão e a estabilidade da avaliação em ambientes de benchmark.

Os autores concluem que, embora seu sistema não tenha atingido o topo absoluto de todas as submissões do BioASQ, o framework proposto demonstra que a integração de recuperação adaptativa, geração focada em evidências e pós-processamento rigoroso produz sistemas de QA biomédico confiáveis e computacionalmente eficientes.