Resumo Técnico: OpenBioRQ

Definição do Problema

Os atuais benchmarks de agentes em biomedicina assumem amplamente a existência de uma chave de respostas conhecida e verificável. Essa premissa mascara modos de falha críticos: quando um modelo consegue ecoar uma fonte pré-especificada, ele evita a necessidade de verificar independentemente se um artigo recuperado realmente sustenta sua afirmação. Consequentemente, as avaliações existentes falham em detectar citações de "artigo errado" (onde um identificador real e resolvível aponta para um artigo que não suporta a afirmação) e o "colapso de agente" (onde os agentes abandonam o uso de ferramentas em questões difíceis). Além disso, as auditorias de citação padrão focam apenas na existência de uma referência (o PMID resolve?), ignorando a falha mais perigosa de vincular um identificador válido a uma afirmação não sustentada.

O artigo identifica uma lacuna no cenário de avaliação: a interseção entre configurações de agentes (que exigem o uso de ferramentas) e questões não resolvidas (sem chave de resposta de verdade fundamental). Este quadrante é subexplorado porque a construção de benchmarks sem chaves de resposta é estruturalmente difícil; sem uma chave, é desafiador verificar se uma questão é genuinamente aberta ou se a resposta de um modelo está correta.

Metodologia

O Benchmark OpenBioRQ

O OpenBioRQ é um benchmark fundamentado em recuperação que compreende 12.553 questões de pesquisa biomédica não resolvidas em 12 domínios. O corpus é construído via um pipeline de cinco estágios: rastreamento (crawl), extração, refinamento, deduplicação e exportação.

• Fontes: As questões são extraídas de fontes autoritativas que delineiam problemas abertos, incluindo PubMed, registros de ensaios clínicos, arXiv, James Lind Alliance Priority Setting Partnerships, recomendações de pesquisa da NICE e literatura de lacunas de pesquisa da Cochrane.
• Verificação de Abertura: Diferente de trabalhos anteriores que dependem do enquadramento da fonte, o OpenBioRQ utiliza um verificador de status fundamentado em recuperação. Este sistema reúne evidências reais de acompanhamento (ex: citando artigos, resultados de ensaios) para rejulgar se uma questão permanece aberta. Uma reauditoria do conjunto principal encontrou 0/657 questões resolvidas.
• Dificuldade Empírica: A dificuldade não é rotulada manualmente, mas derivada empiricamente. Um "roster" de três modelos de pesos abertos (GLM-5.1, Qwen3.6, DeepSeek-V4) tenta cada questão. Uma questão é rotulada como core (central) apenas se todos os três falharem nela (pontuação < 0,5). Um frozen core (núcleo congelado) de 423 questões é definido como aquelas que todos os três falham mesmo sob decodificação determinística ($T=0$).
• Protocolo de Avaliação:
  • Harness Agêntico: Modelos interagem com 10 APIs REST biomédicas (ex: PubMed, ClinicalTrials.gov, OpenFDA) por até 10 rodadas de raciocínio e chamadas de ferramentas.
  • Pontuação de Checklist Congelado: Em vez de julgamento por LLM de forma livre, cada questão é pontuada contra um checklist fixo por questão, gerado uma única vez e mantido constante. Os critérios incluem "deve mencionar", "deve reconhecer" (incerteza), "deve fundamentar" (evidência) e "deve evitar" (fabricação). Isso eleva a concordância entre juízes (Spearman) de 0,35 para 0,82.
  • Auditoria de Citação de Dois Níveis:
    • L1 (Existência): O identificador resolve para um artigo real?
    • L2 (Suporte de Conteúdo): O artigo resolvido realmente suporta a afirmação?

Contribuições Principais

1. Primeiro Benchmark Agêntico × Não Resolvido: O OpenBioRQ é o primeiro benchmark biomédico que combina uma configuração agêntica com questões não resolvidas que carecem de uma chave de resposta, tratando a tarefa como uma sonda para fidelidade e abstenção.
2. Auditoria de Citação de Dois Níveis: O artigo introduz uma auditoria rigorosa que distingue entre existência de citação e suporte de citação. Revela que, embora agentes biomédicos raramente fabriquem identificadores (taxa de falha L1 $\approx 0,7\%$), eles frequentemente vinculam artigos reais a afirmações não sustentadas (taxa de falha L2 $\approx 15,9\%$).
3. Observação de Colapso Agêntico: O benchmark evidencia um modo de falha onde os agentes, particularmente em questões mais difíceis, abandonam totalmente o uso de ferramentas (colapso de zero-ferramenta), revertendo para a recitação paramétrica.
4. Construção de Dificuldade Empírica: O artigo demonstra um método para construir benchmarks difíceis sem rótulos de dificuldade humana, usando as taxas de falha dos modelos para definir o conjunto "core", garantindo que o benchmark permaneça não saturável à medida que os modelos melhoram.

Resultados

Fidelidade da Citação

• Existência não é Corretude: Em um conjunto de 4.863 citações, 99,3% resolveram para artigos reais. No entanto, 15,9% dessas citações resolvidas eram de "artigo errado" (não suportavam a afirmação). Esta taxa foi confirmada por uma família de juízes independente (Opus-4.7) em 10,6%.
• Lacuna de Severidade: O artigo hipotetiza que citações de artigos errados são mais perigosas do que as fabricadas porque o identificador resolvível confere falsa autoridade à afirmação.

Desempenho dos Agentes

• Dificuldade Não Saturável: Mesmo os agentes de fronteira mais fortes (Gemini-3-Pro, Opus-4.7, GPT-5.5) resolvem apenas 29–60% do núcleo congelado. O melhor agente deixa $\sim 33–40\%$ das questões sem solução, indicando que o benchmark é discriminatório e não saturado.
• Colapso Agêntico: Nas questões mais difíceis, modelos como GLM-5.1 e DeepSeek-V4 exibem altas taxas de zero-ferramenta (65% e 62%, respectivamente). Uma ablação de "sem ferramenta" para o GLM-5.1 mostrou que não houve degradação de desempenho, sugerindo que as ferramentas param de compensar exatamente onde são mais necessárias.
• Divergência de QA de Forma Fechada: Modelos que se agrupam estritamente em benchmarks de forma fechada (ex: MedQA, onde o desempenho varia apenas 3,9 pontos) mostram grande dispersão no OpenBioRQ (variando 7,6x nas taxas de resolução), revelando uma lacuna de resolução nas métricas de avaliação atuais.

Robustez

• Independência do Juiz: Os resultados são robustos a trocas de família de juízes (GLM vs. Opus), com desvios na taxa de resolução $\le 4,1$ pontos e preservação da ordenação dos modelos.
• Cobertura de Domínio: O benchmark abrange 12 domínios, com o núcleo congelado distribuído entre todos eles, garantindo que os achados não sejam artefatos específicos de um domínio.

Significância e Alegações

O artigo alega que o OpenBioRQ visa o auxílio à pesquisa — especificamente a recuperação de evidências e a citação fiel — em vez do suporte à decisão clínica. Sua principal significância reside em expor uma lacuna crítica de confiabilidade em sistemas biomédicos agênticos: a tendência de anexar citações reais e resolvíveis a afirmações não sustentadas.

Os autores argumentam que verificações de existência são "falsa sensação de segurança". Na biomedicina, o modo de falha dominante não é a fabricação de referências (como visto em domínios matemáticos), mas a atribuição incorreta de referências reais. Consequentemente, o suporte de conteúdo L2, e não a existência L1, deve ser a salvaguarda de confiabilidade.

Além disso, o artigo destaca o colapso agêntico como uma falha estrutural onde os agentes param de usar ferramentas nas questões mais difíceis, tornando os benchmarks aumentados por ferramentas ineficazes para medir a capacidade real nesses regimes. Ao remover a chave de resposta, o OpenBioRQ força os agentes a demonstrar fundamentação e abstenção calibrada, comportamentos que são invisíveis no QA de forma fechada padrão.

O benchmark é lançado como um artefato congelado (lista fixa de 423 questões centrais com um cache de replay de resposta de ferramenta) para garantir a reprodutibilidade, apesar do alvo móvel da literatura biomédica ao vivo e das respostas de API. Os autores declaram explicitamente que o recurso serve para avaliar a fundamentação de literatura e não deve ser usado para orientar o cuidado ao paciente.