Resumo Técnico: DrugClaw e DrugAudit

Declaração do Problema

O questionamento de informações sobre fármacos (QA - Question Answering) opera em um ambiente de alto risco, onde fatos alucinados podem induzir erroneamente a decisões clínicas. Embora os Grandes Modelos de Linguagem (LLMs) demonstrem um forte conhecimento biomédico geral, seu conhecimento paramétrico degrada-se rapidamente fora de áreas de doenças com alto volume de recursos, e eles carecem de trilhas de auditoria nativas para fontes regulatórias ou revisadas por pares. Além disso, agentes aumentados por ferramentas existentes frequentemente falham ao saltar fontes regulatórias primárias em favor da primeira URL disponível ou ao fabricar numéricos plausíveis sem citações.

Existe uma lacuna crítica na camada de avaliação: a pontuação de QA biomédico atual geralmente gradua a correção superficial da resposta, mas falha em distinguir entre citações a fontes primárias ascendentes (ex: Rótulos do FDA, FAERS) e agregadores descendentes dessas mesmas fontes. Em contextos regulados de informação sobre fármacos, a proveniência não é meramente uma escolha de apresentação, mas um eixo fundamental de avaliação.

Metodologia

O Sistema DrugClaw

O DrugClaw é um sistema de recuperação aumentada multi-agente projetado para consultar um registro de habilidades de fármacos e farmacovigilância por meio de um fluxo de trabalho de máquina de estados impulsionado por reflexão. Sua arquitetura é construída sobre três objetivos de design:

1. Rastreabilidade de fonte primária: Cada afirmação emitida deve carregar um identificador resolúvel contra um registro regulatório primário ou revisado por pares.
2. Abstenção calibrada: O sistema deve recusar-se a responder quando as habilidades subjacentes não retornarem evidências de suporte, em vez de fabricar fatos.
3. Profundidade de recuperação adaptativa: O loop de recuperação e raciocínio termina assim que a evidência é suficiente, mas aprofunda-se automaticamente quando a evidência é escassa.

Arquitetura e Fluxo de Trabalho:
O sistema opera como um sistema dinâmico discreto sobre um estado $S_t = (P_t, E_t, G_t, a_t, r_t)$, onde $P_t$ é o plano de consulta, $E_t$ é o pool de evidências, $G_t$ é um grafo de afirmação-evidência, $a_t$ é a prosa de resposta intermediária e $r_t$ é uma pontuação de suficiência de reflexão. O fluxo de trabalho itera através de seis agentes especializados (Plano, Recuperação, Construtor de Grafo, Reclassificador, Resposta, Refletor) até que $r_t \geq \tau_{suff}$ ou que um número máximo de iterações seja atingido.

• Registro de Habilidades: O DrugClaw acessa um registro fechado de 57 habilidades ativas extraídas de mais de 70 recursos curados (ex: openFDA, ChEMBL, DrugBank, PharmGKB, SIDER). Estas estão organizadas em uma taxonomia de 15 subcategorias.
• Agente de Código em Sandbox: Para garantir segurança e determinismo, a recuperação é mediada por um Agente de Código. Este agente traduz subconsultas em uma sublinguagem Python restrita ($L_{safe}$) que proíbe iteração ilimitada e execução dinâmica. O código é executado em um sandbox de apenas proxy com um tempo limite (timeout) rígido. Se a validação ou o tempo de execução falhar, o sistema recorre a uma chamada de API direta.
• Mecanismo de Reflexão: O agente Refletor calcula uma pontuação de suficiência $\rho_{t+1}$ baseada em cobertura, completude, qualidade da fonte, consistência e acionabilidade. Uma penalidade de regressão é aplicada se a nova pontuação for menor que a anterior, desencorajando o "oscilação" (thrashing) entre as iterações.
• Modos de Raciocínio: O sistema suporta três modos:
  • Linear: Um fluxo de passagem única que prioriza baixa latência.
  • Grafo: Um fluxo iterativo completo com construção de grafo de afirmação-evidência e reclassificação.
  • Apenas Web: Um modo de contingência que ignora o registro para busca direta na web (usado apenas quando o registro é insuficiente).

O Benchmark DrugAudit

Para avaliar estes sistemas, os autores introduzem o DrugAudit, um benchmark de 3.772 itens consciente de autoridade derivado de nove bases de dados de origem. Diferente dos benchmarks padrão, o DrugAudit inclui citações de padrão-ouro com localizadores de nível de campo e URLs.

Painel de Métricas Consciente de Autoridade:
O framework de avaliação introduz quatro métricas para abordar vieses estruturais em pontuações anteriores:

1. Correspondência de Autoridade da Fonte: Utiliza uma regra de balde de equivalência e uma relação assimétrica "ascendente de" (upstream-of). Concede crédito se um sistema citar uma fonte primária ascendente (ex: FAERS) mesmo que o padrão-ouro cite um agregador descendente (ex: SIDER), desde que a fonte ascendente seja autoritativa para aquela consulta.
2. Sobreposição Semântica de Trechos: Substitui a correspondência estrita de substrings por similaridade Jaccard de tokens sobre tokens que não sejam stop-words.
3. Taxa de Fonte Primária: Calcula o peso médio das fontes citadas com base em uma hierarquia (1.0 para regulatório/revisado por pares, 0.7 para bases de conhecimento curadas, 0.5 para agregadores).
4. Taxa de Fidelidade (Faithfulness Rate): Mede a fração de citações previstas que estão fundamentadas no universo da fonte padrão ou no texto da resposta.

Protocolo de Avaliação:
O artigo emprega um protocolo de duplo-juiz LLM-como-juiz usando Llama-3.1-70B-Instruct e gpt-oss-120b. Estes juízes são externos a todos os sistemas candidatos para eliminar o viés de auto-preferência. Eles pontuam a correção da resposta com base em regras de equivalência factual (conversão de unidades, tolerância de arredondamento, insensibilidade à ordem) e lógica de recusa calibrada. O acordo entre juízes ($\kappa$) é reportado como 0.88 (quase perfeito).

Principais Contribuições

1. DrugClaw: Um sistema multi-agente fundamentado em autoridade que consulta um registro fechado de fontes regulatórias e revisadas por pares vetadas, garantindo que cada afirmação seja rastreável a um registro primário.
2. DrugAudit: Um benchmark de 3.772 itens com um painel de avaliação que pontua explicitamente a correspondência de fonte ascendente do padrão-ouro, sobreposição semântica de tokens e fidelidade de citação.
3. Protocolo de Duplo Juiz: Um método de avaliação escalável usando dois LLMs de pesos abertos independentes para alcançar um acordo quase perfeito ($\kappa = 0.88$) sobre a correção da resposta.
4. Resultados Empíricos: Comparação abrangente de sete sistemas, demonstrando que o DrugClaw supera as linhas de base em taxas de fonte primária e densidade de evidência.

Resultados

Avaliado no DrugAudit, MedQA (subconjunto relacionado a fármacos, 751 itens) e PubMedQA (subconjunto relacionado a fármacos, 512 itens), o DrugClaw alcançou o desempenho top-1 em todas as métricas principais:

• Taxa de Fonte Primária: O DrugClaw-graph alcançou 0.918, uma melhoria de 10.1 pontos percentuais (pp) sobre o segundo melhor sistema (0.817).
• Fidelidade: O DrugClaw-linear alcançou 0.887, uma melhoria de 5.9 pp sobre o segundo melhor.
• Índice de Evidência Composta (EI): O DrugClaw-graph pontuou 0.632 (juiz Llama) e 0.623 (juiz gpt-oss), liderando todas as linhas de base.
• Precisão de Forma Fechada: O DrugClaw-graph alcançou 0.920 no MedQA e 0.693 no PubMedQA.
• Recusa Calibrada: O DrugClaw recusou-se a responder em 41–48% dos itens. Entre essas recusas, 91–97% alinharam-se com as respostas padrão indicando "sem dados", enquanto as linhas de base mostraram apenas 1–5% de alinhamento. Isso indica que o sistema se abstém efetivamente quando a evidência é insuficiente.

Os resultados mostam que, embora a precisão de forma fechada tenha sido competitiva (dentro dos intervalos de confiança de bootstrap das linhas de base), as métricas conscientes de autoridade (taxa de fonte primária e Índice de Evidência) mostraram uma separação estatisticamente significativa das linhas de base.

Significância

O artigo afirma que o DrugClaw e o DrugAudit abordam a necessidade crítica de proveniência na QA de informações sobre fármacos. Ao distinguir entre registros regulatórios primários e agregadores descendentes, o sistema operacionaliza os padrões de relatórios de medicina baseada em evidências. Os resultados sugerem que uma abordagem de registro fechado com recuperação adaptativa e recusa calibrada produz uma qualidade estrutural superior nas citações e menores taxas de alucinação em comparação com abordagens de web aberta ou puramente paramétricas. O protocolo de duplo juiz e as métricas conscientes de autoridade fornecem um framework robusto para avaliar futuros sistemas de recuperação aumentada em domínios regulados.

Os autores observam limitações, incluindo a dificuldade de processar prosa de múltiplas afirmações do modo grafo por juízes LLM e o compromisso de cobertura inerente a um registro fechado (que pode perder fármacos de cauda longa ainda não presentes no registro). No entanto, eles afirmam que a abordagem não requer o retreinamento de modelos e oferece um caminho concreto para uma IA clínica mais auditável.