An auditable, retrieval-grounded agent architecture improves medical accuracy and conversational safety in language models

Resumo Técnico: Uma Arquitetura de Agente Auditável e com Fundamentação em Recuperação

Problema
Modelos de linguagem de propósito geral (LLMs) demonstram alta precisão em exames médicos, mas permanecem não confiáveis em conversas clínicas. O artigo identifica modos de falha específicos inerentes aos LLMs padrão: eles supõem sob incerteza, perdem o contexto em interações de múltiplos turnos, confirmam premissas errôneas (sicofancia) e resistem à auditoria. Essas falhas representam riscos significativos à segurança do paciente, incluindo o reforço de crenças delirantes e respostas inadequadas a intenções de autolesão. Os autores argumentam que a segurança e a confiabilidade não são propriedades apenas dos pesos do modelo, mas exigem uma arquitetura de nível de sistema que possa adiar, substituir e reconstruir o raciocínio.

Metodologia: O Agente Asha
O artigo apresenta o Asha, um agente clínico neurosimbólico que envolve um modelo de linguagem de propósito geral (o "backbone") com quatro componentes simbólicos determinísticos e uma camada de auditoria. Esta arquitetura é projetada para funcionar como um executivo externo, compensando a natureza "rápida e livre de modelo" do backbone LLM.

1. Pontuação de Stakes (Gravidade): Uma camada simbólica atribui uma pontuação de risco clínico e complexidade a cada consulta. Esta pontuação de "gravidade" governa a profundidade do cálculo, roteando as consultas para diferentes níveis do sistema:
   • Asha Base: Uma única passagem fundamentada em recuperação.
   • Asha Mid: Uma fusão de três modelos de rascunhos fundamentados em recuperação de diferentes famílias de modelos de fronteira.
   • Asha Apex: Um ensemble de múltiplos especialistas com um compositor especialista no domínio, reservado para consultas de alto risco.
2. Fundamentação por Recuperação (Retrieval Grounding): As respostas candidatas são ancoradas em evidências recuperadas de um corpus curado de fontes médicas e científicas (20 coleções, ~111 milhões de vetores). Isso reduz a dependência da recuperação paramétrica.
3. Falsificação por Recuperação Inversa: Antes que uma afirmação seja admitida, o sistema realiza uma busca inversa por evidências desconfirmadoras. Se evidências contraditórias forem encontradas, a confiança da afirmação é reduzida ou a resposta é alterada. (Nota: Esta etapa foi desativada para a execução de precisão Profissional, mas ativa para a execução Hard).
4. Composição de Especialista de Domínio: O conteúdo fundamentado sobrevivente é montado em uma resposta única e apropriada à especialidade.
5. Registro Auditável: Cada interação emite um registro imutável, ancorado por hash, da evidência utilizada e um hash da resposta, armazenado em um livro-razão Merkle. Isso permite que clínicos ou auditores reconstruam o processo de raciocínio e verifiquem que os registros não foram alterados.

Principais Contribuições

• Segurança Arquitetônica: O artigo demonstra que as melhorias de segurança são arquitetônicas e não específicas do modelo. Ao manter o backbone do modelo fixo e variar apenas o sistema circundante, os autores isolam os ganhos à própria arquitetura.
• Desempenho Independente de Modelo: O sistema é projetado para ser agnóstico ao modelo, permitindo que adote novos backbones de fronteira enquanto retém fundamentação, segurança e auditabilidade. Isso isola o sistema da retirada de modelos proprietários específicos.
• Integração Neurosimbólica: O trabalho integra percepção neural (geração fluente) com raciocínio simbólico explícito (restrições, verificação e auditoria), abordando os modos de falha de "amnésia" e "alucinação" de sistemas puramente neurais.

Resultos
O estudo avalia o Asha através de vários benchmarks usando avaliadores consistentes e nomeados:

• HealthBench Professional (525 perguntas voltadas para clínicos): Avaliado sob o avaliador Claude Opus 4.8 (o mesmo avaliador que a Anthropic usa para seus próprios modelos), o Asha Apex pontuou 70,5% na métrica de conteúdo da rubrica, superando os 66,0% reportados para o Claude Mythos 5. Na métrica ajustada por comprimento, a configuração condensada do Asha atingiu 65,5%, alcançando paridade com o Mythos 5.
• HealthBench Standard (5.000 perguntas): O Asha Base pontuou 44,1% (posicionando-se entre o o1 e o GPT-4.1), enquanto o Asha Mid atingiu 60,6% (classe o3).
• HealthBench Hard (1.000 perguntas): Este conjunto isola perguntas onde os modelos de fronteira colapsam. O Asha Apex pontuou 44,8%, excedendo todos os modelos de fronteira puros testados (ex: GPT-5.2 com 40,3%, GLM-5.2 com 16,2%). A arquitetura mostrou ganhos monotônicos através dos níveis, com o Asha Mid adicionando 9,7 pontos sobre o Asha Base no subset compartilhado.
• Replicação Independente: Em um pipeline independente comparando contra ferramentas clínicas comerciais, o Asha Apex excedeu tanto o OpenEvidence (62,6%) quanto o UpToDate Expert AI (61,3%) sob cada configuração de avaliador testada (72,6% vs. 62,6%/61,3%).
• Psychosis-Bench (Segurança): Em um experimento controlado mantendo o backbone (gemini-2.5-flash) fixo, o modelo puro alcançou uma taxa de intervenção segura de 30,2%. Quando envolto na arquitetura Asha, a taxa subiu para 95,8% (P = 4,0 × 10⁻²³). As pontuações de confirmação de delírio e facilitação de danos caíram drasticamente. O nível de pico (Asha Apex) alcançou 97,9% de intervenção segura contra um modelo de pesos abertos puro (GLM-5.2), que pontuou 80,2%.
• MedQA: O Asha pontuou 95,5% em um split de 1.273 questões, comparável aos mais fortes baselines de fronteira.

Significância e Alegações
O artigo afirma que os resultados apoiam uma única tese: a composição em torno de um modelo de linguagem de propósito geral eleva tanto a precisão médica quanto a segurança conversacional, e a melhoria é uma propriedade da arquitetura, não de um modelo específico.

Os autores argumentam que a escala sozinha não resolve a segurança ou a confiabilidade clínica. Em vez disso, a integração de raciocínio simbólico, conhecimento curado e restrições formais (fundamentação, falsificação, roteamento consciente de riscos) cria um sistema que é:

1. Fundamentado: As afirmações estão ligadas a evidências externas.
2. Falsificável: As afirmações são testadas contra evidências desconfirmadoras.
3. Protegido por Segurança: Consultas de alto risco disparam deferência ou escalonamento.
4. Auditável: Cada decisão deixa um registro verificável e imutável.

O artigo posiciona esta arquitetura como uma evolução necessária para domínios regulados como a medicina, onde a capacidade de mostrar por que uma resposta foi produzida, adiar quando os riscos excedem a confiança e deixar um registro inspecionável é o padrão para uma "IA médica fiduciária". Os autores observam que, embora a arquitetura melhore o desempenho, ela não elimina a necessidade de supervisão humana, particularmente para os julgamentos semânticos mais difíceis que resistem à verificação formal.