CliniCARE-Bench: Clinical Calibrated Audit of Medical Reasoning in EHR

Resumo Técnico do CliniCARE-Bench: Auditoria Clínica Calibrada de Raciocínio Médico em EHR

Declaração do Problema
Embora os grandes modelos de linguagem (LLMs) demonstrem um forte desempenho em benchmarks de conhecimento médico, sua implementação em ambientes clínicos exige capacidades que vão além da resposta a perguntas estáticas. Tarefas clínicas do mundo real frequentemente envolvem investigações retrospectivas de registros eletrônicos de saúde (EHR) heterogêneos e longitudinais. Nesses cenários, os agentes devem determinar a evidência necessária, recuperar e reconciliar dados estruturados com notas de texto livre, fundamentar conclusões em evidências verificáveis e reconhecer quando um registro é insuficiente para sustentar uma conclusão definitiva. Os benchmarks existentes frequentemente falham ao testar três capacidades críticas de segurança: raciocínio negativo (confirmar que uma condição foi descartada), síntese longitudinal profunda através de registros de vários anos e abstenção calibrada (distinguir entre evidência ausente e ambiguidade médica genuína). Além disso, poucos benchmarks avaliam a defensibilidade de um processo de adjudicação — se o agente reuniu as evidências necessárias, aplicou padrões governantes e seguiu os procedimentos exigidos — em vez de apenas a correção da resposta final.

Metodologia
Os autores introduzem o CliniCARE-Bench, um benchmark orientado à implementação para auditoria clínica retrospectiva. O framework é construído sobre os seguintes componentes:

• Substrato de Dados: O benchmark utiliza MIMIC-IV v3.1, MIMIC-IV-Note v2.2 e MIMIC-IV-ED v2.2, cobrindo dados de pacientes internados, UTI e departamento de emergência de um único centro médico acadêmico.
• Construção de Cenários: O conjunto consiste em 25 cenários elaborados por clínicos abrangendo 14 especialidades médicas e 10 capacidades de raciocínio (ex: auditoria de protocolo sensível ao tempo, validação cross-modal, síntese longitudinal). Esses cenros são instanciados como 750 casos específicos de pacientes.
• Ambiente de Ferramentas Governado: Os agentes operam em um tempo de execução reprodutível com ferramentas governadas e clinicamente verificáveis. Eles não podem acessar esquemas de banco de dados brutos diretamente, mas devem usar ferramentas parametrizadas para recuperar categorias específicas de registros (notas, exames laboratoriais, sinais vitais, etc.), realizar computações explícitas em um shell isolado (sandbox) e acessar um corpus fixo de políticas governantes (ex: KDIGO, CMS SEP-1). Cada invocação de ferramenta é registrada, criando um rastro passível de reprodução (replayable trace).
• Estrutura de Adjudicação:
  • Vereditos: Os agentes devem retornar um de quatro vereditos: Sim, Não, Indeterminado: Falta de Dados ou Indeterminado: Medicamente Ambíguo. Estes últimos dois distinguem casos onde mais evidências poderiam resolver a questão daqueles que exigem interpretação especializada mesmo após revisão completa.
  • Rótulos de Referência: Os vereditos de referência são gerados via um ensemble de adjudicação multi-modelo (Claude, Codex, Gemini) e calibrados através de uma revisão cega por um Conselho Clínico.
  • Métricas de Avaliação: O framework pontua sistemas em múltiplos eixos além da precisão bruta:
    • Correção do Veredito: Correspondência exata de quatro classes.
    • Comportamento de Abstenção: Medindo o excesso de compromisso (vereditos definitivos em casos indeterminados) e o excesso de abstenção.
    • Fundamentação (Grounding): Precisão da citação (fidelidade da evidência citada) e cobertura de evidência (completude da recuperação).
    • Fundamentação de Política: Se os agentes identificam, citam e aplicam corretamente os padrões clínicos governantes.
    • Aderência ao Processo: Uma rubrica ponderada de critérios de DEVE-FAZER (ações obrigatórias) e NÃO-DEVE-FAZER (atalhos proibidos).
    • Precisão Livre de Defeitos: Uma métrica que credita um veredito apenas se ele for correto e livre de atalhos de processo proibidos.

Principais Contribuições

1. Conjunto de Cenários Abrangendo Habilidades e Especialidades: Um conjunto de 25 cenários instanciados em 750 casos, projetado para testar rigorosamente o raciocínio crítico de segurança através de diversos domínios médicos.
2. Ambiente de Ferramentas Governado e Clinicamente Verificável: Uma superfície de execução reprodutível que isola artefatos de engenharia de consulta enquanto preserva a heterogeneidade dos registros, forçando os agentes a recuperar e reconciliar ativamente as evidências.
3. Estrutura de Avaliação Fundamentada e Consciente do Processo: Um sistema de quatro vias para vereditos pareado com fundamentação de evidência ao nível de afirmação, citação de política e uma rubrica de processo que recompensa procedimentos de investigação fiéis, não apenas a correção da resposta final.
4. Protocolo Escalável para Rotulagem Calibrada por Clínicos: Um método que combina especificações validadas por clínicos com adjudicação multi-modelo e calibração de conselho cego para produzir rótulos de referência em uma escala inalcançável por revisão manual exaustiva.

Resultados Experimentais
Os autores avaliaram 16 sistemas de agentes (10 CLIs de agentes de produção em modelos de fornecedores e 6 modelos de pesos abertos em um harness neutro). As principais descobertas incluem:

• Precisão vs. Processo: A precisão bruta de quatro vias variou de 65,3% a 76,1%. No entanto, a precisão livre de defeitos (vereditos corretos sem violações de processo) foi de 4,8 a 14,8 pontos percentuais menor. Essa lacuna reordenou o ranking; por exemplo, um sistema com alta precisão bruta caiu significativamente quando os defeitos de processo foram penalizados.
• Comportamento de Abstenção: Todos os sistemas apresentaram sub-abstenção sistemática. A taxa de excesso de compromisso (emitir um veredito definitivo quando a referência exigia adiamento/deferimento) excedeu significativamente a taxa de excesso de abstenção. Os sistemas se comprometeram excessivamente em 21,3% a 55,3% dos casos de adiamento.
• Fundamentação vs. Precisão: Houve uma dissociação entre a precisão do veredito e a qualidade da fundamentação. Os sistemas frequentemente alcançavam vereditos corretos sem citar a evidência específica que os justificava. A precisão ao nível de afirmação variou de acordo com a família do harness em vez da capacidade do modelo, sugerindo que o arcabouço de recuperação é o principal driver da qualidade da fundamentação.
• Fundamentação de Política: Embora os sistemas tenham citado documentos de política reais com alta precisão, eles frequentemente omitiram documentos governantes (baixa revocação/recall), citando apenas um subconjunto dos padrões aplicáveis.
• Confiabilidade: Tentativas repetidas mostraram que os sistemas eram frequentemente "estavelmente errados" em vez de aleatoriamente errados; a alta consistência própria não garantiu a correção, particularmente em casos indeterminados.

Significância e Alegações
O artigo afirma que o CliniCARE-Bench é o primeiro benchmark de agentes clínicos orientado à implementação que avalia conjuntamente a investigação real de EHR longitudinal, a fundamentação de evidência ao nível de afirmação, o uso de políticas governantes, a aderência ao processo e a abstenção calibrada dentro de um framework de adjudicação comum ao nível do paciente.

Os autores argumentam que a precisão bruta superestima a qualidade da investigação clínica. Uma resposta final correta pode mascarar investigações defeituosas (ex: usar atalhos proibidos ou omitir evidências). O benchmark expõe o "gap entre resultado e processo", demonstrando que, para auditoria clínica de alto risco, a defensibilidade do processo de investigação é tão crítica quanto o veredito final. Os princípios de design — uso de ferramentas governadas, adjudicação explícita, evidência rastreável e abstenção calibrada — são apresentados como uma receita geral para ambientes de agentes auditáveis aplicáveis a outros domínios de alto risco, como finanças e direito. O benchmark destina-se a informar a implementação supervisionada por humanos, medindo não apenas se um agente pode resolver um caso, mas como ele o faz e se essas decisões são transparentes e reprodutíveis.