Resumo Técnico: PHYSASSISTBENCH

Declaração do Problema

As avaliações atuais de Grandes Modelos de Linguagem (LLMs) na área da saúde avaliam predominantemente capacidades isoladas: recuperação de conhecimento médico, interação com sistemas de Prontuário Eletrônico do Paciente (EHR) ou comunicação com o paciente. No entanto, a implantação mais plausível a curto prazo para LLMs médicos não é como médicos autônomos, mas como assistentes operando sob supervisão humana. Esse papel exige a coordenação simultânea de três modalidades distintas dentro de uma única interação:

1. Solicitações Implícitas do Médico: Clínicos frequentemente emitem consultas elípticas, dependentes de contexto ou de múltiplos turnos (ex: "Dado tudo isso, troco o medicamento?") em vez de instruções totalmente especificadas.
2. Informação Ambígua do Paciente: Pacientes fornecem descrições de sintomas coloquiais, incompletas e clinicamente imprecisas.
3. Uso Preciso de Ferramentas de EHR: O sistema deve executar chamadas de ferramentas exatas baseadas em FHIR para recuperar ou atualizar registros estruturados.

Os benchmarks existentes falham em capturar este cenário integrado. Eles tipicamente tratam esses papéis de forma isolada (ex: Q&A estático ou uso de ferramenta de turno único) e não avaliam a capacidade do modelo de coordenar conhecimento, comunicação e ações de sistema ao longo de cenários clínicos evolutivos e de múltiplos turnos.

Metodologia

Benchmark PHYSASSISTBENCH

Os autores introduzem o PHYSASSISTBENCH, um benchmark projetado para avaliar LLMs como assistentes de médicos em um ambiente interativo médico-paciente-EHR.

• Fonte de Dados: Construído a partir de registros reais e desidentificados de pacientes do MIMIC-IV.
• Escala: 324 sessões de múltiplos turnos (1.296 turnos no total), avaliadas tanto em inglês quanto em chinês.
• Estrutura: Cada sessão simula um encontro clínico único com quatro turnos (Turno 0–Turno 3).
  • Turno 0: Sempre uma Busca de Informação (IL - Information Lookup) para ancorar a sessão em dados concretos.
  • Turnos 1–3: Progridem através de tarefas de Coleta de Dados (DG - Data Gathering), Raciocínio Clínico (CR - Clinical Reasoning) ou Escrita/Atualização (WU - Write/Update).
• Tipos de Tarefas:
  • Busca de Informação (IL): Recuperação de um fato único via EHR.
  • Coleta de Dados (DG): Coleta de informações de múltiplas fontes (EHR + Entrevista com o Paciente).
  • Raciocínio Clínico (CR): Síntese de achados para formar recomendações.
  • Escrita/Atualização (WU): Execução de operações de escrita FHIR (ex: prescrições).
• Subtipos de Implicitude: O benchmark testa especificamente a capacidade do modelo de lidar com consultas subespecificadas através de três mecanismos linguísticos:
  • Anáfora Nominal (NA): Pronomes que se referem a entidades anteriores.
  • Elipse de Predicado (PE): Omissão de verbos/argumentos (ex: "Creatinina?" em vez de "Qual é a creatinina?").
  • Anáfora de Evento Abstrato (AE): Referências ao contexto acumulado (ex: "Dado tudo isso...").
• Métricas de Avaliação:
  • Pontuação de Rubrica: Pontuação por turno baseada em precisão factual, interpretação clínica e ausência de alucinações.
  • Pass@Turn: Fração de turnos que passam por um limiar.
  • Pass@Session: Fração de sessões onde todos os turnos passam pelo limiar (uma métrica mais rigorosa que reflete a dependência de múltiplos turnos da prática clínica).

Pipeline de Ambiente de Paciente Agêntico

Para gerar cenários escaláveis e clinicamente fundamentados a partir de registros estáticos do MIMIC-IV, os autores desenvolveram um pipeline de dados sintéticos multi-agente:

1. Pré-filtragem de Pacientes: Verificações offline garantem que os registros contenham evidências suficientes (ex: tendências específicas de exames laboratoriais ou pares de medicamentos) para suportar o cenário alvo antes do envolvimento do LLM.
2. Planejamento de Sessão: Um agente constrói um arco clínico coerente de quatro turnos, mapeando dados estáticos para uma narrativa envolvendo ferramentas FHIR específicas e perguntas de entrevista ao paciente.
3. Geração de Nível de Turno: Um sistema multi-agente (agentes de Usuário, Planejador, Paciente, Resposta e Verificador) gera o diálogo.
   • Agente Paciente: Simula um paciente com perfis específicos de literacia em saúde e adesão, respondendo estritamente com base nas evidências subjacentes do EHR (sem alucinações contrafatuais).
   • Execução de Ferramenta: Consultas FHIR reais são executadas contra os dados do MIMIC-IV para garantir o embasamento factual.
   • Portões de Qualidade: Validação em três estágios (Plano, Observação, Resposta) filtra alucinações, erros estruturais e conteúdo inseguro.

Principais Contribuições

1. Formulação de Assistência Interativa: O artigo define a assistência médica como um problema de coordenação entre conhecimento clínico, comunicação com o paciente e sistemas de EHR, um cenário negligenciado pelas avaliações existentes de papéis isolados.
2. Pipeline Agêntico Escalável: Um novo método para transformar registros estáticos de EHR em "pacientes agênticos" interativos e fundamentados em registros, permitindo cenários de múltiplos turnos sem comprometer a factualidade clínica.
3. Lançamento do PHYSASSISTBENCH: Um benchmark revisado manualmente e validado por médicos contendo 324 sessões e 1.296 turnos, demonstrando que os principais LLMs atuais ainda não são assistentes médicos confiáveis.

Resultados Experimentais

Os autores avaliaram 14 LLMs de última geração (5 de código fechado, 9 de pesos abertos) no PHYSASSISTBENCH.

• Desempenho Geral: Mesmo os modelos mais fortes (ex: GLM-5, Claude-Opus-4.7, GPT-5.4-high) mostram limitações significativas. O melhor modelo (GLM-5) alcançou uma Pontuação Média de Rubrica (mRS) de ~69,4% (Inglês), mas o Pass@Session (consistência estrita) foi de apenas 21,3% em um limiar de 0,60 e 6,5% em 0,75.
• O Gargalo da Coordenação: O desempenho cai significamente quando as tarefas exigem a integração de múltiplas fontes.
  • Busca de Informação é robusta (~82,6%).
  • Coleta de Dados e Raciocínio Clínico são pontos fracos consistentes (~47,5% e ~54,9%, respectivamente), indicando que a composição de múltiplas ferramentas e o raciocínio são mais difíceis do que a recuperação de um único ponto.
• Impacto de Consultas Implícitas: Os modelos sofrem uma penalidade mensurável quando as consultas são implícitas.
  • A Anáfora de Evento Abstrato (AE) causou a maior queda de desempenho (média de -5,3% em comparação com consultas explícitas).
  • Modelos menores (ex: Qwen3.5-27B) mostraram extrema fragilidade à implicitude (queda de até -9,8%), enquanto modelos mais fortes permaneceram mais estáveis.
• Lacuna de Comunicação com o Paciente: Todos os modelos tiveram desempenho substancialmente inferior em turnos de Entrevista com o Paciente comparado aos turnos apenas de EHR (queda média de 26,4 pontos). Isso sugere que lidar com entradas de pacientes ambíguas e coloquiais é um gargalo de capacidade distinto, independente da capacidade geral do modelo.
• Viés de Linguagem: Modelos não chineses tiveram um desempenho surpreendentemente melhor em sessões em chinês (até +11,4% Pass@Session), atribuído a "priors de segurança condicionadas à linguagem", onde os dados de treinamento em inglês suprimem chamadas de ferramentas de EHR devido a avisos de segurança.

Significância e Alegações

O artigo afirma que a assistência clínica confiável requer a coordenação entre conhecimento, comunicação e sistemas, não apenas ganhos isolados em qualquer um deles.

• Estado Atual: Os principais LLMs ainda não são assistentes médicos confiáveis. Eles têm dificuldade em resolver a intenção implícita, lidar com a ambiguidade do paciente e integrar evidências de múltiplas fontes em um único fluxo de trabalho.
• Paradigma de Avaliação: Os autores argumentam que os benchmarks atuais focados em Q&A estático ou uso de ferramenta de turno único são insuficientes. A dimensão da "interação" — especificamente a capacidade de manter o contexto, resolver elipses e coordenar ferramentas ao longo de múltiplos turnos — é o principal gargolo para a implantação de LLMs clínicos.
• Direção Futura: O benchmark serve como um recurso para testar o raciocínio de múltiplos turnos e o uso de ferramentas estruturadas, destacando que o progresso futuro deve focar na coordenação agêntica em vez de apenas expandir o conhecimento médico paramétrico.

Os autores declaram explicitamente que o benchmark é apenas para avaliação de pesquisa e não se destina à implantação clínica ou tomada de decisão autônoma. Eles reconhecem limitações na cobertura de cenários (focando em quatro fluxos de trabalho clínicos específicos) e a dependência dos dados do MIMIC-IV, que podem não se generalizar para todos os sistemas de saúde.