PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

Resumo Técnico: PSEBench

Problema
A triagem de eventos de segurança do paciente (PSE) envolve determinar se um incidente clínico é passível de notificação sob políticas jurisdicionais específicas (por exemplo, os 29 Eventos Adversos de Saúde Notificáveis de Minnesota, MN29). Esta é uma tarefa de alto risco que exige que especialistas fundamentem suas decisões em políticas legais, identifiquem fatos críticos ausentes e se abstenham de tomar uma decisão binária quando a política for ambígua. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para automação, os benchmarks existentes falham em avaliá-los adequadamente. O trabalho anterior foca em classificação descritiva isolada (ex: tipo de evento, gravidade) em vez do raciocínio complexo baseado em políticas exigido para a triagem. Além disso, gerar benchmarks confiáveis para este domínio é desafiador devido à necessidade de fidelidade estrita à política, ao requisito de busca de informações em múltiplas etapas (multi-turn) e à necessidade de lidar com casos irredutivelmente ambíguos sem a necessidade de uma cara e dispendiosa anotação humana post-hoc.

Metodologia
Os autores propõem o PSEBench, um benchmark controlável e verificável construído por meio de uma metodologia baseada em políticas centrada em cartões de cláusulas (clause cards).

1. Construção dos Cartões de Cláusulas:

   • A inovação central é o "cartão de cláusula", uma especificação de decisão estruturada que fatoriza o texto regulatório em variáveis auditáveis: tipo de evento ($s$), condições de contorno ($B$), elementos do evento ($E$), um mapeamento $\rho$ de condições para elementos, o veredito pretendido ($y$), base legal ($G$) e restrições de instanciação ($\Phi$).
   • Estes cartões são criados via um protocolo assistido por LLM com intervenção humana (human-in-the-loop). Os LLMs realizam uma "extração leal" do texto da política e uma "redação estruturada" de candidatos a cartões, que são então rigorosamente auditados por especialistas humanos para garantir que as condições de contorno sejam necessárias e conjuntamente suficientes para o veredito.

2. Pipeline de Geração Controlável e Verificável:

   • Instanciação Baseada em Âncoras: Relatórios de incidentes reais desidentificados (do Conselho do Japão para Qualidade de Cuidados de Saúde) servem como "materiais âncora" para injetar realismo clínico e diversidade.
   • Fase I (Instanciação Factual): Um LLM instancia os elementos do evento ($E$) a partir do material âncora em um registro factual estruturado. Um verificador automatizado checa se esses fatos satisfazem as condições de contorno ($B$) e as restrições ($\Phi$) do cartão de cláusula.
   • Fase II (Verbalização Narrativa): Um segundo LLM converte os fatos verificados em uma narrativa clínica de texto livre.
   • Verificação de Ciclo Fechado: Um Extrator analisa a narrativa gerada para recuperar os fatos subjacentes, que são confrontados com o registro estruturado original por um Verificador de Narrativa. Isso garante que a narrativa codifique fielmente os fatos pretendidos sem "deriva silenciosa de rótulo" (silent label drift — alucinações que alteram o veredito).

3. Variantes do Benchmark:

   • Casos Completos: Todos os fatos decisivos estão presentes.
   • Casos de Informação Ausente: Um subconjunto de fatos decisivos ($E'$) é retido da narrativa, exigindo que o agente solicite proativamente por eles. O ground truth rastreia explicitamente quais campos estão faltando.
   • Casos de Incerteza (Zona Cinzenta): Todos os fatos são conhecidos, mas a política é omissa ou contraditória, exigindo que o agente realize o escalonamento em vez de forçar um veredito binário.

4. Ambiente de Avaliação Agêntico:

   • A avaliação simula uma interação de múltiplas etapas entre um LLM avaliado ($A_{eval}$) e um Provedor de Informação automatizado ($A_{info}$).
   • $A_{info}$ atua como um oráculo sem estado (stateless) que detém os fatos canônicos, respondendo apenas a consultas alinhadas com os fatos conhecidos e declarando "desconhecido" caso contrário.
   • $A_{eval}$ deve decidir quando perguntar (ASK) e quando se comprometer com um veredito (ANSWER).

Principais Contribuições

• Dataset PSEBench: Um conjunto de dados de 5.074 casos (3.455 completos, 1.362 com informação ausente, 257 incertos) fundamentado na política MN29. Cada caso inclui um ground truth multidimensional (veredito, cláusula, base legal, condições de contorno e campos retidos) derivado por construção, eliminando a necessidade de anotação manual.
• Estrutura Metodológica: Um pipeline de construção escalável e baseado em políticas, utilizando cartões de cláusulas e verificação de ciclo fechado para gerar benchmarks de alta fidelidade e auditáveis para triagem regulatória.
• Avaliação Agêntica: Um ambiente de dois papéis especificamente projetado para avaliar a busca proativa de informações e a abstenção fundamentada sob incerteza, indo além das métricas estáticas de classificação.

Resultos
Os autores avaliaram 15 LLMs representativos (modelos de fronteira proprietários, modelos de fronteira de código aberto, modelos pequenos e modelos de especialidade médica).

• Precisão do Veredito vs. Prontidão Agêntica: Embora os modelos de ponta proprietários (ex: GPT-5.5, Gemini 3.1 Pro) tenham alcançado alta precisão de veredito (>90%) em casos completos, lacunas significativas de desempenho surgiram nos comportamentos interativos.
• Busca de Informação: Os modelos exibiram comportamentos divergentes. Alguns (ex: GPT-5.5) identificaram ativamente fatos ausentes e fizeram perguntas direcionadas. Outros (ex: Llama-3.1-8B) perguntaram indiscriminadamente, e modelos de especialidade médica (ex: HuatuoGPT-o1) quase nunca perguntaram, optando pelo padrão "comprometer-sem-perguntar".
• Tratamento de Incerteza: A capacidade de escalar corretamente casos ambíguos foi a capacidade mais polarizada. Apenas os modelos mais fortes (GPT-5.5, Gemini 3.1 Pro) demonstraram consciência significativa de incerteza. A maioria dos modelos, incluindo modelos de especialidade médica, exibiu um viés de "super-notificação", forçando um veredito de "Notificável" em casos incertos (ex: MedGemma direcionou 98,4% dos casos incertos para Notificável).
• Fundamentação de Evidências: A alta precisão do veredito frequentemente mascarava falhas na fundamentação de evidências; os modelos frequentemente adivinhavam o veredito correto por razões erradas ou alucinadas, como evidenciado pelos scores mais baixos em citação de evidências e taxas de acerto de condições de contorno.

Significância e Alegações
O artigo afirma que o PSEBench fornece o primeiro benchmark abrangente para triagem de PSE baseada em políticas que avalia conjuntamente vereditos, fundamentação de evidências legais, busca de informação direcionada e reconhecimento de incerteza. Os resultados sugerem que os LLMs atuais, mesmo os modelos de fronteira, ainda não estão prontos para implantação autônoma em triagem de segurança do paciente no mundo real. A lacuna entre o desempenho de classificação estática e as demandas rigorosas do raciocínio interativo baseado em políticas — particularmente no tratamento de informações ausentes e ambiguidade de política — permanece substancial. Os autores posicionam o PSEBench como um campo de testes escalável e verificável para guiar o desenvolvimento de aplicações de LLM mais seguras e alinhadas às políticas para fluxos de trabalho de segurança clínica.

Limitações Reconhecidas
Os autores observam que, embora os materiais âncora melhorem o realismo, as narrativas são geradas sinteticamente e podem não capturar totalmente a desordem estrutural de notas brutas de prontuários eletrônicos (EHR). Além disso, a avaliação abstrai a busca de informações em um protocolo conversacional, o que não testa a capacidade de um agente de navegar em sistemas de EHR vivos e não estruturados. Finalmente, o benchmark está atualmente fundamentado na política MN29, embora a metodologia de construção seja alegada como generalizável para outros frameworks regulatórios.