Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System

Resumo Técnico: Avaliação Centrada na Implantação do Risco de Rejeição ao Nível de Consulta em LLMs Clínicos

Declaração do Problema
A integração de Modelos de Linguagem de Grande Escala (LLMs) em fluxos de trabalho clínicos introduz uma lacuna crítica de avaliação. As avaliações tradicionais centradas em benchmarks priorizam a "corretude" objetiva (ex: precisão em exames de licenciamento médico) e o desempenho agregado em consultas históricas. No entanto, essas avaliações estáticas falham em capturar a utilidade no mundo real, especificamente se um clínico irá realmente aceitar ou "rejeitar" uma resposta gerada. A rejeição é um construto ruidoso que reflete baixa utilidade percebida, o que pode ocorrer mesmo quando um output é factualmente correto devido a incompatibilidades em expectativas estilísticas, contexto ou integração ao fluxo de trabalho. Além disso, os benchmarks existentes dependem de conjuntos de dados densamente anotados, que são caros de construir e difíceis de atualizar, criando pontos cegos para implantações dinâmicas no mundo real. O desafio central é prever, antes de uma resposta ser gerada, se uma interação específica do usuário resultará em rejeição, utilizando o feedback esparso naturalmente disponível em sistemas implantados.

Metodologia
Os autores propõem uma estrutura de avaliação centrada na implantação focada em um modelo de predição de rejeição pré-resposta incorporado em um sistema de Registro Eletrônico de Saúde (EHR) em um centro médico acadêmico.

• Formalização da Tarefa: O objetivo é aprender uma função de pontuação $f(\cdot)$ que prevê a probabilidade de um usuário rejeitar uma resposta do LLM ($r_i = 1$) versus aceitá-la ($r_i = -1$). A entrada consiste na consulta do usuário $q_i$ e no contexto específico da implantação: tipo de provedor ($p_i$), nome do departamento ($d_i$), o modelo LLM específico utilizado ($m_i$) e o comprimento do registro do paciente ($l_i$).
• Fonte de Dados: O estudo utiliza 4,5 meses de interações reais de usuários (setembro de 2025 – abril de 2026). De 74.729 interações totais, apenas 1.196 continham feedback binário explícito ("polegar para cima/baixo"). Após filtrar duplicatas e metadados ausentes, o conjunto de dados anotado final compreendeu 878 pares de consulta-anotação.
• Arquitetura do Modelo: Os autores empregam um modelo de regressão logística treinado em embeddings de consulta (gerados via text-embedding-3-large) combinados com codificações one-hot do contexto de implantação.
  • Seleção de Atributos: Foi realizada uma busca em grade sobre 31 combinações possíveis de atributos (incluindo subconjuntos de embeddings, provedor, departamento, modelo e comprimento do contexto) para maximizar o AUROC em um conjunto de validação.
  • Protocolo de Treinamento: O estudo utiliza uma abordagem de análise prospectiva. Um modelo inicial é treinado nos primeiros 8 semanas de dados. Para as 19 semanas subsequentes, o modelo é retreinado dinamicamente a cada semana, incorporando novos dados com rótulos verdadeiros, simulando uma janela de treinamento rotativa para se adaptar às mudanças nas tendências usuário-LLM.
• Baselines: O desempenho é comparado contra modelos usando apenas embeddings de consulta, classificadores de juiz-LLM (usando GPT-4.1) com e sem contexto, e classificadores ingênuos de "sempre aceitar/rejeitar".

Principais Contribuições

1. Predição de Rejeição Prospectiva: Os autores demonstram a viabilidade de treinar um modelo pré-resposta para prever a rejeição do usuário em consultas futuras usando feedback esparso do mundo real.
2. Utilidade Downstream: A pontuação de rejeição é estruturada como uma ferramenta de decisão implantável. Ao ajustar os limiares operacionais, o mesmo modelo suporta dois casos de uso distintos:
   • Abstenção: Filtragem de alta precisão (reter preventivamente respostas provavelmente rejeitadas) para reduzir a fadiga de verificação.
   • Ativação de Guardrail: Gatilho de alta revocação (sinalizando potenciais problemas para revisão adicional) para evitar que outputs de baixa qualidade cheguem ao usuário.
3. Papel do Contexto Específico da Implantação: O artigo estabelece que alavancar metadados (tipo de provedor, departamento, modelo) supera significativamente o uso exclusivo do conteúdo da consulta.

Resultados

• Desempenho: O melhor modelo (incorporando Embedding + Provedor + Departamento + Modelo) alcançou um AUROC de 0,719 (95% CI: [0,670, 0,767]) no conjunto de teste prospectivo.
• Comparação: Este superou o baseline de apenas embedding de consulta (AUROC 0,618) e os baselines de juiz-LLM (AUROC ~0,52–0,53).
• Importância dos Atributos: A análise quantitativa revelou que o nome do departamento e o tipo de provedor foram os atributos mais frequentes nas configurações de melhor desempenho. Remover os embeddings mantendo os atributos de contexto resultou em apenas uma leve queda de desempenho, sugerindo que o contexto é altamente informativo em cenários de dados esparsos.
• Métricas Downstream:
  • Em um limiar de alta precisão ($\beta = 0,12$), o modelo alcançou 0,88 de precisão (3 falsos positivos), adequado para abstenção.
  • Em um limiar de alta revocação ($\beta = 4,0$), o modelo alcançou 0,99 de recall, adequado para ativação de guardrail.
• Insights Qualitativos: A análise das justificativas de rejeição mostrou variação significativa por função e departamento. Por exemplo, médicos da cardiologia apresentaram altas taxas de rejeição devido a demandas por detalhes clínicos específicos, enquanto enfermeiros de prática avançada frequentemente aceitavam resumos de alto nível. Da mesma forma, médicos de cuidados críticos rejeitaram consultas que médicos hospitalares aceitaram, indicando que os critérios de aceitação são moldados pelo fluxo de trabalho departamental e expectativas específicas da função.

Significância e Alegações
O artigo afirma oferecer um ponto de partida para avaliações específicas de implantação que vão além de benchmarks estáticos para intervenções acionáveis. Sua principal significância reside na mudança do alvo da avaliação da "corretude" para a "aceitação do usuário", reconhecendo que, em contextos clínicos, a utilidade é definida por se o output se ajusta ao contexto e fluxo de trabalho específico do usuário.

Os autores observam modestamente que seus achados derivam de um único centro médico acadêmico e são limitados pela esparsidade do feedback passivo (apenas ~1,6% dos usuários forneceram feedback). Eles argumentam que, embora seus resultados destaquem a viabilidade de prever a rejeição usando contexto específico de implantação, trabalhos futuros são necessários para abordar o viés de seleção e generalizar esses achados para contextos de implantação mais amplos. O trabalho não pretende resolver todos os problemas de segurança de IA clínica, mas demonstra que quem está perguntando, em qual contexto e para qual propósito importa tanto quanto a própria pergunta para determinar o sucesso do sistema.