Resumo Técnico: CARE – Uma Camada de Segurança Conformal para Sumarização Médica

1. Declaração do Problema

Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais implantados em tarefas de sumarização médica, como a elaboração de notas clínicas, conversão de achados radiológicos e geração de sumários de alta. No entanto, esses sistemas exibem dois modos de falha críticos que ameaçam a segurança clínica:

1. Omissões: Conteúdo medicamente importante do texto de origem está ausente do sumário. Estudos relatam taxas de omissão variando de 3–4% em ambientes controlados a 47% em avaliações de nível de encontro.
2. Alucinações: O sumário contém afirmações não sustentadas pelo texto de origem. As taxas variam de 1–2% em ambientes controlados a 42% em encontros abertos.

Os métodos de detecção atuais dependem de pontuações heurísticas ou avaliações do tipo "LLM-como-juiz" que produzem escores não calibrados. Essas abordagens carecem de um mecanismo principiológico para selecionar limiares de decisão ou controlar formalmente a taxa de erros perdidos. Consequentemente, a implantação enfrenta um dilema: limiares permissivos permitem que erros inseguros cheguem aos clínicos, enquanto limiares conservadores sobrecarregam os clínicos com excesso de alertas, erodindo os ganhos de eficiência da documentação assistida por IA. Além disso, os métodos de predição conformal existentes para geração de texto operam tipicamente ao nível da resposta (abstendo-se de ou reescrevendo saídas inteiras), o que é desalinhado com os fluxos de trabalho clínicos que exigem orientação direcionada, ao nível da sentença, em vez de rejeição total de um rascunho.

2. Metodologia: Estrutura CARE

Os autores propõem o CARE (Conformal Assessment for Risk Evaluation), uma camada de segurança post-hoc, agnóstica ao modelo, que sobrepõe sinalizações calibradas de omissão e alucinação sobre sumários gerados por LLM sem retreinar o sumarizador subjacente. O CARE utiliza Controle de Risco Conformal (CRC) para fornecer garantias de amostra finita e livres de distribuição.

2.1 Visão Geral do Pipeline

O sistema opera em quatro fases:

1. Rotulagem por Oráculo (Offline): Um LLM oráculo de alta capacidade (GPT-5) gera rótulos de referência para um conjunto de calibração. Esses rótulos definem:
   • Suporte (Support): Se uma sentença do sumário é sustentada pela origem ($Y_{sup}$).
   • Importância (Importance): Se uma sentença da origem é medicamente importante ($Y_{imp}$), inferida a partir de um sumário de referência escrito por um clínico.
   • Cobertura (Coverage): Se uma sentença da origem está representada no sumário ($Y_{cov}$).
     Um "erro de omissão real" é definido como uma sentença importante da origem não coberta pelo sumário.
2. Pontuação por Modelo Juiz (Online/Offline): Um modelo "juiz" mais barato (GPT-5-mini) pontua as sentenças no momento da implantação. Em vez de rótulos binários, ele utiliza uma rubrica de três níveis (Sustentado/Essencial, Parcial/Relevante, Não Sustentado/Omitido) mapeada para escores $\{0, 0.5, 1\}$. Para reduzir a estocasticidade, o juiz fornece $m=5$ réplicas independentes por sentença, que são posteriormente calculadas pela média.
3. Controle de Risco Conformal (Offline): O sistema seleciona limiares que garantem que os riscos permaneçam abaixo dos níveis especificados pelo usuário ($\alpha$).
   • Controlador de Alucinação: Sinaliza sentenças do sumário com escores de suporte $\hat{p}_{sup} \le \lambda$. Ele limita a probabilidade de um documento conter pelo menos uma sentença alucinada não sinalizada.
   • Controlador de Omissão: Expõe sentenças da origem onde a importância $\hat{p}_{imp} \ge \tau$ E a não-cobertura $\hat{p}_{ncov} \ge \gamma$. Ele limita a fração esperada de omissões reais não apresentadas para revisão.
4. Implantação: O CARE aplica os limiares calibrados $(\lambda^*, \tau^*, \gamma^*)$ aos novos sumários, retornando o rascunho original aumentado com sinalizações vermelhas (alucinações) e sinalizações azuis (omissões importantes).

2.2 Inovação Técnica Principal: Calibração Conjunta 2D

Um insight central do artigo é que o controle de omissão é inerentemente um problema de calibração bidimensional sobre importância ($\tau$) e não-cobertura ($\gamma$).

• O Desafio: Calibrar apenas uma dimensão (ex: fixando $\gamma=0$) ou usar decomposições marginais (ex: dividir o orçamento de risco $\alpha/2$ por dimensão via limite da união) pode tanto violar o limite de risco alvo quanto ser excessivamente conservador, expondo sentenças demais.
• A Solução: O CARE emprega o procedimento Learn-Then-Test Fixed-Sequence (LTT-FST). Ele define uma ordenação determinística e independente de dados da grade $(\tau, \gamma)$ (priorizando a menor carga de trabalho) e seleciona o primeiro par de limiares que satisfaz o limite de risco empírico. Esta abordagem preserva as garantias formais enquanto minimiza o número de sentenças expostas.

3. Principais Contribuições

1. Uma Estrutura Conformal para Omissão e Alucinação: O CARE introduz a primeira estrutura que fornece garantias de risco ao nível da sentença, post-hoc e agnóstica ao modelo, para ambos os modos de falha em geração de texto médico abstrativo.
2. Calibração Conjunta Bidimensional: Os autores demonstram que a calibração parcial viola os limites de risco, enquanto as decomposições marginais são válidas, mas ineficientes. A calibração conjunta sobre todo o espaço $(\tau, \gamma)$ preserva as garantias enquanto expõe até 5× menos sentenças do que as linhas de base calibradas alternativas.
3. Validação Multidomínio: A estrutura foi validada em cinco tarefas de sumarização médica (diálogo-para-nota, síntese de curso hospitalar, radiologia, sumários de alta e resumos biomédicos) utilizando 2.123 documentos.
4. Evidência de Utilidade Clínica: Um estudo preliminar intra-sujeitos com três clínicos mostrou que as sinalizações do CARE melhoraram a detecção de omissões em 28,6 pontos percentuais (de 50,4% para 79,0%) enquanto reduziram ligeiramente o tempo de revisão por sentença.

4. Resultados Experimentais

Os experimentos foram conduzidos em cinco conjuntos de dados (ACI-Bench, MIMIC-BHC, MIMIC-CXR, Priv-DS, SumPubMed) com um nível de risco alvo de $\alpha = 0,15$.

• Garantias de Segurança: Em 100 divisões aleatórias de calibração/teste, o CARE satisfez o limite de risco alvo para ambos os controladores. As taxas médias de violação empírica permaneceram em ou abaixo de $\alpha$ (ex: violações de alucinação variaram de 5,7% a 12,8%; violações de omissão variaram de 9,3% a 14,0%).
• Eficiência: O CARE sinalizou 8–24% das sentenças do sumário para alucinações e expôs 11–66% das sentenças da origem para omissões (dependendo da compressão e comprimento do dataset).
• Comparação com Linhas de Base:
  • O LTT-FST (CARE) superou significativamente as linhas de base 1D e de Limite da União (Union Bound) na redução da carga de trabalho de revisão, mantendo as garantias. Por exemplo, no ACI-Bench, o LTT-FST expôs 18,9% das sentenças comparado a 48,9% para o 1D-Imp.
  • As linhas de base não calibradas (ex: Max-F1, Fixed-0.5) frequentemente reduziram a carga de trabalho, mas violaram os limites de risco significativamente (ex: taxas de violação de até 47,8%).
  • A Calibração Parcial: Deixar a dimensão de cobertura não calibrada resultou em falha catastrófica, com taxas de violação atingindo 49,8%.
• Robustez: O sistema permaneceu robusto a variações no tamanho da calibração (exigindo apenas ~100 documentos rotulados), design de prompts e escolha do sumarizador (testado com Llama-3.3-70B, Gemini 2.5 Pro e Claude Opus 4.6).

5. Significância e Alegações

O artigo afirma que garantias de segurança ao nível da sentença são viáveis para a sumarização médica assistida por LLM. Ao ir além da abstenção ao nível da resposta, o CARE oferece um mecanismo ajustável (via orçamento de risco $\alpha$) para equilibrar o risco residual com o esforço de revisão do clínico.

Os autores enfatizam que suas garantias são marginais (sobre a distribuição de calibração) e de amostra finita. Eles reconhecem limitações, incluindo a dependência da trocabilidade entre os dados de calibração e de implantação, o potencial de erros de rotulagem do oráculo (embora validados contra anotações clínicas) e a natureza binária dos rótulos de cobertura. O estudo clínico preliminar é apresentado como "evidência direcional" em vez de prova definitiva de impacto clínico downstream, observando a necessidade de estudos maiores e orientados ao fluxo de trabalho para avaliar confiança, carga de alertas e comportamento de sobreposição (override).

Em última análise, o CARE demonstra que o controle de risco conformal pode ser operacionalizado para fornecer intervenções direcionadas e acionáveis pelo clínico, permitindo a implantação mais segura de LLMs em documentação médica de alto risco.