Resumo Técnico: Avaliação Sistemática de Grandes Modelos de Linguagem para Extração de Ações Clínicas Pós-Alta

Formulação do Problema

O artigo aborda o desafio crítico de extrair tarefas de acompanhamento clínico acionáveis de resumos de alta hospitalar não estruturados. Transições de cuidado eficazes do hospital para o domicílio dependem da clareza desses documentos; no entanto, as notas de alta são frequentemente longas, complexas e estruturadas de forma inconsistente, contendo dados históricos que obscurecem as instruções de cuidado futuro. Essa falta de estrutura impõe uma carga cognitiva aos Prestadores de Cuidados Primários (PCPs), potencialmente levando a eventos adversos relacionados a medicamentos, atrasos no cuidado e reinternações evitáveis.

A tarefa específica é definida como a identificação de segmentos em nível de frase correspondentes a itens de ação específicos e detalhados para o paciente (por exemplo, consultas de acompanhamento, exames laboratoriais, ajustes de medicação) que devem ser executados após a alta. Os autores utilizam o conjunto de dados CLIP, que fornece notas de alta anotadas por especialistas do banco de dados MIMIC-III com segmentos de ação rotulados em sete categorias clínicas predefinidas: Consulta, Medicação, Laboratório, Imagem, Procedimento, Instruções ao Paciente e Outro.

Metodologia

Os autores propõem uma estrutura de extração em duas etapas projetada para decompor a tarefa complexa de extração de ações clínicas em etapas gerenciáveis, operando sob restrições estritas de privacidade de dados (Retenção Zero de Dados).

1. Pré-processamento de Dados e Agrupamento de Contexto

• Conversão em Nível de Frase: As anotações originais em nível de caractere do conjunto de dados CLIP são agregadas em verdadeiros fundamentais em nível de frase. Uma frase é rotulada como "Acionável" se contiver qualquer segmento anotado; caso contrário, é "Não Acionável".
• Agrupamento de Contexto: Para abordar dependências contextuais (por exemplo, cabeçalhos de seção ou referências a frases anteriores), as frases são processadas em lotes contíguos de tamanho $k$ (otimizados por meio de halving sucessivo entre $k \in \{10, 15, 30\}$). Isso permite que o modelo utilize o contexto circundante enquanto faz previsões independentes para cada frase.

2. Encadeamento de Prompt em Duas Etapas

O processo de extração é dividido em duas etapas de raciocínio distintas para reduzir falsos positivos provenientes de narrativas descritivas:

• Etapa 1: Filtragem de Acionabilidade: O modelo determina se uma frase contém uma instrução clínica concreta que requer ação pós-alta. Ele distingue entre "Acionável" (por exemplo, "suspender ASA", "repetir exames em 2 semanas") e "Não Acionável" (por exemplo, "Alta em Atorvastatina", "acompanhar conforme necessário").
• Etapa 2: Classificação de Categoria de Ação Clínica: Apenas as frases consideradas acionáveis na Etapa 1 são passadas para esta etapa. O modelo atribui uma ou mais das sete categorias de ação clínica. Esta etapa utiliza prompting com poucos exemplos (few-shot) com definições explícitas, critérios de inclusão/exclusão e requisitos estritos de formatação JSON.

3. Configuração Experimental

• Modelos Avaliados: Cinco Grandes Modelos de Linguagem (LLMs) de propósito geral e especializados em medicina foram avaliados em cenários zero-shot e few-shot: GPT-5.2, Gemini-3-Flash, Claude Sonnet 3.5, DeepSeek-V3.2 e MedGemma-27B-it.
• Baselines: Os LLMs foram comparados com dois modelos supervisionados baseados em BERT de última geração do trabalho original CLIP: MIMIC-DNote-BERT+Contexto e TTP-BERT+Contexto (250k).
• Métricas de Avaliação: O desempenho foi medido usando Precisão, Revocação e pontuações F1 tanto no nível binário de acionabilidade (Etapa 1) quanto no nível de categoria multirrótulo (Etapa 2), juntamente com taxas de conformidade JSON.

Contribuições Principais

1. Estrutura em Duas Etapas: Introdução de uma estratégia de decomposição que separa a detecção de acionabilidade da classificação de categorias para melhorar a robustez em textos clínicos.
2. Benchmarks Sistemáticos: Uma avaliação abrangente de LLMs generativos modernos contra baselines supervisionadas estabelecidas para extração clínica crítica para segurança, uma lacuna anteriormente não abordada na literatura.
3. Avaliação Conformidade com Privacidade: Demonstração de implantação eficaz de LLMs para tarefas clínicas sob protocolos de Retenção Zero de Dados, garantindo que dados de saúde sensíveis não sejam retidos.
4. Análise de Anotação: Identificação de inconsistências sistemáticas nas anotações de verdade fundamental, especificamente em relação a regras de rotulagem estrutural versus raciocínio clínico semântico.

Resultados

Etapa 1: Filtragem de Acionabilidade

LLMs modernos superaram significativamente as baselines supervisionadas na distinção entre instruções acionáveis e texto descritivo.

• GPT-5.2 alcançou o maior Macro F1 de 0,895, representando uma melhoria relativa de 23% sobre a melhor baseline supervisionada (TTP-BERT+Contexto em 0,668).
• Gemini-3-Flash seguiu de perto com um Macro F1 de 0,888.
• Notavelmente, o modelo especializado em medicina, MedGemma-27B-it, teve desempenho significativamente inferior (Macro F1: 0,459), sugerindo que o ajuste fino para instruções de QA não se traduz necessariamente em tarefas de extração estruturada sem ajuste fino específico.

Etapa 2: Classificação de Categoria de Ação

Modelos BERT supervisionados mantiveram uma vantagem significativa na classificação multirrótulo detalhada.

• TTP-BERT+Contexto alcançou o maior Macro F1 geral de 0,668.
• GPT-5.2 alcançou o melhor desempenho entre LLMs com um Macro F1 de 0,570, ficando aproximadamente 15% abaixo da baseline supervisionada.
• Desempenho Específico por Categoria: Embora os LLMs geralmente ficassem aquém, mostraram competitividade em áreas específicas. Por exemplo, o Gemini-3-Flash igualou o TTP-BERT no acompanhamento relacionado a Laboratório (F1 0,754 vs. 0,745), e o Claude Sonnet 3.5 mostrou forte desempenho no acompanhamento relacionado a Medicação entre os LLMs.

Análise de Erros e Limitações

A análise qualitativa revelou que muitas "falhas" dos modelos eram, na verdade, desalinhamentos entre o raciocínio do modelo e as convenções de anotação do conjunto de dados, em vez de déficits reais de raciocínio clínico:

• Estrutura vs. Semântica: O conjunto de dados CLIP frequentemente aplica rótulos com base em seções do documento (por exemplo, rotulando todas as frases em "Instruções de Alta" como "Instruções ao Paciente") em vez de conteúdo semântico. Modelos que identificavam corretamente a categoria semântica (por exemplo, "Medicação") eram penalizados como falsos positivos por desviar do rótulo estrutural.
• Ações Implícitas: Os modelos tiveram dificuldade com frases descrevendo ações passadas de internação que implicam acompanhamento futuro (por exemplo, "Varfarina foi iniciada" implicando "monitorar INR"), frequentemente filtrando-as como não acionáveis devido à falta de diretrizes futuras explícitas.
• Inconsistências de Anotação: A verdade fundamental mostrou inconsistências na rotulagem de listas de medicação, onde alguns medicamentos crônicos foram rotulados como acionáveis enquanto outros não, confundindo os modelos.

Significância e Conclusão

O artigo conclui que, embora LLMs contemporâneos demonstrem raciocínio semântico superior para detecção binária de acionabilidade, eles atualmente carecem da consistência de modelos supervisionados específicos para tarefas na classificação multirrótulo detalhada em contextos críticos para segurança.

Os autores argumentam que as métricas de desempenho relatadas podem subestimar as verdadeiras capacidades de raciocínio clínico dos LLMs devido a convenções de anotação rígidas que priorizam a estrutura do documento sobre a semântica clínica. Eles postulam que o avanço do PLN clínico requer:

1. Conjuntos de Dados Anotados com Raciocínio: Conjuntos de dados que documentam por que um segmento é acionável, não apenas quais segmentos são rotulados.
2. Arquiteturas Híbridas: Combinando a flexibilidade dos LLMs para extração inicial com classificadores especializados para atribuição de categorias.
3. Validação com Humano no Loop: Integração de revisão clínica para distinguir entre erros genuínos do modelo e ambiguidades de anotação.

Em última análise, o trabalho sugere que, embora os LLMs ofereçam uma alternativa flexível aos pipelines tradicionais, uma abordagem híbrida que aproveite os pontos fortes de ambos os modelos generativos e classificadores supervisionados é necessária para fluxos de trabalho de agentes médicos confiáveis e prontos para implantação.