Reliable Extraction of Clinical Follow-Up Instructions: A Hybrid Neural-Symbolic Pipeline

Resumo Técnico: Extração Confiável de Instruções de Acompanhamento Clínico

Definição do Problema
Notas clínicas ambulatoriais contêm instruções críticas de acompanhamento (por exemplo, "Ressonância magnética do cérebro em duas semanas") que associam uma ação clínica a um momento futuro. Extrair essas instruções como pares estruturados (ação, data) é essencial para agendamento, auditoria e coordenação do cuidado. No entanto, as abordagens generativas atuais frequentemente falham em reconstruir de forma confiável a instrução completa. Embora possam identificar corretamente a ação clínica, elas frequentemente omitem a data específica ou falham em vincular a expressão temporal correta à ação correta. Essa falha ocorre porque a vinculação e a aritmética temporal são implícitas no processo de decodificação dos modelos generativos, tornando os erros difíceis de inspecionar ou depurar. O desafio envolve reconhecer os trechos de ação, reconhecer expressões temporais, vincular o tempo correto à ação correta e normalizar datas relativas (por exemplo, converter "em 2 semanas" para um deslocamento de calendário específico) na presença de múltiplas ações, abreviações e distratores históricos.

Metodologia
Os autores propõem um pipeline neural-simbólico híbrido que decompõe a tarefa de extração em interpretação semântica aprendida e transformação simbólica determinística, em vez de depender de geração ponta a ponta.

1. Formulação da Tarefa: A tarefa é definida como a extração de dois tipos de entidades — TestSpecification (ações agendadas) e TimeSpecification (frases de temporização) — vinculadas por uma relação explícita ScheduledFor. A saída é um conjunto de pares canônicos (ação, deslocamento de dia) relativos à data da consulta.
2. Componentes Neurais:
   • Codificador: Um codificador BioBERT compartilhado processa o texto da nota por meio de janelas deslizantes.
   • Rotulagem de Entidades: Uma cabeça de rotulagem BIO identifica trechos para ações e tempos.
   • Extração de Relações: Um vinculador biafim pontua pares candidatos (ação, tempo), incluindo uma opção "nenhum" para ações sem tempos explícitos.
   • Treinamento: O modelo é treinado com um objetivo conjunto de rotulagem de entidades e extração de relações.
3. Componentes Simbólicos/Determinísticos:
   • Canonização de Ontologia: Menções superficiais de ação são mapeadas para um dos 28 rótulos canônicos por meio de uma ontologia editável, sem retreinar o modelo neural.
   • Normalização Temporal: Frases de tempo vinculadas são convertidas em deslocamentos de dias inteiros usando uma gramática de regras determinística (por exemplo, "em N semanas" $\rightarrow$ $7N$) e um analisador de fallback. Crucialmente, o modelo neural nunca realiza aritmética de calendário.
4. Conjunto de Dados: A avaliação foi conduzida em um corpus sintético ambulatorial de 2.000 notas gerado a partir de esqueletos controlados em cinco especialidades. O conjunto de dados inclui fatores de estresse, como notas de múltiplas ações, formas temporais abreviadas e distratores históricos.
5. Divisões: A avaliação utiliza uma divisão disjunta de ações: 18 tipos de ação para treinamento, 4 para validação e 6 tipos retidos para teste (fora do vocabulário - OOV), juntamente com um conjunto de teste in-distribution (visto).
6. Baselines: O pipeline é comparado com um GPT-4o-mini de zero-shot e um LLaMA-3 8B ajustado com LoRA, ambos instruídos a gerar diretamente pares JSON (ação, data).

Principais Contribuições

1. Formulação Estruturada: Uma definição de extração de acompanhamento usando entidades explícitas TestSpecification, TimeSpecification e relação ScheduledFor com um critério estrito de correção em nível de conjunto.
2. Arquitetura Híbrida: Um pipeline que separa a extração aprendida de trechos/vínculos da aritmética de datas determinística, garantindo que a lógica do calendário nunca seja delegada a um modelo aprendido.
3. Benchmark Sintético: Um corpus de 2.000 notas com verdade absoluta exata e divisões disjuntas de ações para testar rigorosamente a generalização para tipos de ação não vistos.
4. Avaliação Comparativa: Uma comparação direta mostrando que, embora os modelos generativos se destaquem no reconhecimento de ações, eles falham significativamente na reconstrução completa de pares em comparação com a abordagem híbrida.
5. Análise de Erros: Evidência de que as falhas generativas decorrem de erros de vinculação e aritmética implícitos, que são expostos e auditáveis no pipeline híbrido.

Resultados
Na divisão de teste vista (in-distribution), o pipeline híbrido alcançou um F1 de Par em Tempo de Teste de 0,997 com um Erro Absoluto Médio (MAE) de 0,00 dias. Na divisão de teste OOV (tipos de ação não vistos), manteve um F1 de Par de 0,986 com MAE de 0,00 dias.

Em contraste, as baselines generativas alcançaram alto F1 de TestSpecification (LLaMA-3: ~0,99; GPT-4o-mini: ~0,96), mas sofreram uma queda acentuada no F1 de Par:

• LLaMA-3: F1 de Par ~0,51 (visto) e ~0,57 (OOV).
• GPT-4o-mini: F1 de Par ~0,53 (visto) e ~0,53 (OOV).
• MAE: Os modelos generativos exibiram erros significativos de data (por exemplo, MAE de 21–23 dias em dados vistos), enquanto o pipeline híbrido teve erro aritmético zero.

Os intervalos de confiança de 95% para o F1 de Par e o F1 de Deslocamento do pipeline híbrido não se sobrepuseram aos das baselines generativas, indicando uma diferença estatisticamente significativa ($p < 0,05$).

Significado e Alegações
O artigo afirma que, para a tarefa específica de extrair instruções de acompanhamento agendadas, decompor a tarefa em extração semântica e normalização determinística supera a modelagem generativa direta. O significado principal reside em:

• Confiabilidade: A abordagem híbrida alcança correção ponta a ponta quase perfeita e erro aritmético zero, enquanto os modelos generativos lutam para vincular ações a tempos corretamente.
• Generalização: O pipeline generaliza efetivamente para tipos de ação retidos (OOV) porque o componente neural aprende características superficiais em vez de memorizar um vocabulário fechado, e a ontologia pode ser atualizada sem retreino.
• Auditabilidade: Ao separar os componentes neurais e simbólicos, o sistema expõe modos de falha específicos (por exemplo, trecho errado, vínculo errado ou regra de normalização errada) que são inspecionáveis. Em contraste, a geração ponta a ponta obscurece a causa dos erros (por exemplo, uma data errada) dentro do processo de decodificação.

Os autores afirmam explicitamente que essa conclusão é delimitada ao benchmark controlado e não constitui uma acusação geral de LLMs para todas as tarefas de extração clínica. Eles observam que os resultados destacam a dificuldade da aritmética de calendário na decodificação generativa e sugerem que um padrão de "confiabilidade primeiro" — reservar modelos aprendidos para ambiguidade e usar módulos determinísticos para aritmética — é eficaz para extração clínica relevante para segurança. O artigo reconhece limitações relacionadas à natureza sintética dos dados e à necessidade de validação futura em notas reais de Prontuário Eletrônico de Saúde (EHR) e expansão de ontologia.