EPPC-OASIS: Ontology-Aware Adaptation and Structured Inference Refinement for Electronic Patient-Provider Communication Mining in Secure Messages

Resumo Técnico: EPPC-OASIS

Declaração do Problema
Mensagens seguras entre pacientes e provedores contêm comportamentos comunicativos ricos e clinicamente significativos (por exemplo, coordenação de cuidados, preocupações emocionais, tomada de decisão compartilhada) que são difíceis de caracterizar manualmente em escala. Embora o framework de Comunicação Eletrônica entre Paciente e Provedor (EPPC) forneça uma ontologia estruturada para codificar esses comportamentos, a extração automatizada permanece desafiadora. A tarefa exige mais do que classificação de rótulo único; os modelos devem identificar comportamentos comunicativos, mapeá-los para um sistema hierárquico de códigos de alto nível e sub-códigos específicos, e fundamentar essas previsões em trechos de texto específicos da mensagem original.

As abordagens atuais enfrentam duas limitações primárias:

1. Lacuna de Representação: O ajuste fino supervisionado (SFT) padrão trata as anotações como sequências de saída isoladas, falhando em aproveitar a natureza hierárquica, desbalanceada e semanticamente adjacente da ontologia EPPC. Consequentemente, os modelos frequentemente cometem erros estruturados, como atribuir um sub-código plausível sob o código pai errado ou confundir comportamentos semanticamente similares.
2. Rigidez de Inferência: A inferência é tipicamente tratada como um único passo de geração. No entanto, erros na extração de EPPC frequentemente se manifestam de forma diferente para a atribuição de rótulos versus fundamentação de evidências (seleção de trechos). Uma saída gananciosa pode ter um trecho correto mas um sub-código errado, enquanto uma saída amostrada pode ter o rótulo correto mas um trecho deslocado. Métodos padrão não abordam esses modos de falha distintos simultaneamente.

Metodologia
Os autores propõem EPPC-OASIS, um framework de duas etapas projetado para melhorar a extração estruturada de EPPC: Adaptação Consciente da Ontologia (treinamento) e Refinamento Estruturado de Inferência (inferência).

1. Adaptação Consciente da Ontologia (Treinamento)
A inovação central é a integração da estrutura da ontologia EPPC diretamente no objetivo de ajuste fino usando um sinal de alinhamento de Wasserstein.

• Construção de Vetores de Ontologia: As anotações de ouro são convertidas em vetores multi-hot que representam a união de códigos e sub-códigos ativos.
• Prior de Similaridade de Ontologia: Uma matriz de prior ($P$) é construída com base na similaridade semântica entre as descrições dos códigos. Isso define uma similaridade alvo entre exemplos, transformando a sobreposição plana de rótulos em uma medida de similaridade estruturada que respeita a hierarquia do EPPC.
• Alinhamento de Banco de Memória com Wasserstein: Para abordar a escassez de exemplos relacionados em mini-lotes padrão (especialmente para modelos grandes), o método emprega um banco de memória pré-preenchido e congelado contendo representações de todos os exemplos de treinamento.
  • Para cada entrada, o modelo calcula uma distribuição de vizinhança de representação ($p_{rep}$) baseada em similaridades de estados ocultos.
  • Compara-se isso contra uma distribuição de vizinhança de ontologia ($p_{ont}$) derivada das pontuações de similaridade alvo.
  • Um custo de transporte ótimo regularizado por entropia (perda Sinkhorn) alinha essas duas distribuições.
• Objetivo: A perda total combina a perda padrão de extração supervisionada ($\mathcal{L}_{SFT}$) com a perda de alinhamento de ontologia ($\mathcal{L}_{ont}$), ponderada por $\lambda_{ont}$. Isso incentiva o modelo a organizar seu espaço de representação para espelhar a estrutura da ontologia EPPC.

2. Refinamento Estruturado de Inferência
Para abordar erros residuais, o framework aplica uma camada de refinamento implantável que não altera o objetivo de treinamento, mas melhora o conjunto final de anotações através de verificação e agregação:

• Auto-Refinamento em Cadeia de Pensamento (CoT-SR): Gera uma saída gananciosa, verifica a fundamentação do trecho (verificando presença literal ou alta sobreposição Jaccard) e usa um prompt de auto-refinamento para corrigir tripletos sem suporte ou corrigir erros menores de trecho.
• Auto-Consistência: Amostra múltiplas saídas para estabilizar a atribuição de rótulos (pares Código/Sub-código) via votação, selecionando o trecho com a maior similaridade de consenso.
• Correção Híbrida: Combina os pontos fortes das saídas gananciosas e de auto-consistência. Mantém o trecho de evidência de uma previsão gananciosa se ele se sobrepor suficientemente a um trecho de auto-consistência, substituindo os rótulos pelos rótulos de auto-consistência mais estáveis.
• Seletor/Ensemble: Usa critérios internos (por exemplo, validade do trecho, contagens de pares distintos) para selecionar a melhor previsão entre candidatos CoT-SR e de auto-consistência, ou mescla previsões através de múltiplas sementes aleatórias para modelos de alta capacidade.

Contribuições Principais

1. Método EPPC-OASIS: Um método de adaptação consciente da ontologia que usa o inventário de códigos/sub-códigos do EPPC para definir um objetivo de alinhamento de Wasserstein durante o ajuste fino, garantindo que as representações do modelo se alinhem à estrutura hierárquica da ontologia.
2. Framework de Inferência Estruturada: Um pipeline implantável que combina auto-verificação, auto-consistência, correção híbrida de rótulos e seleção/ensemble para abordar modos de falha específicos na atribuição de rótulos e fundamentação de evidências.
3. Avaliação Abrangente: Avaliação em múltiplas famílias de modelos de pesos abertos (Llama, Mistral, Qwen, DeepSeek) e escalas (1B a 70B), comparando com prompting, SFT padrão, otimização baseada em preferência (DPO, IPO, etc.) e baselines orientadas à robustez (STaR-DRO).
4. Análise Diagnóstica: Estudos de ablação separando os efeitos do treinamento consciente da ontologia do refinamento no momento da inferência, e distinguindo o desempenho do pipeline implantável dos limites superiores teóricos (melhores pontuações componente a componente).

Resultados
O framework foi avaliado em um corpus desidentificado de 867 exemplos anotados (5.516 anotações) usando pontuações F1 médias micro para Código, Sub-código, Trecho, Código+Sub-código e Triploto (Código+Sub-código+Trecho).

• Ganhos de Desempenho: Através das famílias de modelos, o melhor pipeline implantável alcançou 77,13% de F1 em Código+Sub-código e 63,83% de F1 em Triploto.
• Comparação com Baselines: Esses resultados representam ganhos absolutos modestos, mas consistentes, de +1,39 e +2,12 pontos F1, respectivamente, sobre a baseline de ajuste fino supervisionado mais forte.
• Impacto da Ontologia: O EPPC-OASIS superou consistentemente o SFT padrão e as baselines baseadas em preferência em métricas estruturais (F1 Código+Sub-código), demonstrando preservação superior da hierarquia de rótulos. Enquanto métodos baseados em preferência (por exemplo, DPO) mostraram desempenho competitivo na localização exata de trechos, o EPPC-OASIS foi superior em manter a coerência dos rótulos.
• Escala do Modelo: Os benefícios da adaptação consciente da ontologia foram mais pronunciados em modelos menores (por exemplo, Llama-3.2-1B) e foram further estabilizados em diferentes arquiteturas (incluindo Qwen e DeepSeek) através da média de pesos de checkpoints.
• Descobertas de Ablação: A remoção do termo de alinhamento de ontologia, do banco de memória ou do prior de similaridade semântica resultou em degradação de desempenho, confirmando que os ganhos não foram meramente devidos ao ajuste fino específico da tarefa, mas especificamente ao sinal de alinhamento estruturado.

Significado e Alegações
O artigo afirma que o EPPC-OASIS apoia a mineração escalável e retrospectiva da comunicação eletrônica entre paciente e provedor, melhorando a confiabilidade da extração estruturada.

• Habilitação de Informática: O valor primário é permitir pesquisa retrospectiva, medição de qualidade e análise em nível de coorte de padrões de comunicação, em vez de suporte imediato à decisão clínica ou automação em tempo real.
• Auditabilidade: Ao extrair trechos de evidência fundamentada junto com rótulos, o sistema permite que pesquisadores auditem o texto subjacente aos comportamentos previstos, o que é crítico para categorias sensíveis como Determinantes Sociais da Saúde (SDOH).
• Avanço Metodológico: O trabalho demonstra que incorporar ontologias de domínio diretamente no objetivo de adaptação (via alinhamento de Wasserstein) é mais eficaz para tarefas hierárquicas e multi-rótulo do que tratar a ontologia apenas como um esquema de avaliação post-hoc ou vocabulário de saída.
• Caveats: Os autores afirmam explicitamente que validação externa é necessária antes do uso operacional. Os resultados atuais não estabelecem melhorias em desfechos clínicos, triagem ou coordenação de cuidados. Além disso, os pipelines de refinamento de inferência envolvem custo computacional aumentado (múltiplas passagens ou amostragem), o que é aceitável para análise retrospectiva, mas pode exigir otimização (por exemplo, destilação) para implantação em tempo real.