Resumo Técnico: Embeddings Alinhados à Tarefa para Recuperação de Códigos Clínicos

Declaração do Problema

A codificação clínica é uma tarefa de recuperação semântica de alta precisão e alto risco, onde menções clínicas curtas devem ser mapeadas para códigos específicos da CID-10/CIE-10. Diferente da busca semântica geral, esta tarefa exige distinguir entre condições clinicamente semelhantes que diferem apenas por qualificadores sutis, como gravidade, localização anatômica, lateralidade, temporalidade ou etiologia. Por exemplo, os códigos para "Brucelose devido a Brucella suis" e "Brucelose devido a Brucella melitensis" são semanticamente próximos, mas representam códigos distintos e não intercambiáveis.

O campo enfrenta quatro limitações primárias:

1. Viés de Linguagem: A maioria dos modelos de embedding públicos (ex: BioBERT, ClinicalBERT) e recursos biomédicos são otimizados para o inglês, deixando o espanhol e outras línguas clínicas sub-representados.
2. Descompasso de Granularidade: Codificadores de propósito geral capturam relação semântica ampla, mas falham em aprender as fronteiras de decisão finas necessárias para a atribuição de códigos específicos.
3. Escassez de Dados: Dados clínicos anotados manualmente são caros e escassos, particularmente em contextos multilíngues onde os vocabulários de codificação locais e os níveis de granularidade variam.
4. Desalinhamento Arquitetural: Sistemas de recuperação em dois estágios frequentemente sofrem de desalinhamento; um bi-encoder de alto recall pode falhar em recuperar o código correto, ou um reranker pode ser incapmente de ordenar candidatos clinicamente adjacentes se a recuperação inicial for deficiente.

Metodologia

Os autores propõem uma arquitetura de recuperação neural em dois estágios treinada com supervisão sintética de alta qualidade e alinhada à tarefa, gerada por um Large Language Model (LLM) de fronteira.

1. Geração de Dados Sintéticos

Em vez de depender de supervisão fraca em escala web, os autores utilizaram o Google DeepMind Gemini 2.5 Flash Pro para atuar como um "tutor" para um espaço de rótulos controlado. O LLM gerou dois conjuntos de dados distintos fundamentados na hierarquia da CID-10:

• Dataset A (Treinamento de Bi-Encoder): 19.502 exemplos sintéticos em seis idiomas (inglês, espanhol, catalão, italiano, português, francês). Cada exemplo inclui uma consulta clínica, pares positivos (paráfrases/descrições canônicas), negativos difíceis (códigos semanticamente adjacentes dentro do mesmo capítulo) e negativos suaves (capítulos não relacionados). Este design força o modelo a aprender distinções finas.
• Dataset B (Treinamento de Cross-Encoder): 10.628 grupos listwise ancorados em menções clínicas reais em espanhol (do CodiESP). Cada grupo contém uma consulta, um positivo e até nove negativos difíceis amostrados por adjacência lexical e de embedding.

2. Arquitetura do Modelo

O sistema segue um paradigma de recuperação e reclassificação (retrieve-and-rerank):

• Bi-Encoder (Estágio 1): Inicializado a partir de PlanTL-GOB-ES/bsc-bio-ehr-es (um modelo BERT biomédico em espanhol). É ajustado utilizando MultipleNegativesRankingLoss no Dataset A. Ele projeta consultas e candidatos em um espaço vetorial compartilhado para recuperação eficiente top-k.
• Cross-Encoder (Estágio 2): Inicializado a partir do checkpoint do bi-encoder ajustado. Ele processa conjuntamente os pares de consulta e candidato para produzir uma pontuação de relevância precisa. É treinado no Dataset B usando um objetivo de cross-entropy softmax listwise com negativos difíceis.

3. Configuração de Avaliação

O sistema foi avaliado em dois conjuntos de dados clínicos em espanhol não utilizados no treinamento:

• CodiESP v4: 3.664 pares menção-código (benchmark primário).
• DISTEMIST: 1.224 menções de doenças (benchmark secundário para generalização).

O desempenho foi medido contra baselines lexicais (BM25) e sentence-transformers prontos para uso (MiniLM-L6-v2, BioBERT-ST, MPNet-v2) usando F1, MAP@10, Precisão e Recall nos níveis de código exato, categoria (3 caracteres) e capítulo.

Principais Resultados

O sistema proposto superou significativamente todos os baselines públicos e os resultados anteriores de estado da arte no benchmark CodiESP.

• Desempenho no CodiESP v4:
  • TietAI Cross-Encoder: Alcançou F1 = 0,709 (código exato) e MAP@10 = 0,747.
  • Comparação: Isso representa uma melhoria de 48,4 pontos percentuais sobre o melhor encoder público (MiniLM-L6-v2, F1=0,225) e uma melhoria de 51,6 pontos sobre o baseline S-BioBERT em inglês de domínio (F1=0,193).
  • Hierarquia: No nível de categoria, o sistema alcançou F1 = 0,823 e MAP@10 = 0,851.
• Desempenho no DISTEMIST:
  • O sistema alcançou F1 = 0,776 (código exato) e MAP@10 = 0,812, confirmando que os resultados se generalizam para um corpus diferente.
• Falhas de Baseline: Contra-intuitivamente, modelos maiores (MPNet-v2) e pré-treinamento biomédico em inglês (S-BioBERT) tiveram desempenho inferior a modelos menores de propósito geral (MiniLM-L6-v2) e ao sistema proposto alinhado à tarefa. Isso sugere que o pré-treinamento biomédico genérico não se transfere bem para a codificação clínica em espanhol sem um alinhamento específico à tarefa.

Contribuições e Significância

O artigo apresenta três contribuições principais:

1. Receita Reproduzível: Documenta um método para treinar recuperadores de CID em dois estágios usando supervisão gerada por LLM multilíngue, demonstrando que dados sintéticos de alta qualidade podem compensar a falta de grandes corpora clínicos anotados.
2. Curadoria de Dados sobre Escala de Modelo: Os resultados indicam que a supervisão alinhada à tarefa e a cobertura linguística são mais críticas do que a escala do modelo ou o pré-treinamento biomédico genérico. Os autores argumentam que conjuntos de dados sintéticos cuidadosamente curados (aprox. 19,5k pares para o bi-encoder e 10,6k grupos para o cross-encoder) podem permitir sistemas compactos e eficazes sem treinamento em escala web.
3. Papel da Reclassificação (Reranking): O estudo quantifica a necessidade do reranking via cross-encoder para resolver distinções de nível de qualificador (ex: lateralidade, gravidade) comuns na CID-10. Enquanto o bi-encoder fornece um recall forte (MAP@10 ~0,69 no nível de categoria), o cross-encoder é essencial para calibrar a ordenação top-1.

Conclusão e Trabalhos Futuros

Os autores concluem que, para recuperação médica especializada, a curadoria de dados é o fator limitante, não o tamanho do modelo. Seu pipeline alcança um F1 de 0,709 no CodiESP, superando o melhor resultado da tarefa compartilhada CodiESP de 2020 (F1=0,687), apesar de usar um bi-encoder treinado exclusivamente em dados sintéticos fora da amostra.

O artigo sugere uma arquitetura de produção consistindo em um bi-encoder universal e curado para geração de candidatos, pareado com cross-encoders específicos de idioma ou especialidade para reclassificação. O trabalho futuro proposto inclui:

• Avaliação multilíngue para isolar efeitos de linguagem (testando italiano, português e catalão).
• Escalar o corpus sintético em uma ordem de magnitude para cobrir combinações de qualificadores raras.
• Substituir o cross-encoder por um agente de codificação baseado em LLM que opere na lista curta do bi-encoder.

Os autores mantêm uma postura modesta, observando que dados sintéticos não são substitutos para a avaliação clínica real e que os exemplos gerados podem carecer do ruído das notas do mundo real. No entanto, afirmam que suas descobertas demonstram a viabilidade de abordagens de pequenos dados e alinhadas à tarefa para busca semântica clínica.