ClinicalAligner26AM: A Cross-Lingual Aligner for Dataset Translation; Evidences from the MultiClinCorpus Shared Task

Resumo Técnico: ClinicalAligner26AM

Definição do Problema
O artigo aborda o desafio da projeção de anotações translinguais em Processamento de Linguagem Natural (PLN) clínico. No domínio clínico, os dados anotados são escassos e os limites das entidades são críticos. Embora anotações no idioma de origem (ex: espanhol) possam estar disponíveis, transferi-las para idiomas de destino (ex: inglês, italiano, holandês) é difícil porque as traduções frequentemente alteram as formas superficiais enquanto preservam o conteúdo. A classificação direta de spans costuma ser rígida demais para lidar com a expansão, contração, reordenação ou divisão de entidades que ocorrem durante a tradução. O artigo postula que o alinhamento translingual ao nível de token é um primitivo mais confiável para esta tarefa do que treinar novos extratores do zero, embora os alinhadores neurais existentes raramente sejam adaptados para domínios biomédicos especializados.

Metodologia
Os autores introduzem o ClinicalAligner26AM, um alinhador de tokens multilingue de contexto amplo inicializado a partir do ClinicalEncoder26AM. A abordagem segue um framework de destilação professor-aluno inspirado no AWESoME Align, adaptado especificamente para textos clínicos.

1. Construção do Professor (Alvo Congelado):
   Em vez de depender de um único espaço de embedding bilíngue, os autores constroem uma matriz de custo fonte-destino "congelada" fundindo três visões semânticas complementares e um prior posicional:

   • Nível de sentença: Derivado de ClinicalEncoder26AM-L2.
   • Nível de frase: Derivado de ClinicalEncoder26AM-L1.
   • Nível de token: Derivado do XLM-Align, utilizando uma heurística de contextualização de 5 tokens (concatenando dois tokens precedentes e dois subsequentes com um fator de desconto) para reduzir o ruído de tokens curtos e de baixo peso.
   • Prior Posicional: Um viés fraco atribuindo massa máxima dentro de uma janela de 50 tokens ao redor da diagonal, com decaimento até 100 tokens, para refletir a preservação da ordem do discurso nas traduções.

   Esses sinais são somados em uma matriz de custo inicial e refinados usando o algoritmo Sinkhorn–Knopp (100 iterações) para produzir uma distribuição suave, esparsa e duplamente estocástica de alinhamento. Este passo converte similaridades heterogêneas em uma distribuição muitos-para-muitos globalmente consistente.

2. Treinamento do Aluno:
   O modelo aluno, ClinicalAligner26AM, é treinado para corresponder a este alvo congelado. Ele codifica textos de origem e destino de forma independente e computa uma matriz de alinhamento direta baseada em cosseno. A função de perda minimiza a diferença entre as similaridades de cosseno ingênuas do aluno e o alvo otimizado do professor, utilizando perdas de similaridade de cosseno por linha e coluna em vez de divergência KL para manter a eficiência e consistência.

3. Variante de Competição (MCAI):
   Uma variante, ClinicalAligner26AM-MCAI, injeta supervisão adicional ao adicionar um viés positivo para pares de tokens que caem dentro de spans mapeados manualmente da partição de treinamento MultiClinCorpus. Isso direciona o alvo do professor para alinhamentos que refletem melhor o regime de projeção de anotações da tarefa compartilhada.

4. Pipeline de Inferência:
   Na inferência, o modelo projeta os escores de pertinência de entidade da origem sobre os tokens de destino usando a matriz de alinhamento aprendida. O sistema então decodifica o maior span válido de alto escore no texto de destino, permitindo no máximo um token de lacuna (para pontuação ou tokens mal atribuídos). Este processo pode ser opcionalmente suportado por predições de um sistema MultiClinNER, embora o alinhamento permaneça o principal mecanismo de transferência.

Principais Contribuições

• Alinhador Especializado no Domínio: A introdução do ClinicalAligner26AM, um alinhador ao nível de token especificamente inicializado e treinado para textos biomédicos e clínicos, abordando a lacuna no alinhamento de domínios especializados.
• Receita de Treinamento Multi-Visão: Um método inovador para construir alvos de alinhamento fundindo sinais de nível de sentença, frase e token com refinamento de transporte ótimo, destilados em um modelo aluno leve.
• Variante de Competição: O desenvolvimento do ClinicalAligner26AM-MCAI, que demonstra como a supervisão manual de spans pode refinar decisões de contorno sem alterar a arquitetura central de treinamento.

Resultados
Os sistemas foram avaliados na tarefa compartilhada MultiClinCorpus, que envolve projetar anotações de entidades clínicas em espanhol (Procedimento, Doença, Sintoma) para seis idiomas de destino.

• Ranking: Os dois sistemas submetidos (CA26AM e CA26AM-MCAI) ocuparam o primeiro e segundo lugares em todos os idiomas e tipos de entidade.
• Performance: Os escores F1 ponderados por caractere excederam 0,95 em quase todas as configurações, aproximando-se de 0,97 para várias combinações de idioma-entidade (particularmente em inglês, italiano e romeno).
• Comparação: Os modelos de alinhamento superaram significativamente um baseline usando apenas CE26AM (sem alinhamento de origem), que teve dificuldades com os equilíbrios de precisão e recall típicos da descoberta de menções. Os resultados indicam que, quando as entidades de origem são conhecidas, a tarefa simplifica-se para localização, onde o alinhamento ao nível de token é altamente eficaz.
• Análise de Variante: A variante MCAI mostrou melhorias modestas, mas consistentes, sobre o alinhador base, sugerindo que, embora o alvo congelado multi-visão impulsione a maior parte do desempenho, o viés consciente da anotação ajuda a refinar decisões de contorno difíceis.

Significância e Alegações
O artigo alega que o alinhamento ao nível de token é um mecanismo suficiente e eficaz para transferir spans clínicos exatos através de documentos traduzidos quando as anotações de origem são confiáveis. Ao enquadrar a transferência translingual como um problema de localização em vez de um problema completo de descoberta de menções, o método alcança uma transferência de entidade multilingue quase perfeita. Os autores sugerem que esta formulação se estende naturalmente para esquemas de anotação mais ricos (spans aninhados, transferência de metadados) e aplicações downstream, como auditoria de tradução, localização de erros e avaliação de fidelidade translingual, sem exigir mecanismos complexos de atenção cruzada em tempo de inferência.