ClinicalAligner26AM: A Cross-Lingual Aligner for Dataset Translation; Evidences from the MultiClinCorpus Shared Task

Resumen Técnico: ClinicalAligner26AM

Planteamiento del Problema
El artículo aborda el desafío de la proyección de anotaciones translingües en el procesamiento de lenguaje natural (NLP) clínico. En los dominios clínicos, los datos anotados son escasos y los límites de las entidades son críticos. Aunque se dispone de anotaciones en el idioma de origen (por ejemplo, en español), transferirlas a idiomas de destino (por ejemplo, inglés, italiano, neerlandés) es difícil porque las traducciones suelen alterar las formas superficiales preservando el contenido. La clasificación directa de segmentos suele ser demasiado rígida para manejar la expansión, contracción, reordenación o división de entidades que ocurren durante la traducción. El artículo postula que el alineamiento translingüe a nivel de palabra es un primitivo más fiable para esta tarea que el entrenamiento de nuevos extractores desde cero, aunque los alineadores neuronales existentes rara vez se adaptan a dominios biomédicos especializados.

Metodología
Los autores presentan ClinicalAligner26AM, un alineador de tokens multilingüe de contexto amplio inicializado a partir de ClinicalEncoder26AM. El enfoque sigue un marco de destilación profesor-estudiante inspirado en AWESoME Align, adaptado específicamente para texto clínico.

1. Construcción del Profesor (Objetivo Congelado):
   En lugar de depender de un único espacio de incrustaciones (embeddings) bilingüe, los autores construyen una matriz de coste origen-destino "congelada" fusionando tres vistas semánticas complementarias y un prior posicional:

   • Nivel de oración: Derivado de ClinicalEncoder26AM-L2.
   • Nivel de frase: Derivado de ClinicalEncoder26AM-L1.
   • Nivel de token: Derivado de XLM-Align, utilizando una heurística de contextualización de 5 tokens (concatenando dos tokens precedentes y dos siguientes con un factor de descuento) para reducir el ruido de los tokens cortos de bajo peso.
   • Prior Posicional: Un sesgo débil que asigna la máxima masa dentro de una ventana de 50 tokens alrededor de la diagonal, con un decaimiento hasta los 100 tokens, para reflejar la preservación del orden del discurso en las traducciones.

   Estos signos se suman en una matriz de coste inicial y se refinan mediante el algoritmo Sinkhorn–Knopp (100 iteraciones) para producir una distribución de alineación suave, doblemente estocástica y dispersa. Este paso convierte similitudes heterogéneas en una distribución de muchos a muchos globalmente consistente.

2. Entrenamiento del Estudiante:
   El modelo estudiante, ClinicalAligner26AM, se entrena para coincidir con este objetivo congelado. Codifica textos de origen y destino de forma independiente y calcula una matriz de alineación basada directamente en la similitud de coseno. La función de pérdida minimiza la diferencia entre las similitudes de coseno ingenuas del estudiante y el objetivo optimizado del profesor, utilizando pérdidas de similitud de coseno por fila y columna en lugar de la divergencia KL para mantener la eficiencia y la consistencia.

3. Variante de Competición (MCAI):
   Una variante, ClinicalAligner26AM-MCAI, inyecta supervisión adicional al añadir un sesgo positivo a los pares de tokens que caen dentro de los segmentos mapeados manualmente del conjunto de entrenamiento MultiClinCorpus. Esto empuja el objetivo del profesor hacia alineamientos que reflejen mejor el régimen de proyección de anotaciones de la tarea compartida.

4. Pipeline de Inferencia:
   En la inferencia, el modelo proyecta las puntuaciones de membresía de entidad de origen sobre los tokens de destino utilizando la matriz de alineación aprendida. El sistema decodifica entonces el segmento válido más largo con puntuación alta en el texto de destino, permitiendo como máximo un token de brecha (para puntuación o tokens mal atribuidos). Este proceso puede ser apoyado opcionalmente por predicciones de un sistema MultiClinNER, aunque el alineamiento sigue siendo el mecanismo de transferencia principal.

Contribuciones Clave

• Alineador Especializado en el Dominio: La introducción de ClinicalAligner26AM, un alineador a nivel de token inicializado y entrenado específicamente para texto biomédico y clínico, abordando la brecha en el alineamiento de dominios especializados.
• Receta de Entrenamiento de Múltiples Vistas: Un método novedoso para construir objetivos de alineación fusionando señales a nivel de oración, frase y token con refinamiento de transporte óptimo, destiladas en un modelo estudiante ligero.
• Variante de Competición: El desarrollo de ClinicalAligner26AM-MCAI, que demuestra cómo la supervisión manual de segmentos puede refinar las decisiones de los límites sin alterar la arquitectura central de entrenamiento.

Resultados
Los sistemas fueron evaluados en la tarea compartida MultiClinCorpus, que consiste en proyectar anotaciones clínicas de español (Procedimiento, Enfermedad, Síntoma) a seis idiomas de destino.

• Clasificación: Los dos sistemas presentados (CA26AM y CA26AM-MCAI) ocuparon el primer y segundo lugar en todos los idiomas y tipos de entidad.
• Rendimiento: Las puntuaciones F1 ponderadas por caracteres superaron el 0.95 en casi todos los entornos, acercándose al 0.97 en varias combinaciones de idioma-entidad (particularmente en inglés, italiano y rumano).
• Comparación: Los modelos de alineación superaron significativamente a un modelo base que utilizaba solo CE26AM (sin alineamiento de origen), el cual tuvo dificultades con los equilibrios de precisión y exhaustividad (recall) típicos del descubrimiento de menciones. Los resultados indican que cuando las entidades de origen son conocidas, la tarea se simplifica a la localización, donde el alineamiento a nivel de token es altamente efectivo.
• Análisis de la Variante: La variante MCAI mostró mejoras modestas pero consistentes sobre el alineador base, lo que sugiere que, si bien el objetivo congelado de múltiples vistas impulera la mayor parte del rendimiento, el sesgo consciente de la anotación ayuda a refinar las decisiones de límites difíciles.

Significado y Reivindicaciones
El artículo afirma que el alineamiento a nivel de token es un mecanismo suficiente y efectivo para transferir segmentos clínicos exactos a través de documentos traducidos cuando las anotaciones de origen son fiables. Al enmarcar la transferencia translingüe como un problema de localización en lugar de un problema completo de descubrimiento de menciones, el método logra una transferencia de entidades multilingüe casi perfecta. Los autores sugieren que esta formulación se extiende naturalmente a esquemas de anotación más ricos (segmentos anidados, transferencia de metadatos) y aplicaciones downstream como la auditoría de traducción, la localización de errores y la evaluación de la fidelidad translingüe, sin requerir mecanismos complejos de atención cruzada en el tiempo de inferencia.