Efficient Multilingual Dialogue Processing via Translation Pipelines and Distilled Language Models

Resumen Técnico: Procesamiento Eficiente de Diálogos Multilingües mediante Pipelines de Traducción y Modelos de Lenguaje Destilados

Planteamiento del Problema
La comprensión de diálogos multilingües presenta desafíos significativos, particularmente para las lenguas índicas de bajos recursos. Aunque los Modelos de Lenguaje Extensos (LLMs) han demostrado capacidades impresionantes en inglés, su rendimiento en otros idiomas sigue siendo limitado, especialmente al procesar datos conversacionales que requieren una comprensión profunda del contexto, el seguimiento de los turnos de los interlocutores y el análisis de la estructura del discurso. Los modelos multilingües existentes suelen tener dificultades para mantener la consistencia y la robustez en diversas lenguas índicas, y la calidad de los datos de entrenamiento puede ser cuestionable. Además, los enfoques multilingües directos a menudo no logran igualar el rendimiento de los modelos especializados centrados en el inglés debido a la disparidad en el tamaño del corpus de entrenamiento y los parámetros de evaluación.

Metodología
El equipo Kl33n3x desarrolló un sistema de pipeline de tres etapas para la tarea compartida NLPAI4Health 2025, diseñado para generar resúmenes y responder preguntas de diálogos en ocho lenguas índicas (maratí, kannada, guyaratí, telugu, tamil, bengalí, hindi, asamés) además del inglés. El sistema evita el ajuste fino (fine-tuning) directo de un modelo multilingüe para las tareas específicas, lo cual resultó insuficiente inicialmente para mantener la consistencia factual y manejar la terminología médica. En su lugar, la arquitectura emplea una estrategia de "traducir primero":

1. Traducción hacia adelante (Forward Translation): Los diálogos se traducen desde la lengua índica de origen al inglés utilizando prajdabre/rotary-indictrans2-indic-en-dist-200M. Este modelo, basado en la arquitectura IndicTrans2, utiliza incrustaciones de posición rotatoria (RoPE) y está optimizado específicamente para pares de índico-inglés para asegurar una traducción de alta calidad.
2. Generación Multitarea: El texto en inglés es procesado por una versión destilada del modelo Qwen3-4B-Instruct (unsloth/Qwen3-4B-Instruct-2507-unsloth-bnb-4bit). Este modelo ha sido comprimido a 2.55 mil millones de parámetros mediante destilación de conocimiento y cuantizado a 4 bits. Maneja tres tareas distintas —resumen narrativo, resumen estructurado y respuesta a preguntas— mediante prompts específicos para cada tarea. Una característica crítica de este modelo es su ventana de contexto masiva (hasta ~256k tokens), lo que le permite procesar conversaciones clínicas completas en una sola pasada hacia adelante sin truncamiento, preservando así la coherencia del discurso y la consistencia factual.
3. Traducción inversa (Reverse Translation): Los resultados generados en inglés se traducen de vuelta a la lengua índica de origen utilizando prajdabre/rotary-indictrans2-en-indic-dist-200M, que refleja la arquitectura de la traducción hacia adelante.

El sistema utiliza decodificación codiciosa (greedy decoding) para obtener salidas deterministas y procesa los datos a través de un pipeline de preprocesamiento que gestiona la atribución de hablantes, los límites de turno y la tokenización del lenguaje.

Contribuciones Clave

• Eficiencia del Modelo Destilado: El artículo demuestra que un modelo destilado compacto de 2.55B de parámetros puede lograr un rendimiento altamente competitivo en nueve idiomas, reduciendo significativamente los requisitos computacionales (aprox. 6GB de memoria GPU) en comparación con la carga de múltiples modelos especializados o LLMs más grandes.
• Pipeline Basado en Traducción para Lenguas de Bajos Recursos: El trabajo valida que aprovechar modelos de traducción especializados de alta calidad combinados con potentes modelos generativos centrados en el inglés puede superar los enfoques multilingües directos, particularmente cuando la calidad de los datos de entrenamiento es variable.
• Procesamiento Consciente del Contexto: Al utilizar un modelo con una ventana de contexto de 256k tokens, el sistema evita la pérdida de información asociada con el truncamiento o las estrategias de ventana deslizante comunes en el procesamiento de diálogos médicos.
• Arquitectura Unificada: El enfoque utiliza un único modelo ajustado por instrucciones para todas las tareas (resumen y QA), simplificando el despliegue y el mantenimiento en entornos clínicos con recursos limitados.

Resultados
El sistema logró sólidas tasas de victoria en la competencia NLPAI4Health 2025, con un rendimiento particularmente robusto en la Respuesta a Preguntas (QnA) para el maratí (86.7%), tamil (86.7%) e hindi (80.0%).

• Métricas Automáticas: El sistema alcanzó puntuaciones F1 que oscilan entre 0.43 y 0.67 para QnA, 0.81 y 0.92 para el resumen narrativo, y 0.35 y 0.43 para el resumen estructurado.
• Similitud Semántica: Altos valores de BERTScore (0.82–0.92) en todas las tareas indican una fuerte similitud semántica entre las salidas generadas y las de referencia, lo que sugiere que el sistema captura eficazmente el significado del diálogo incluso cuando la superposición léxica exacta varía.
• Sensibilidad a la Tarea: El rendimiento varió según el tipo de tarea; el resumen narrativo se benefició más del enfoque de traducción, mientras que el resumen estructurado (clave-valor) mostró un rendimiento más consistente entre los idiomas, probablemente debido a la robustez del formato clave-valor frente a artefactos menores de traducción.

Significancia y Reivindicaciones
El artículo afirma que los enfoques basados en la traducción siguen siendo una estrategia viable y efectiva para las tareas de PLN multilingües, especialmente cuando no hay modelos multilingües directos disponibles o cuando la calidad de los datos de entrenamiento es cuestionable. El trabajo destaca que los modelos compactos, cuando se combinan con pipelines de traducción de alta calidad, pueden alcanzar un rendimiento comparable al de modelos más grandes ofreciendo, al mismo tiempo, ventajas computacionales significativas. Los autores señalan que, si bien el enfoque está limitado por la calidad de los modelos de traducción (los errores se propagan hacia abajo) e introduce latencia, proporciona una solución práctica para procesar lenguas índicas de bajos recursos sin la necesidad de un ajuste fino específico de la tarea sobre datos ruidosos. Se sugiere como trabajo futuro explorar enfoques multilingües directos a medida que los modelos y los conjuntos de datos mejoren, e investigar métodos para reducir la dependencia de la traducción.