Resumen Técnico: DuDi – Destilación de Señal Dual con Verbalizador Multilingüe

Planteamiento del Problema

Los Modelos de Lenguaje Pequeños (SLM) ofrecen ventajas significativas en eficiencia, escalabilidad y despliegue en dispositivos periféricos con recursos limitados. Sin embargo, sus capacidades multilingües, particularmente para los idiomas del sudeste asiático (SEA), se degradan severamente cuando el tamaño del modelo cae por debajo de la escala de mil millones de parámetros. El Ajuste Fino Supervisado (SFT) estándar suele resultar en caídas drásticas de rendimiento para modelos sub-milmillonarios (por ejemplo, Qwen2.5-0.5B) en comparación con sus contrapartes más grandes. Aunque la Destilación de Conocimiento (KD) es una estrategia común para transferir conocimiento de profesores más grandes a estudiantes más pequeños, los enfoques de KD multilingüe existentes suelen estar limitados a entornos específicos de tareas o no logran unificar eficazmente la supervisión a nivel de secuencia y a nivel de token. Además, los métodos de destilación estándar suelen tener dificultades con el desajuste entre entrenamiento e inferencia y la diversidad lingüística inherente a los idiomas del sudeste asiático, donde los datos de entrenamiento de alta calidad son escasos.

Metodología: El Marco de Trabajo DuDi

Los autores proponen DuDi (Destilación de Señal Dual con Verbalizador Multilingüe), un marco unificado diseñado para mejorar los SLM multilingües integrando tres componentes principales:

1. Señal a Nivel de Secuencia

DuDi incorpora un objetivo de nivel de secuencia en línea inspirado en el Ajuste Fino de Auto-Juego (SPIN). A diferencia de los métodos iterativos estáticos, DuDi muestrea respuestas ($y' \sim \pi_\theta(x)$) en tiempo real. El modelo es entrenado para diferenciar su política actual de la verdad de referencia maximizando la verosimilitud relativa de las respuestas de verdad de referencia. Esto guía la política del estudiante hacia la dirección de la verdad de referencia de forma dinámica.

2. Señales a Nivel de Token (Señal Dual)

Para abordar las limitaciones de depender únicamente de datos generados por el estudiante o conjuntos de datos estáticos, DuDi emplea un enfoque de señal dual para la supervisión a nivel de token:

• Señal Fuera de la Política (Off-Policy): Derivada del corpus de entrenamiento, esta señal utiliza los logits proporcionados por el profesor para asegurar que la señal de supervisión permanezca estrictamente anclada en la distribución de la verdad de referencia. Esto evita que la política aprendida se desvíe de la distribución de datos objetivo.
• Señal Dentro de la Política (On-Policy): Derivada de las respuestas generadas por el estudiante ($\tilde{y} \sim \pi_\theta(x)$), esta señal permite que el profesor refine las salidas autogeneradas del estudiante, corrigiendo errores en tiempo real.

3. Verbalizador Multilingüe

Para mejorar la transferibilidad del conocimiento en entornos multilingües, DuDi introduce un verbalizador multilingüe. Este componente transforma un prompt de entrada ($x$), la verdad de referencia ($y$), el idioma de origen ($l$) y un idioma objetivo muestreado ($l_z$) en un prompt verbalizado estructurado ($z$) para el profesor y un prompt correspondiente ($p_z$) para el estudiante.

• Mecanismo: El profesor recibe el prompt en el idioma de origen con la verdad de referencia como demostración. Luego, se instruye al estudiante para generar una respuesta en el idioma objetivo (muestreado uniformemente del conjunto de entrenamiento, excluyendo el idioma de origen, e incluyendo el inglés).
• Objetivo: Esto obliga al estudiante a alinear su generación on-policy con la guía del profesor a través de las fronteras lingüísticas, facilitando señales de aprendizaje más ricas.

Objetivo de Entrenamiento Unificado

El objetivo de aprendizaje final ($L_{DuDi}$) es una suma ponderada de:

1. Alineación a nivel de secuencia (estilo SPIN).
2. Destilación a nivel de token fuera de la política (guiada por la verdad de referencia).
3. Destilación a nivel de token dentro de la política (guiada por el profesor mediante el verbalizador multilingüe).

Principales Contribuciones

1. Marco DuDi: Un marco de destilación multilingüe de propósito general que optimiza conjuntamente los objetivos a nivel de secuencia y la supervisión a nivel de token de señal dual (fuera y dentro de la política).
2. Verbalizador Multilingüe: Un mecanismo novedoso que refina la retroalimentación del profesor convirtiendo entradas y demostraciones en prompts que guían al estudiante para generar respuestas en diferentes idiomas objetivo, mejorando así la transferibilidad.
3. Análisis Exhaustivo: Estudios de ablación y análisis extensos que confirman que la optimización a nivel de secuencia, la supervisión a nivel de token y la verbalización multilingüe proporcionan señales de aprendizaje complementarias y transferibles.

Resultados Experimentales

Los autores evaluaron DuDi utilizando el benchmark SEA-HELM a través de siete idiomas del sudeste asiático (indonesio, vietnamita, tailandés, tamil, tagalo, malayo y birmano).

• Rendimiento: DuDi superó consistentemente a los baselines competitivos, incluyendo SFT, DFT, SPIN, SDFT, SeqKD y GKD.
  • En Qwen2.5-0.5B, DuDi alcanzó una puntuación promedio de 10.1, superando estadísticamente de forma significativa al segundo mejor baseline (DFT con 9.7) y a SPIN (9.5).
  • DuDi demostró robustez en diferentes familias de modelos (Qwen2.5, Qwen3, Llama3.2) y escalas (estudiantes de 0.5B a 1.5B).
  • En la configuración Qwen3-0.6B, DuDi mejoró el rendimiento promedio en un 15.6% sobre el sólido baseline GKD.
• Estudios de Ablación:
  • Eliminar la destilación fuera de la política (off-policy KD) causó la mayor caída de rendimiento (-24.6%), resaltando su papel crítico para anclar el modelo en la distribución objetivo.
  • Eliminar la destilación dentro de la política (on-policy KD) resultó en una caída del -6.6%.
  • Eliminar el verbalizador causó una caída del -5.0%.
  • Eliminar el inglés del conjunto de idiomas objetivo en el verbalizador degradó el rendimiento, lo que sugiere que el inglés facilita una mejor transferencia translingüe.
• Análisis del Verbalizador: El análisis de la ratio de solapamiento mostró que el verbalizador multilingüe logró el mayor acuerdo entre los logits del profesor y del estudiante durante los rollouts on-policy, confirmando que proporciona las señales de supervisión más informativas.
• Inicialización: El estudio confirmó que el "arranque en frío" (cold-start) de SFT (inicializando desde un modelo ajustado con datos de verdad de referencia) es crucial; inicializar directamente desde modelos base o desde salidas generadas por el profesor resultó en un rendimiento significativamente menor.

Significado y Reivindicaciones

El artículo afirma que DuDi aborda el desafío específico de reducir las capacidades multilingües proporcionando un marco unificado que aprovecha señales de aprendizaje complementarias. Los autores sostienen que:

• La Optimización Conjunta es Necesaria: Los componentes (señal de secuencia, señales duales de token y el verbalizador) no son independientemente efectivos, sino que requieren una integración conjunta para lograr resultados de vanguardia en SLM multilingües.
• Transferencia Translingüe: El verbalizador multilingüe es una innovación clave que mejora la transferibilidad del conocimiento profesor-estudiante, superando las limitaciones de los verbalizadores exclusivamente en inglés o monolingües.
• Robustez: El marco es robusto a través de diferentes arquitecturas y escalas de modelos, lo que lo convierte en una solución viable para desplegar SLM eficientes en entornos lingüísticos diversos y de bajos recursos como el sudeste asiático.

Los autores concluyen que DuDi ofrece un marco de ajuste fino efectivo para los SLM en entornos multilingües, y que todos los artefactos (código, conjuntos de datos, modelos) se publicarán para la investigación abierta.