Resumen Técnico: Direccionamiento de Activación Cross-Lingual para Modelos de Lenguaje Multilingües

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) exhiben disparidades significativas de rendimiento entre lenguas dominantes (de altos recursos) y no dominantes (de bajos recursos). Esta brecha se atribuye principalmente al sesgo de los corpus de pre-entrenamiento hacia las lenguas dominantes, lo que conduce a representaciones desequilibradas donde las neuronas compartidas y las específicas de cada lengua no están distribuidas de manera óptima. Aunque la expansión de los datos de entrenamiento o el ajuste fino (fine-tuning) de los modelos son soluciones comunes, a menudo resultan prohibitivas en términos de coste o inviables debido a la escasez de datos. Las intervenciones existentes a nivel de neurona han arrojado resultados mixtos, ya que algunos enfoques intentan sobrescribir las activaciones con constantes estadísticas, eliminando eficazmente las señales dependientes de la entrada.

Metodología: Direccionamiento de Activación Cross-Lingual (CLAS)

Los autores proponen el Direccionamiento de Activación Cross-Lingual (CLAS), una intervención en tiempo de inferencia que no requiere entrenamiento, diseñada para reequilibrar las representaciones compartidas y específicas de cada lengua sin modificar los pesos del modelo. CLAS opera a través de tres etapas principales:

1. Construcción de Entradas en Paralelo: El método utiliza entradas multilingües alineadas (frases paralelas en distintos idiomas) para analizar el comportamiento de las neuronas. Estas entradas se utilizan únicamente para medir las activaciones y no para actualizar el modelo.
2. Categorización de Neuronas y Selección de Capas Puente:
   • Las neuronas se categorizan a nivel de conjunto de datos (utilizando 100 muestras paralelas de XQuAD) en cuatro grupos: muertas, específicas de un idioma, parcialmente compartidas y totalmente compartidas. A diferencia de trabajos previos que categorizan a nivel de instancia, este enfoque asigna categorías estables a las neuronas basándose en estadísticas agregadas.
   • El análisis revela que las neuronas parcialmente compartidas son más prevalentes en ciertas "capas puente" (por ejemplo, capas 24–29 en LLaMA, 24–25 en Qwen). Estas capas se seleccionan para la intervención, ya que ofrecen un equilibrio entre la estructura compartida y el procesamiento específico de cada lengua, evitando las capas finales altamente especializadas.
3. Mecanismo de Direccionamiento de la Activación:
   • Para los idiomas que no son el ancla, CLAS aplica una modificación determinista a las activaciones MLP intermedias ($h$) en las capas puente seleccionadas.
   • Ajuste de la parte parcialmente compartida: Se potencian las neuronas que codifican la estructura cross-lingual: $h_1 = h \odot (1 + \beta M_{shared})$.
   • Ajuste de la especificidad de la lengua: Se suprimen las neuronas sobre-especializadas en un solo idioma: $h_2 = h_1 \odot (1 - \gamma M_{spec})$.
   • Mezcla (Blending): La activación modificada se mezcla con la señal original: $h_{final} = (1 - \alpha)h + \alpha h_2$.
   • El idioma ancla (típicamente el inglés) permanece sin modificaciones para servir como un punto de referencia estable. Los parámetros $\beta$, $\gamma$ y $\alpha$ se ajustan mediante una búsqueda de cuadrícula (grid search).

Principales Contribuciones

• Marco CLAS: Introducción de un mecanismo que no requiere entrenamiento para modular selectivamente las activaciones de las neuronas con el fin de mejorar la transferencia cross-lingual durante la inferencia.
• Perspectiva de la Divergencia Funcional: Descubrimiento de que la transferencia cross-lingual efectiva es impulsada por la divergencia funcional en lugar de un alineamiento geométrico estricto con el idioma ancla. Las mejoras en el rendimiento se correlacionan con un mayor aumento de la separación de los clústeres lingüísticos en el espacio de representación.
• Validación Empírica: Demostración de la efectividad de CLAS en diversas tareas (clasificación y generación) y modelos (LLaMA 3.1 8B y Qwen 2.5 7B), logrando mejoras mientras se mantiene la estabilidad en el idioma ancla.

Resultados

Los autores evaluaron CLAS en los benchmarks XNLI (Inferencia de Lenguaje Natural) y XQuAD (Preguntas y Respuestas).

• Clasificación (XNLI): CLAS logró mejoras promedio de precisión de +1.93% para LLaMA y +0.45% para Qwen respecto a los modelos base. Estas ganancias fueron estadísticamente significativas ($p < 0.05$ y $p < 0.001$, respectivamente). Se observaron mejoras notables en idiomas como urdu (+7.00), chino (+5.89) e hindi (+5.80) para LLaMA.
• Generación (XQuAD): CLAS mejoró las puntuaciones F1 promedio a nivel de token en +0.94 (LLaMA) y +1.10 (Qwen). Sin embargo, estas ganancias no fueron estadísticamente significativas debido a la mayor varianza en las tareas generativas. Los resultados mostraron alta variabilidad, con algunos idiomas experimentando ganancias sustanciales (por ejemplo, ruso +8.94 para Qwen) mientras que otros retrocedieron (por ejemplo, hindi -5.28 para Qwen).
• Análisis de Representación:
  • Alineación: Contrario a la intuición de que los modelos deberían alinearse más cerca del inglés, CLAS generalmente redujo la similitud de coseno con el ancla en inglés.
  • Separación de Clústeres: Las visualizaciones t-SNE revelaron que CLAS reforma las representaciones impulsando la divergencia funcional. Los idiomas que se movieron de regiones ambiguas y superpuestas hacia clústeres distintos mostraron las mayores ganancias de rendimiento.
  • Dirección de Direccionamiento (Steering): La dirección de direccionamiento óptima ($\alpha$) varió según la tarea y el modelo; algunas configuraciones se beneficiaron de reforzar las representaciones compartidas ( $\alpha$ positivo), mientras que otras requirieron amplificar las señales específicas de la lengua ($\alpha$ negativo).

Significado y Reivindicaciones

El artículo sostiene que el direccionamiento de la activación dirigido puede desbloquear la capacidad multilingüe latente en modelos existentes sin necesidad de datos adicionales o actualizaciones de parámetros. El núcleo de su significancia reside en el hallazgo de que la divergencia funcional, en lugar del alineamiento estricto con un idioma dominante, es la clave para mejorar el rendimiento en los idiomas no dominantes.

Los autores enfatizan que su enfoque difiere de las intervenciones de neuronas previas (por ejemplo, Mondal et al., 2025) al preservar la proporcionalidad de las activaciones reales del modelo en lugar de sobrescribirlas con constantes estáticas. Esto permite que el modelo conserve su estructura dependiente de la entrada mientras reequilibra la contribución de las características compartidas frente a las específicas de cada lengua.

El trabajo concluye que, si bien CLAS ofrece una alternativa prometedora y ligera al ajuste fino, su efectividad depende de la tarea y no es uniforme en todos los idiomas, lo que destaca la necesidad de estrategias de intervención cuidadosas y conscientes de la tarea.