Resumen Técnico: Mejora de Subredes Dispersas para Lenguas Subrepresentadas en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) exhiben disparidades significativas de rendimiento entre lenguas de altos recursos y de bajos recursos. Aunque el escalado de los datos de entrenamiento y de los parámetros del modelo mejora el rendimiento multilingüe, este enfoque suele ser poco práctico en escenarios con recursos limitados que involucran cientos de lenguas. Las estrategias de adaptación existentes enfrentan un compromiso fundamental:

• Ajuste Fino Completo (Full Fine-Tuning): A menudo conduce al olvido catastrófico de las capacidades de propósito general y requiere recursos computacionales sustanciales.
• Ajuste Fino de Parámetros Eficientes (PEFT): Métodos como LoRA y los adaptadores reducen los costes computacionales, pero operan sin considerar explícitamente cómo se organiza el conocimiento dentro del modelo, lo que podría modificar parámetros que codifican diferentes funciones de manera indiscriminada.
• Enfoques a Nivel de Neurona: Trabajos previos han mostrado potencial en la identificación de estructuras específicas de la lengua, pero se han centrado principalmente en la adaptación específica de tareas (por ejemplo, traducción automática) o en la interpretabilidad, en lugar de una adaptación sistemática y dirigida para la inyección de capacidades a escala.

La pregunta de investigación central es si se pueden inyectar nuevas capacidades lingüísticas en los LLMs ajustando directamente el subconjunto disperso de neuronas que codifican el procesamiento específico de la lengua, sin degradar las capacidades generales existentes.

Metodología

Los autores proponen un marco para mejorar las capacidades monolingües mediante el ajuste fino dirigido de subredes específicas de la lengua dentro de los componentes de Redes de Alimentación hacia Adelante (FFN). El enfoque consta de dos etapas principales:

1. Identificación de Neuronas mediante LAPE

El método utiliza la Entropía de Probabilidad de Activación del Lenguaje (LAPE), una métrica de información teórica, para identificar neuronas que exhiben patrones de activación fuertemente específicos de una lengua.

• Mecanismo: Para cada neurona $i$ en la capa $\ell$, se estima la probabilidad de activación bajo entradas de la lengua $k$ ($p^k_{\ell,i}$) sobre un corpus monolingüe.
• Cálculo de la Entropía: Las probabilidades a través de $K$ lenguas se normalizan para formar una distribución. El puntaje LAPE se calcula como la entropía de Shannon de esta distribución. Los puntajes LAPE bajos indican neuronas que se activan selectivamente para una lengua específica (baja entropía), mientras que los puntajes altos indican neuronas agnósticas al lenguaje.
• Criterio de Selección: Se seleccionan las neuronas en el percentil $\rho$-ésimo (establecido en el 5%) de los puntajes LAPE, sujetas a un umbral de actividad ($\tau_{act}$) para filtrar neuronas uniformemente inactivas. Una neurona puede pertenecer a múltiples subredes si supera el umbral de activación para múltiples lenguas, lo que refleja características lingüísticas compartidas.
• Enfoque: El estudio se centra en los componentes FFN, ya que investigaciones previas establecen que estos son el sitio principal de almacenamiento de conocimiento factual y lingüístico en los transformadores.

2. Ajuste Fino de Subredes Dispersas

Una vez identificada la subred específica de la lengua $S_k$ para una lengua objetivo $k$, el modelo se ajusta actualizando únicamente los pesos asociados con estas neuronas.

• Alcance de Parámetros: Para un transformador con bloques FFN basados en GLU, los parámetros entrenables para una neurona $i$ seleccionada incluyen las filas correspondientes de las matrices de puerta y de proyección ascendente ($W_{gate}[i, :], W_{up}[i, :]$) y la columna de la matriz de proyección descendente ($W_{down}[:, i]$).
• Optimización: El modelo minimiza la pérdida de modelado de lenguaje en los datos de la lengua objetivo mientras mantiene todos los demás parámetros congelados.
• Eficiencia: Este enfoque actualiza solo del 0.2% al 1% del total de los parámetros del modelo.

Contribuciones Clave

1. Marco Sistemático: Introducción de un marco para mejorar lenguas subrepresentadas mediante el ajuste fino de subredes dispersas, demostrando que las capacidades lingüísticas pueden inyectarse actualizando menos del 1% de los parámetros.
2. Validación Empírica: Experimentos extensos a través de tres modelos (LLAMA-3.1-8B, MISTRAL-NEMO-12B, AYA-EXPANSE-8B) y 12 lenguas de recursos medios y bajos. El método supera consistentemente al ajuste fino completo, al ajuste de solo FFN, a LoRA, a IA3 y a los baselines de subconjuntos aleatorios en tareas de la lengua objetivo, preservando plenamente las capacidades generales.
3. Perspectivas Mecanísticas:
   • Asimetría del Cambio de Pesos: El análisis revela que los pesos de proyección descendente en las capas posteriores experimentan actualizaciones sustancialmente mayores (3 a 5 veces más que las proyecciones de puerta/ascendente) en comparación con otros componentes, lo que sugiere que sirven como el sitio principal para el re cableado lingüístico.
   • Alineación Translingüística: El ajuste fino disperso mejora la alineación translingüística (medida por la similitud de coseno de las activaciones del flujo residual) de manera más efectiva que el ajuste fino denso, produciendo representaciones más agnósticas al lenguaje en las capas posteriores.
4. Liberación de Recursos: Publicación de las identificaciones de neuronas específicas de la lengua para más de 100 lenguas y el pipeline de adaptación, proporcionando recursos prácticos para la comunidad.

Resultados Experimentales

• Rendimiento en la Lengua Objetivo: El enfoque de subred dispersa logró las mayores mejoras promedio en las pruebas de referencia de traducción (FLORES-200, OPUS-100) y comprensión/clasificación (BELEBELE, SIB-200). Por ejemplo, en FLORES, las subredes dirigidas lograron mejoras promedio de hasta 5 puntos BLEU sobre el modelo base, superando al ajuste fino completo que a menudo degradaba el rendimiento.
• Preservación de Capacidades Generales: A diferencia del ajuste fino completo y del ajuste de solo FFN, que causaron olvido catastrófico (por ejemplo, los puntajes MMLU cayeron de ~58 a ~22), el método disperso preservó las capacidades generales (los puntajes MMLU se mantuvieron cerca de los niveles base, ~57.5 vs 58.1).
• Comparación con PEFT: Aunque IA3 preservó las capacidades generales, sus ganancias en las tareas de la lengua objetivo fueron consistentemente menores que las del método de subred dispersa. LoRA y los baselines de subconjuntos aleatorios mostraron un rendimiento intermedio, pero sufrieron reducciones notables en las capacidades generales.
• Eficiencia de Datos: El método converge más rápido y alcanza una pérdida de validación menor que los baselines. Aumentar el tamaño de los datos de entrenamiento (hasta 200 millones de tokens) generalmente mejoró el rendimiento, aunque se observaron saturaciones o ligeros descensos para lenguas específicas (por ejemplo, lituano, maltés), lo que sugiere límites de capacidad de la subred.

Significado y Reivindicaciones

El artículo afirma que el ajuste fino disperso y dirigido de neuronas específicas de la lengua es un mecanismo viable para la adaptación de capacidad de nivel de lenguaje. La importancia de este trabajo radica en:

• Democratización del Acceso: Proporcionar un camino rentable para extender los LLMs a lenguas subrepresentadas sin la carga computacional del reentrenamiento completo o el riesgo de olvido catastrófico.
• Interpretabilidad Accionable: Demostrar que las perspectivas mecánicas (identificar neuronas específicas mediante LAPE) pueden guiar directamente la mejora del modelo, pasando del análisis post-hoc a la optimización accionable.
• Escalabilidad: Probar que las capacidades lingüísticas pueden inyectarse actualizando menos del 1% de los parámetros, un resultado que los autores señalan que no se había demostrado anteriormente a esta escala.

Los autores concluyen que este marco ofrece una base práctica para la investigación futura sobre LLMs para lenguas subrepresentadas, con posibles extensiones a otras modalidades y la determinación adaptativa de los tamaños de las subredes basadas en la tipología lingüística.