Language steering in latent space to mitigate unintended code-switching

1. El Problema

Los Modelos de Lenguaje Grandes (LLM) multilingües sufren frecuentemente de cambio de código no deseado (unintended code-switching). Esto ocurre cuando el modelo genera tokens en un idioma diferente al solicitado, a pesar de recibir instrucciones monolingües explícitas.

• Impacto: Reduce la fiabilidad en tareas posteriores, degrada la confianza del usuario (ej. un chatbot de servicio al cliente que cambia de español a inglés a mitad de respuesta) y puede ser utilizado como vector de "red teaming" para eludir filtros de seguridad.
• Limitaciones de soluciones actuales: Los métodos existentes requieren un fine-tuning costoso, introducen latencia mediante intervenciones en tiempo de decodificación complejas o dependen de ingeniería de prompts frágil.

2. Metodología

Los autores proponen una técnica de dirección de idioma en espacio latente (latent-space language steering), un método ligero que opera durante la inferencia sin necesidad de reentrenar el modelo.

• Identificación de Direcciones de Idioma:

  • Se utiliza un corpus paralelo (traducciones equivalentes semánticamente en diferentes idiomas).
  • Se extraen los estados ocultos (hidden states) de las capas del LLM.
  • Se aplica Análisis de Componentes Principales (PCA) a las representaciones agrupadas por capa.
  • Hallazgo clave: La identidad del idioma se concentra en las capas finales del modelo. El primer componente principal (PC1) captura la mayor parte de la varianza y define un eje lineal que separa los idiomas, manteniendo la semántica intacta.

• Mecanismo de Dirección (Steering):

  • Durante la generación, para cada token en las capas críticas (últimas capas), se modifica el estado oculto proyectándolo sobre el eje del idioma.
  • La fórmula aplicada es: $\tilde{h} = h - s(h \cdot v)v$, donde $v$ es el vector de dirección del idioma y $s$ es un coeficiente de fuerza.
  • Si $s=1$, se elimina el componente del idioma (proyección ortogonal). Si $|s| > 1$, se empuja activamente la representación lejos de la dirección del idioma fuente (contra-dirección), lo cual resulta necesario para superar el sesgo del modelo.

• Clasificación:

  • Se demuestra que un simple clasificador de regresión logística basado en la proyección del PC1 puede identificar el idioma con una precisión casi perfecta (95-99%).

3. Contribuciones Clave

1. Método de bajo costo: Una técnica de inferencia que requiere solo traducciones paralelas para la calibración y añade una sobrecarga computacional despreciable (un producto punto y una resta de vectores por token).
2. Validación empírica: Demostración de reducción del cambio de código tanto en métricas distribucionales como en evaluaciones basadas en generación.
3. Clasificador casi perfecto: Creación de un clasificador de idioma basado en proyecciones PCA que valida la accesibilidad lineal de la identidad del idioma.
4. Análisis de la estructura geométrica: Evidencia de que la identidad del idioma se cristaliza en las capas finales de los LLM multilingües, ocupando subespacios casi ortogonales a la semántica.
5. Recursos abiertos: Liberación de código y datos para facilitar la investigación futura.

4. Resultados

Los experimentos se realizaron en los modelos Qwen2.5-1.5B y Llama-3.2-1B con pares de idiomas: Inglés-Español, Inglés-Chino, Inglés-Ruso e Inglés-Hindi.

• Precisión de Clasificación: El clasificador basado en PC1 alcanzó una precisión de 0.96 a 1.00 en la identificación del idioma en las capas finales.
• Reducción de Divergencia Distribucional:
  • La divergencia KL (Kullback-Leibler) entre la distribución de tokens del modelo dirigido y la línea base en inglés se redujo entre un 25% y un 55% (promedio ~40%).
  • La similitud coseno y la superposición de los 50 tokens principales aumentaron significativamente.
• Evaluación Basada en Generación (Llama-3.2):
  • Se redujo el Índice de Cambio de Código (CSI) entre un 63% y un 99% en textos generados.
  • La consistencia del idioma objetivo (TLC) superó el 0.77 en todos los pares.
  • Las diferencias fueron estadísticamente significativas ($p < 0.001$).
• Observaciones por Idioma:
  • Los pares tipológicamente distantes (ej. Inglés-Chino) mostraron mejoras mayores.
  • El par Inglés-Hindi fue el más desafiante, requiriendo coeficientes de dirección positivos (dirección invertida) en Qwen, sugiriendo asimetrías en la tokenización.

5. Significado y Limitaciones

Significado:
El trabajo demuestra que es posible controlar la identidad del idioma en LLMs mediante intervenciones lineales simples en el espacio latente, sin necesidad de fine-tuning. Esto ofrece una alternativa ligera y eficiente para sistemas de producción que requieren estricta monolingüidad, revelando una estructura geométrica interpretable en las representaciones de los modelos.

Limitaciones y Futuro:

• Compensación Fluidez-Control: Los coeficientes de dirección son altamente frágiles. Valores agresivos eliminan el cambio de código pero pueden causar repetición degenerada o pérdida de fluidez. Existe un equilibrio delicado entre control estricto y calidad de generación.
• Reconstrucción Incompleta: Las proyecciones lineales no pueden reconstruir completamente las distribuciones monolingües originales, indicando interacciones no lineales entre idioma y semántica.
• Alcance: Los experimentos se limitaron a modelos pequeños (1-1.5B parámetros) y textos formales (TED Talks, Flores). No se evaluaron datos conversacionales naturales, dominios técnicos o scripts de derecha a izquierda.
• Escalabilidad: Se requiere más investigación sobre la dirección multilingüe (controlar 3+ idiomas simultáneamente) y la dirección bidireccional (ej. Inglés a Español), así como perfiles de latencia en hardware real.

En conclusión, el artículo establece un nuevo paradigma para el control de idiomas en IA, priorizando la eficiencia y la interpretabilidad sobre el reentrenamiento costoso, aunque advierte sobre los desafíos de mantener la fluidez en la generación bajo restricciones estrictas.