Resumen Técnico: Alternancia de Código Gradual como Alineación de Representación Translingüe en el Tiempo de Inferencia para LLMs

Declaración del Problema

A pesar del progreso significativo en las capacidades multilingües, los Modelos de Lenguaje Extensos (LLMs) exhiben un rendimiento desigual entre idiomas. Esta disparidad surge de una dependencia excesiva de representaciones latentes centradas en el inglés. Estudios recientes indican que los LLMs a menudo traducen internamente las entradas no inglesas al inglés antes de razonar, creando una "barrera de traducción". Si esta traducción interna inicial falla, la calidad de la salida final se degrada drásticamente.

Los enfoques existentes para mitigar esto, como el Aprendizaje en Contexto Translingüe (X-ICL), dependen típicamente de un pivote abrupto y de un solo paso. Por ejemplo, un modelo podría ser instado con demostraciones en inglés para resolver una tarea en un idioma objetivo, o una consulta podría ser traducida íntegramente al inglés antes de razonar. Estos métodos suelen transferir patrones de tareas superficiales (por ejemplo, formatos de salida) sin puentear eficazmente la brecha representacional subyacente entre el idioma objetivo y el espacio latente del modelo, el cual está centrado en el inglés. En consecuencia, el rendimiento en idiomas de bajos recursos e idiomas no vistos sigue siendo subóptimo.

Metodología: Aprendizaje en Contexto con Alternancia de Código (CSICL)

Los autores proponen CSICL, un mecanismo de tiempo de inferencia libre de entrenamiento diseñado para alinear las representaciones translingües mediante el andamiaje explícito de la trayectoria de razonamiento. En lugar de una transición abrupta, CSICL emplea una estrategia de alternancia de código gradual que transiciona del idioma objetivo hacia el inglés.

Mecanismo Central

CSICL opera a través de dos componentes primarios:

1. Instrucción de Traducción Gradual: Se instruye al modelo para procesar una entrada no inglesa traduciéndola gradualmente al inglés, pensando en inglés y, posteriormente, generando la respuesta final en el idioma objetivo.
2. Demostraciones de Alternancia de Código Gradual: Los ejemplos de pocos disparos (few-shot) proporcionados al modelo no cambian de idioma abruptamente. En su lugar, siguen una progresión escalonada:
   • 0% (Idioma Objetivo): La consulta está enteramente en el idioma objetivo.
   • 25% - 75% (Pasos Intermedios): La consulta incorpora progresivamente tokens en inglés mientras retiene la estructura gramatical del idioma objetivo (modelo de Marco de Lenguaje Matriz).
   • 100% (Inglés): La consulta está totalmente traducida al inglés.

Este cambio gradual actúa como un "puente lingüístico", impulsando al LLM a alinear dinámicamente las entradas no inglesas con su espacio de razonamiento centrado en el inglés antes de que ocurra el paso de razonamiento real.

Detalles de Implementación

• Construcción de Demostraciones: Para cada idioma objetivo, los autores generan secuencias de alternancia de código gradual. Aunque la implementación por defecto utiliza GPT-5 para la construcción de las demostraciones, CSICL no está fundamentalmente restringido por un oráculo externo. El método admite la autogeneración (usando el mismo modelo) o la generación basada en reglas. El método no está restringido al uso de GPT-5 como modelo de inferencia; el artículo evalúa CSICL en cuatro LLMs multilingües distintos: Qwen3-32B, deepseek-chat-v3.1, grok-4-fast y Gemini 2.5 Flash.
• Direccionalidad: El método transiciona específicamente de Idioma Objetivo $\to$ Inglés. Los estudios de ablación sugieren que esta dirección es superior a la inversa (Inglés $\to$ Idioma Objetivo), ya que alinea la entrada con el espacio latente del modelo en lugar de divergir de él.
• Granularidad: Los autores probaron varios conteos de pasos (por ejemplo, transiciones de 3, 5 y 7 pasos) y encontraron que una transición lineal de 5 pasos generalmente ofrece el mejor equilibrio entre rendimiento y eficiencia de tokens.

Principales Contribuciones

1. Propuesta de CSICL: Un novedoso mecanismo de tiempo de inferencia que une los idiomas objetivo y las representaciones en inglés mediante una alternancia de código estructurada y gradual, evitando los inconvenientes de los pivotes abruptos.
2. Evidencia Empírica Sistemática: Evaluación exhaustiva en 4 LLMs multilingües (Qwen3, DeepSeek, Grok, Gemini), 6 conjuntos de datos (incluyendo Global MMLU, MedExpQA, PolyMath) y 10 idiomas (abarcando entornos de altos, medios y bajos recursos).
3. Visualización del Espacio Latente: El artículo proporciona evidencia visual (mediante PCA de los estados ocultos) que muestra cómo CSICL desplaza sistemáticamente las representaciones de las entradas no inglesas más cerca del ancla en inglés en el espacio latente, validando la hipótesis de alineación.
4. Análisis de Factores de Diseño: Los autores analizan factores críticos incluyendo la direccionalidad, la granularidad y la fuente de generación de las demostraciones, demostrando que CSICL sigue siendo efectivo incluso cuando se utilizan demostraciones autogeneradas o basadas en reglas.

Resultados Experimentales

CSICL supera consistentemente a las líneas base estándar de X-ICL (incluyendo el prompting monolingüe, paralelo y basado en traducción) en todos los entornos evaluados.

• Ganancias de Rendimiento:
  • Idiomas Objetivo: Ganancia promedio de 6.0 puntos porcentuales (pp) sobre las líneas base monolingües.
  • Idiomas No Vistos: Ganancia promedio de 4.8 pp.
  • Entornos de Bajos Recursos: Las mejoras son más pronunciadas en escenarios de bajos recursos, con ganancias de 14.7 pp en idiomas objetivo y 5.3 pp en idiomas no vistos.
• Especificidad de la Tarea:
  • Traducción: CSICL logró las mayores ganancias (+6.8 pp en idiomas objetivo), ya que la transición gradual escala directamente el proceso de traducción latente.
  • Razonamiento: Se observaron mejoras significativas en tareas orientadas al razonamiento (+5.4 pp), lo que sugiere que "pensar en inglés" mediante la alineación gradual mitiga la interferencia representacional.
  • Conocimiento: Se encontraron ganancias modestas pero consistentes en tareas de conocimiento cultural y sesgo social.
• Eficiencia: Aunque la configuración completa de CSICL (5 disparos, 5 pasos) utiliza más tokens que las líneas base más simples, la sobrecarga es manejable dentro de las ventanas de contexto estándar. Notablemente, incluso las versiones de 0-shot y 1-shot de CSICL superan a las líneas base fuertes utilizando menos tokens que muchas alternativas de X-ICL existentes.

Significado y Reivindicaciones

El artículo posiciona a CSICL como un enfoque robusto y efectivo para reducir la desalineación translingüe durante la inferencia sin requerir el reentrenamiento o el ajuste fino (fine-tuning) del modelo.

• Despliegue Equitativo: Al mejorar el rendimiento en idiomas de bajos recursos e idiomas no vistos, CSICL mueve a los LLMs hacia sistemas multilingües más equitativos, abordando la limitación actual donde la competencia está fuertemente sesgada hacia el inglés.
• Perspectiva del Mecanismo: El trabajo establece que la alternancia de código gradual no es meramente una elección estilística, sino un mecanismo funcional que controla la trayectoria de razonamiento, permitiendo a los modelos aprovechar sus capacidades de razonamiento más fuertes en inglés mientras mantienen la fidelidad al idioma objetivo.
• Utilidad Práctica: El método se presenta como una solución ligera y ajustable que ofrece un equilibrio favorable entre eficiencia y precisión, lo que lo hace adecuado tanto para entornos con restricciones presupuestarias (mediante variantes de 0/1-shot) como para requisitos de alta precisión.

Los autores concluyen que CSICL representa una nueva lente para la alineación translingüe, demostrando que el andamiaje explícito de la transición del idioma objetivo al inglés puede mejorar significativamente las capacidades multilingües de los LLMs existentes.