Resumen Técnico: Mejora de la Recuperación Fáctica Translingüe mediante el Aprendizaje por Refuerzo Impulsado por la Consistencia

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) entrenados predominantemente con datos en inglés codifican vastas cantidades de conocimiento mundial, pero con frecuencia fallan al acceder a este conocimiento de manera fiable cuando se les consulta en lenguas no inglesas. Este fenómeno, denominado inconsistencia fáctica translingüe, no es causado primordialmente por un déficit en el almacenamiento de conocimiento. En su lugar, estudios mecanísticos sugieren que el fallo ocurre durante la fase de "transición de lenguaje": el modelo puede recuperar el concepto correcto en las capas intermedias (a menudo en un espacio latente centrado en el inglés o independiente del lenguaje), pero falla al mapear este concepto de manera fiable hacia los tokens correctos del idioma objetivo en las capas finales.

Aunque el Preentrenamiento Continuo (CPT) en corpus paralelos ha demostrado mejorar la fluidez de la traducción, a menudo no logra aumentar sustancialmente el rendimiento en tareas exigentes como la recuperación fáctica. Esto sugiere que, si bien el contenido paralelo alinea las representaciones internas, no enseña suficientemente al modelo a acceder a ese conocimiento alineado a través de interfaces no inglesas.

Metodología

1. El Conjunto de Datos POLYFACT

Para abordar la falta de datos fácticos multilingües paralelos a gran escala, los autores introducen POLYFACT.

• Construcción: Derivado de triples veraces de Wikidata, el conjunto de datos contiene 100.000 hechos en 12 idiomas de diversas tipologías (incluyendo idiomas de altos recursos como el inglés, chino y español, e idiomas de bajos recursos como el suajili y el bengalí).
• Formato: Es un conjunto de datos de preguntas de opción múltiple (MCQ) donde cada hecho es totalmente paralelo en los 12 idiomas. Para cada hecho, se muestrean tres distractores de objetos que coocurren con la misma propiedad para asegurar la plausibilidad.
• Calidad: El conjunto de datos se sometió a un riguroso control de calidad utilizando un juez de LLM basado en la web (GPT-4o) y revisión manual, logrando un 91% de acuerdo entre el LLM y los anotadores humanos.

2. Enfoques de Entrenamiento

El estudio compara tres estrategias de post-entrenamiento en dos modelos de escala 7B (OLMo-2-1124-7B y Qwen-2.5-7B):

1. Preentrenamiento Continuo (CPT): Preentrenamiento ligero en un corpus paralelo equilibrado (TED2025) para alinear las representaciones antes del ajuste fino.
2. Ajuste Fino Supervisado (SFT): Entrenamiento en POLYFACT utilizando un objetivo conjunto que combina la pérdida de clasificación estándar con un término de consistencia. El término de consistencia minimiza la divergencia KL entre las distribuciones de salida del modelo a través de los 12 idiomas paralelos, fomentando que el modelo produzca respuestas consistentes independientemente del idioma de entrada.
3. Aprendizaje por Refuerzo Impulsado por la Consistencia (GRPO): Un enfoque de Optimización de Política Relativa de Grupo (GRPO) donde la función de recompensa incentiva explícitamente la consistencia translingüe.
   • Mecanismo de Recompensa: Para un grupo de 8 ejecuciones (cada una con 12 generaciones paralelas), la recompensa se calcula basándose en la corrección (+1), penalizaciones por alucinación (-0.5) y un bono específico (+1) si todos los 12 idiomas en el grupo son respondidos correctamente. Esto obliga al modelo a aprender una vía de recuperación compartida en lugar de una memorización específica de cada idioma.

3. Análisis Mecanístico

Los autores emplean dos herramientas de interpretabilidad para analizar cómo estos métodos remodelan la arquitectura interna del modelo:

• LAHIS: Analiza las cabezas de atención para determinar las contribuciones de procesamiento específicas de cada idioma.
• LAPE: Identifica neuronas específicas de cada idioma en las capas MLP midiendo la frecuencia de activación y la entropía.

Resultados Clave

Ganancias de Rendimiento

• GRPO vs. SFT: GRPO supera consistentemente a SFT en todos los bancos de pruebas de evaluación (POLYFACT, KLAR y Global-MMLU).
  • En POLYFACT, GRPO logra la mayor precisión tanto en idiomas de altos como de bajos recursos.
  • En KLAR (un banco de pruebas de generación de texto libre), GRPO mejora el rendimiento en casi todos los idiomas, mientras que SFT a menudo presenta un retroceso. Esto indica que SFT aprende principalmente a emparejar candidatos de respuesta (reconocimiento de patrones) en lugar de mejorar la recuperación translingüe genuina.
  • En Global-MMLU (que requiere razonamiento de múltiples pasos), los modelos GRPO generalizan mejor que los modelos de solo SFT o CPT.
• Papel del CPT: El CPT ligero en datos paralelos proporcionó ganancias adicionales limitadas cuando se combinó con el post-entrenamiento. En algunos casos, el CMT seguido del post-entrenamiento resultó en un rendimiento inferior al del modelo base tras el post-entrenamiento, lo que sugiere que la alineación por sí sola no garantiza un mejor acceso al conocimiento.

Transferencia Translingüe

GRPO demuestra una generalización superior a idiomas no vistos (idiomas no presentes durante el post-entrenamiento, como el griego, el ucraniano y el hebreo).

• Las ganancias son más pronunciadas para los idiomas que comparten escrituras o subpalabras con los idiomas de entrenamiento (por ejemplo, idiomas de escritura latina o aquellos que comparten subpalabras persa-arábigas).
• Se observan caídas de rendimiento en idiomas "aislados por su escritura" (por ejemplo, griego, coreano), lo que indica que, aunque GRPO mejora las representaciones compartidas, sigue estando limitado por los límites de la tokenización.

Percepciones Mecanísticas

• Enrutamiento de Lenguaje: GRPO reestructura fundamentalmente el procesamiento multilingüe. A diferencia del modelo base, que toma decisiones de enrutamiento de lenguaje inmediatamente (a menudo en la primera capa), GRGRO retrasa la especialización lingüística hacia capas posteriores. Esto crea un espacio intermedio compartido y agnóstico al lenguaje más amplio.
• Especialización de Neuronas: GRPO aumenta la proporción de neuronas específicas del inglés (en aproximadamente un 38%) mientras reduce la especialización en otros idiomas (como el bengalí y el suajili). Esto sugiere que el objetivo de RL "comprime" el espacio de comportamiento del modelo, fomentando la dependencia de la estructura de representación más estable (el inglés) como pivote para otros idiomas.
• Compartición de Cabezas: Mientras que SFT aumenta significamente el solapamiento de cabezas por pares (especialmente entre idiomas indoeuropeos), GRPO logra un aumento más moderado de solapamiento pero impulsa una reorganización más profunda del procesamiento, desplazándolo de las capas de enrutamiento tempranas.

Significado y Reivindicaciones

El artículo postula que la inconsistencia fáctica translingüe es menos un problema de falta de conocimiento y más un problema de acceso poco fiable al conocimiento latente existente.

• Contribución Principal: Los autores demuestran que el aprendizaje por refuerzo impulsado por la consistencia (GRPO) es un mecanismo más efectivo que el Ajuste Fino Supervisado (SFT) o el Preentrenamiento Continuo ligero para mejorar la recuperación fáctica translingüe. GRPO tiene éxito al promover representaciones internas compartidas y reorganizar el enrutamiento multilingüe para asegurar que los conceptos fácticos se accedan de manera consistente a través de los idiomas.
• Lanzamiento del Conjunto de Datos: El lanzamiento de POLYFACT proporciona un recurso crítico para estudiar y evaluar la consistencia fáctica translingüe, abordando la falta previa de datos de QA multilingües totalmente paralelos a gran escala.
• Alcance Modesto: Los autores reconocen que su método mejora el acceso fáctico, pero no necesariamente resuelve los desafíos más amplios de razonamiento multilingüe (como se observa en los resultados de Global-MMLU). Además, el enfoque está actualmente limitado a modelos de escala 7B y puede no generalizarse a arquitecturas significativamente diferentes o modelos más grandes sin mayor investigación. El artículo también señala que los sesgos en la fuente de Wikidata subyacente (por ejemplo, nombres propios eurocéntricos) pueden reforzar inadvertidamente ciertos modos de fallo, como responder preguntas de nombres propios en inglés en lugar del idioma objetivo.