Reinforcement Learning with Semantic Rewards Enables Low-Resource Language Expansion without Alignment Tax

Resumen Técnico: Aprendizaje por Refuerzo con Recompensas Semánticas para la Expansión a Idiomas de Recursos Limitados

1. Enunciado del Problema

La expansión de los Modelos de Lenguaje Grandes (LLM) hacia idiomas de recursos limitados a menudo incurre en un "impuesto de alineación": las mejoras en el idioma objetivo se logran a costa del olvido catastrófico de las capacidades generales (por ejemplo, el rendimiento en idiomas de recursos abundantes). Los autores argumentan que esta compensación surge de la rigidez del Ajuste Fino Supervisado (SFT). El SFT depende de la maximización de la probabilidad a nivel de token forzada por un profesor sobre distribuciones de datos estrechas y sesgadas. Esto impone una imitación de la forma superficial, lo que conduce a actualizaciones de parámetros excesivamente confiables que reasignan agresivamente la capacidad representativa, interfiriendo así con el conocimiento preentrenado y degradando la competencia general.

2. Metodología: Alineación en el Espacio Semántico

El artículo propone un cambio de paradigma, pasando de la coincidencia de distribuciones a nivel de token a la alineación en el espacio semántico, priorizando la preservación del significado sobre la imitación rígida de la forma superficial. Esto se operacionaliza mediante un marco de entrenamiento de dos etapas impulsado por la Optimización de Políticas Relativas por Grupos (GRPO).

Paradigma de Entrenamiento de Dos Etapas:

1. SFT de Arranque en Frío: Se realiza un paso de ajuste fino supervisado ligero (5.000 instancias, 2 épocas) para iniciar una competencia mínima de salida en el idioma objetivo (por ejemplo, uso correcto del script y consistencia básica). Esto asegura que el modelo pueda generar salidas no degeneradas antes de comenzar el aprendizaje por refuerzo.
2. Aprendizaje por Refuerzo con Recompensas Semánticas: A partir de la política de arranque en frío, el modelo se somete a optimización GRPO. En lugar de la probabilidad a nivel de token, el modelo se optimiza utilizando recompensas semánticas a nivel de incrustación.
   • Objetivo: El modelo explora diversas realizaciones lingüísticas que mantienen la equivalencia semántica con los textos de referencia, en lugar de imitar secuencias de tokens específicas.
   • Estabilidad: GRPO incorpora restricciones de región de confianza (mediante comparaciones relativas dentro de un grupo muestreado de candidatos) para limitar la deriva de la política, evitando la interferencia destructiva con las representaciones preentrenadas.

Diseño de la Recompensa:
La función de recompensa $R(y, y^*)$ combina dos componentes:

• Similitud Semántica ($R_{sim}$): Calculada utilizando la similitud del coseno entre las incrustaciones de oraciones de la salida generada $y$ y la referencia $y^*$, derivadas de un modelo de incrustación bilingüe (adaptado de CINO/XLM-R). Se aplica una función de conformación de umbral y reescalado para centrar el aprendizaje en mejoras significativas más allá de la adecuación mínima.
• Consistencia Lingüística ($R_{lang}$): Una restricción dura basada en reglas (utilizando rangos Unicode y expresiones regulares) que penaliza las salidas de idioma mixto o fuera del objetivo, asegurando que la optimización permanezca estrictamente dentro del espacio del idioma objetivo de recursos limitados.

3. Contribuciones Clave

• Paradigma de Alineación en el Espacio Semántico: Los autores proponen desacoplar la preservación del significado de la imitación de la forma superficial mediante el uso de GRPO con recompensas a nivel de incrustación.
• Mitigación del Impuesto de Alineación: El enfoque demuestra que se pueden lograr ganancias significativas en idiomas de recursos limitados mientras se elimina virtualmente la degradación de las capacidades generales (impuesto de alineación) típicamente observada en el SFT.
• Calidad Semántica Superior: El método produce salidas semánticamente superiores y preferidas por jueces LLM sobre las líneas base de SFT, incluso cuando la superposición de n-gramas (BLEU/ROUGE) es menor.
• Representaciones Transferibles: El artículo valida que el RL semántico produce representaciones más robustas y transferibles, evidenciado por una generalización de pocos ejemplos más fuerte hacia tareas posteriores en comparación con los métodos supervisados.

4. Resultados Experimentales

El enfoque se evaluó en Traducción Automática (MT) Tibetano-Chino y Generación de Titulares (HG) Tibetana.

• Rendimiento de la Tarea vs. Impuesto de Alineación:
  • Traducción Automática: Aunque el SFT fuerte logró puntuaciones BLEU basadas en referencia más altas (0.6006 frente a 0.4519 para RL), sufrió un impuesto de alineación significativo, disminuyendo las puntuaciones de CMRC (comprensión de lectura en chino) en aproximadamente 5.15 puntos. En contraste, el método RL preservó las capacidades generales (las puntuaciones de CMRC mejoraron o se mantuvieron estables) mientras lograba una alta similitud semántica.
  • Generación de Titulares: RL logró una preservación de capacidades generales comparable a la del SFT, pero fue preferido por jueces LLM en el 51.2% de las comparaciones pareadas frente al 35.1% para el SFT, a pesar de tener puntuaciones ROUGE-L más bajas.
• Transferencia de Pocos Ejemplos: En una prueba de transferencia de MT a HG (utilizando solo 1.000 muestras de HG), el modelo inicializado con RL logró una mayor similitud semántica (0.5690 frente a 0.5456) que el modelo inicializado con SFT, lo que indica que el RL aprende características más generalizables y fundamentadas semánticamente en lugar de patrones superficiales específicos de la tarea.
• Ablación de Recompensas: Los experimentos confirmaron que combinar la similitud de incrustación con la consistencia lingüística es crítico. La adición de recompensas basadas en BLEU debilitó el rendimiento, reintroduciendo la rigidez de la coincidencia a nivel de token.

5. Significado y Afirmaciones

El artículo afirma que el Aprendizaje por Refuerzo con Recompensas Semánticas proporciona un camino más seguro y fiable para la expansión inclusiva a idiomas de recursos limitados. Al cambiar el objetivo de alineación de la coincidencia de distribuciones a la alineación centrada en el significado, el método permite que los modelos adquieran nuevas capacidades lingüísticas sin la interferencia destructiva típica de la maximización de probabilidad sin restricciones.

Los autores concluyen que este paradigma ofrece una solución escalable para extender los LLM a idiomas débilmente soportados bajo escasez de datos, resolviendo efectivamente la tensión entre la adaptación a la tarea y la preservación de la competencia general. El estudio sugiere que las métricas basadas en referencia a menudo fallan en capturar la verdadera calidad semántica en entornos de recursos limitados, y que la alineación en el espacio semántico captura mejor las preferencias humanas y la transferibilidad.