Resumen Técnico: SAGA (Alineación de Generación Adaptativa con Puntuación Ponderada)

Declaración del Problema

Las técnicas de optimización de preferencias, como el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) y la Optimización de Preferencias Directas (DPO), han alineado con éxito los Modelos de Lenguaje de Gran Escala (LLM) para lenguas de altos recursos como el inglés. Sin embargo, estos métodos dependen en gran medida de anotaciones de preferencia humanas que son costosas o inexistentes para lenguas de bajos recursos y con una morfología rica (por ejemplo, las lenguas nórdicas). Aunque estas lenguas poseen a menudo analizadores de dependencias (parsers) de alta calidad desarrollados tras décadas de investigación lingüística, el desafío persiste: ¿pueden las señales derivadas de los analizadores reemplazar las etiquetas humanas para mejorar la corrección gramatical sin introducir nuevos cuellos de botella?

El artículo identifica tres desafíos específicos al adaptar la supervisión de analizadores a la optimización de preferencias:

1. Hackeo de Recompensa (Reward Hacking): Los modelos pueden aprender patrones superficiales que satisfacen al analizador pero producen texto incoherente.
2. Impuesto de Alineación (Alignment Tax): Optimizar una recompensa de una sola dimensión (sintaxis) puede degradar la fluidez general adquirida durante el preentrenamiento.
3. Escasez de Datos: Los modelos base de bajos recursos generan pares de candidatos débiles, lo que dificulta encontrar datos de preferencia de alta calidad.

Metodología: El Marco SAGA

SAGA (Alineación de Generación Adaptativa con Puntuación Ponderada) es un marco de optimización de preferencias guiado por analizadores que elimina la necesidad de etiquetas de preferencia humanas. Opera a través de un flujo de trabajo que convierte los juicios del analizador en pares de preferencia para el entrenamiento $\Delta$-DPO.

1. Puntuación Compuesta Multirecompensa

En lugar de depender únicamente de una señal binaria de paso/fallo del analizador, SAGA emplea una función de recompensa compuesta $R(g, p)$:
$$R(g, p) = \alpha r_{parse}(g) + \beta r_{div}(g)$$

• Recompensa de Análisis ($r_{parse}$): La fracción media de tokens asignados a un arco de dependencia válido. Para el islandés, esto incluye una puntuación de frase normalizada adicional del analizador Greynir.
• Recompensa de Diversidad ($r_{div}$): Medida mediante MATTR (Relación de Tipo-Token de Media Móvil) sobre una ventana de 100 tokens para penalizar la repetición degenerada y el colapso léxico.
• Pesos: Los pesos $(\alpha, \beta)$ se ajustan por lengua (por ejemplo, 0.80/0.20 para la mayoría de las lenguas) para equilibrar la corrección gramatical con la diversidad léxica.

2. $\Delta$-DPO con Filtrado de Calidad

SAGA genera $K$ candidatos por cada prompt y los puntúa utilizando la recompensa compuesta. Construye pares de preferencia $(y_w, y_l)$ solo si la brecha de recompensa $\Delta r = R(y_w) - R(y_l)$ supera un umbral específico de la lengua $\delta$ (que oscila entre 0.10 y 0.15). Este filtrado descarta pares de baja información que producen gradientes inconsistentes, un problema conocido en el DPO estándar.

3. Regularización y Estabilidad

Para prevenir el "impuesto de alineación" (degradación de la fluidez) y el hackeo de recompensa, SAGA incorpora:

• Optimización de Política Anclada a la Base (BAPO): Una pérdida de tipo hinge unidireccional que penaliza a la política solo cuando reduce la probabilidad de la respuesta elegida en relación con la política base congelada, preservando las capacidades de preentrenamiento.
• Detección Automatizada de Hackeo de Recompensa: Un módulo de diagnóstico examina los modelos en busca de tres modos de fallo antes de la evaluación:
  1. Divergencia Oráculo–Analizador: Una brecha grande (>0.20) entre el oráculo de entrenamiento y un analizador independiente.
  2. Colapso de MATTR: Una caída significativa (>0.15) en la diversidad léxica.
  3. Repetición: Puntuaciones de self-BLEU de 4-gramas elevadas.
• Arranque en Caliente Cross-Lingual: Para el sueco, el marco inicializa el entrenamiento desde un punto de control danés, aprovechando las restricciones sintácticas compartidas (orden de palabras V2) sin requerir datos paralelos.

Principales Contribuciones

1. Marco Supervisado por Analizador: SAGA demuestra que los analizadores de dependencias pueden reemplazar las etiquetas de preferencia humanas para la alineación gramatical en entornos de bajos recursos, utilizando recursos lingüísticos existentes en lugar de requerir nuevos presupuestos de anotación.
2. Diseño de Recompensa Compuesta: El artículo introduce una estructura de recompensa que combina la calidad del análisis con la diversidad léxica, mitigando eficazmente el hackeo de recompensa y el colapso léxico.
3. Validación Multilingüe: El marco es validado en danés, islandés y noruego Bokmål, mostrando que la supervisión derivada del analizador mejora la calidad gramatical confirmada tanto por métricas automáticas como por evaluaciones de hablantes nativos.
4. Herramientas de Diagnóstico: El artículo proporciona una suite de diagnóstico específica para identificar el hackeo de recompensa (divergencia del oráculo, colapso léxico) y demuestra que las recompensas compuestas y la regularización ligera son necesarias para mantener una supervisión fiable.

Resultados Experimentales

Los experimentos utilizan el modelo GPT-SW3-1.3B como columna vertebral, entrenado con 20k muestras por lengua.

• Danés: La Tasa de Éxito del Análisis (PSR) aumentó del 69.0% al 93.8% tras dos pasadas iterativas (alcanzando el 99.5% en una ablación de cuatro pasadas). La evaluación independiente de Stanza confirmó la generalización (86% $\to$ 99%).
• Islandés: A pesar de ser la más compleja morfológicamente, SAGA logró una mejora de +4.5 puntos porcentuales en una evaluación independiente de Stanza (media de +3.3pp). Crucialmente, los hablantes nativos prefirieron las salidas de SAGA en el 80% de las comparaciones por pares. El método evitó el hackeo de recompensa, como lo evidencia una brecha estable entre el oráculo y el analizador.
• Noruego Bokmål: La PSR mejoró en +28 puntos porcentuales (66.5% $\to$ 94.5%). La evaluación independiente de Stanza confirmó las ganancias (+8.5pp).
• Transferencia Cross-Lingual: Inicializar el entrenamiento del sueco desde un punto de control danés preservó la fluidez significativamente mejor que entrenar desde el modelo base, a pesar de alcanzar una precisión de análisis similar.

Perspectivas de Ablación:

• Eliminar la recompensa de diversidad condujo al hackeo de recompensa (alto PSR pero baja diversidad y alto diferencial oráculo/analizador).
• Las recompensas de análisis binarias (0/1) causaron un colapso severo del rendimiento.
• BAPO fue beneficioso para el danés y el noruego para mantener la fluidez, pero fue perjudicial para el islandés, donde eliminarlo mejoró tanto el éxito del análisis como la evaluación independiente.

Significado y Reivindicaciones

El artículo afirma que la supervisión derivada de analizadores es una alternativa práctica a la anotación de preferencia humana para la alineación gramatical en lenguas de bajos recursos, siempre que se disponga de analizadores de dependencias de alta calidad.

Los autores enfatizan que su enfoque aborda el principal cuello de botella para alinear modelos de lenguaje en estas comunidades: la falta de datos de preferencia humana. Al aprovechar la infraestructura lingüística existente (analizadores), SAGA logra mejoras gramaticales que son validadas por hablantes nativos, demostando que el "veredicto del analizador" puede servir como una señal fiable y sin coste para la optimación de preferencias. El trabajo destaca que, si bien la supervisión por analizador es efectiva, requiere una ingeniería cuidadosa (recompensas compuestas, filtrado de brechas y regularización) para evitar los peligros del hackeo de recompensa y el impuesto de alineación.