Resumen Técnico: De la Razonación al Código: Optimización GRPO para Lenguajes Subrepresentados

Declaración del Problema

Generar código preciso y ejecutable en lenguajes de programación subrepresentados (por ejemplo, Prolog, Lisp) sigue siendo un desafío significativo para los Modelos de Lenguaje Grandes (LLM). Aunque los modelos destacan en lenguajes de alto recurso como Python, fallan consistentemente en programación lógica debido a la escasez de datos públicos de entrenamiento. Esta escasez de datos conduce a modos de fallo específicos: alucinación de predicados inexistentes, imposición de flujo de control imperativo sobre paradigmas declarativos y manejo inadecuado de la unificación y el retroceso. El Ajuste Fino Supervisado (SFT) estándar es insuficiente porque depende de ejemplos escritos por humanos que son escasos y no optimiza directamente la corrección de la ejecución.

Metodología

El artículo propone un marco de Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) que utiliza retroalimentación impulsada por la ejecución para entrenar LLMs a pequeña escala (familia Qwen2.5-Coder, de 0.5B a 7B parámetros) sin depender de conjuntos de datos extensamente curados por humanos.

Marco Central

• Algoritmo: Los autores emplean Optimización de Política Relativa de Grupo (GRPO), un algoritmo de gradiente de política que elimina la necesidad de una red de función de valor separada (a diferencia de PPO). GRPO estima la ventaja de una salida en relación con un grupo de salidas pares muestreadas desde el mismo prompt, reduciendo la sobrecarga computacional.
• Bucle de Entrenamiento: El sistema integra un intérprete de Prolog (vía PySwip) directamente en el bucle de entrenamiento. El LLM genera código en respuesta a prompts en lenguaje natural (específicamente del conjunto de datos GSM8K), y el intérprete ejecuta el código para proporcionar una señal de corrección de verdad fundamental.
• Sistema de Recompensas: Una función de recompensa multiobjetivo agrupa cuatro señales:
  1. Recompensas de Formato: Penalizaciones y bonificaciones por adherirse a una plantilla XML estricta (<reasoning>, <code>, <query>), asegurando que el código sea extraíble. Se aplica una penalización específica si la consulta está anidada incorrectamente dentro del bloque de código.
  2. Recompensas de Corrección: Basadas en los resultados de la ejecución:
     • +1.0: Coincidencia exacta con la verdad fundamental.
     • -1.0: Error lógico (se ejecuta pero el resultado es incorrecto).
     • -0.5: Error de sintaxis (falla al compilar/ejecutar).
     • -0.1: Tiempo de espera agotado o sin salida.

Intervenciones Técnicas Clave

Los autores identificaron un modo de fallo denominado "contracción de la razonación", donde el entrenamiento GRPO estándar con una penalización de divergencia Kullback–Leibler (KL) causó que el modelo de 7B colapsara en patrones de salida cortos y memorizados, degradando la precisión con el tiempo. Para abordar esto, introdujeron dos modificaciones críticas:

1. Eliminación de la Divergencia KL: Eliminar la penalización KL permitió que la política se desviara más de la línea base supervisada, permitiendo que el modelo internalizara el paradigma de programación lógica distintivo.
2. Recompensa Consciente de la Longitud: Se añadió un mecanismo de recompensa específico para fomentar cadenas de razonamiento dentro de un rango objetivo de longitud de tokens, evitando que el modelo trunque su proceso de razonamiento.

Contribuciones Clave

1. Nuevo Estado del Arte para Prolog: Demostró que el RLVR con retroalimentación basada en ejecución puede compensar la escasez extrema de datos, estableciendo un nuevo punto de referencia para la generación de código Prolog en GSM8K utilizando un modelo de 7B parámetros.
2. Ablación Sistemática de las Dinámicas GRPO: Identificó la "contracción de la razonación" como un modo de fallo específico del RL regularizado con KL en programación lógica y caracterizó las condiciones bajo las cuales relajar esta restricción es beneficioso.
3. Generalización Más Allá de la Aritmética: Mostró que las mejoras se transfieren a 20 tareas diversas de Prolog (Rosetta Code) y al punto de referencia GSM-Symbolic, donde la precisión de cero disparos se duplicó más que.
4. Validez Translingüística: Validó el enfoque en Lisp, demostrando que el RL impulsado por intérpretes es efectivo a través de familias distintas de lenguajes subrepresentados.

Resultados

Los experimentos se realizaron en el conjunto de datos GSM8K, con evaluaciones en Rosetta Code y GSM-Symbolic (variantes P1 y P2).

• Rendimiento en GSM8K:
  • El Qwen2.5-Coder-7B optimizado (Cero disparos, sin KL, restricción de longitud) logró un pass@4 de 0.882.
  • En configuraciones de Un disparo, la misma configuración alcanzó 0.893, superando a PROPER (Mistral-7B, 0.72), Llama 3.3 70B (0.839) y Qwen2.5-Coder-32B (0.873).
  • Sin la eliminación de KL, el modelo de 7B sufrió una deriva de rendimiento, cayendo de una línea base de 0.814 a 0.672.
• GSM-Symbolic:
  • En el desafiante conjunto de datos P2 (que requiere una manipulación simbólica más profunda), el pass@4 de cero disparos para el modelo de 7B aumentó de una línea base de 0.298 a 0.673.
• Rendimiento en Lisp:
  • El enfoque mejoró el pass@4 de cero disparos en Lisp de 0.572 a 0.876. Sin embargo, la eliminación de la restricción KL produjo ganancias más modestas en Lisp en comparación con Prolog, lo que sugiere que el entrenamiento "no regularizado" es más crítico para lenguajes altamente especializados y de bajo recurso.
• Rosetta Code:
  • El modelo de 7B casi duplicó su línea base de cero disparos, alcanzando un pass@4 de 0.46.

Significado y Afirmaciones

El artículo argumenta que para lenguajes formales con semántica determinista, el intérprete en sí mismo puede servir como la señal de entrenamiento principal, reemplazando los datos humanos escasos de los que dependen los enfoques actuales. Al tratar el sistema de símbolos no meramente como una herramienta, sino como un "maestro" que supervisa la red neuronal mediante trazas de ejecución, los autores proporcionan un supervisor riguroso y automatizado.

El trabajo afirma ofrecer un camino robusto y adaptable para mejorar la generación de código en lenguajes subrepresentados. Sugiere que cerrar la brecha entre la intuición neuronal y el rigor simbólico no requiere escala masiva ni conjuntos de datos masivos, sino más bien un cambio en el objetivo de aprendizaje hacia la maximización de la corrección de la ejecución mediante aprendizaje por refuerzo. Los autores concluyen que esta metodología permite a los modelos respetar la sintaxis y la lógica de los lenguajes objetivo, acercándose al "Santo Grial" de la programación donde un usuario plantea un problema y la computadora lo resuelve mediante código lógico y verificable.