Steerable Instruction Following Coding Data Synthesis with Actor-Parametric Schema Co-Evolution

Resumen Técnico: IFCodeEvolve

1. El Problema

La capacidad de los Modelos de Lenguaje Grande (LLMs) para interpretar y seguir instrucciones complejas es fundamental para la programación automática. Sin embargo, la síntesis de datos de codificación a gran escala que incluyan pares de instrucciones y código presenta dos desafíos principales que los métodos actuales no resuelven eficazmente:

1. Compatibilidad Lógica y Solvabilidad: Generar problemas de codificación con múltiples restricciones (instrucciones) es difícil porque las restricciones pueden entrar en conflicto lógico entre sí o con el contexto del problema, haciendo que el problema sea insoluble. Además, generar lógica de verificación (como pruebas unitarias) para estas restricciones es propenso a errores.
2. Exploración No Estructurada de Muestras Difíciles: Los enfoques estáticos o de fuerza bruta tienden a generar patrones de datos repetitivos y no logran cubrir muestras fuera de distribución (OOD). Los enfoques adversarios a menudo "hackean" la recompensa generando problemas mal definidos o insolubles en lugar de problemas realmente desafiantes pero válidos.

2. Metodología: IFCodeEvolve

Los autores proponen IFCodeEvolve, un marco de trabajo que unifica la validación progresiva por construcción con una co-evolución adversaria entre un modelo "Actor" y una biblioteca de esquemas de instrucciones.

Componentes Clave:

• Representación de Instrucciones Paramétricas (Schema):

  • En lugar de usar texto estático, las instrucciones se representan como esquemas de funciones parametrizables. Un esquema incluye un esqueleto de texto con ranuras variables, un espacio de argumentos (tipos y rangos) y una función de verificación basada en AST (Abstract Syntax Tree).
  • Esto permite cubrir un vasto espacio de instrucciones con una biblioteca compacta y manejable, facilitando la instanciación dinámica.

• Muestreo con Búsqueda en Árbol Monte Carlo (MCTS):

  • La síntesis de datos se formula como un proceso de búsqueda secuencial en un árbol.
  • El muestreador MCTS navega por el espacio combinatorio de esquemas para agregar restricciones incrementalmente.
  • Utiliza una función de valor que combina la explotación (éxito histórico de un esquema) y la exploración (potencial de encontrar casos difíciles), utilizando el feedback del modelo Actor como señal de terminación dinámica.

• Validación por Construcción (Proof-by-Construction):

  • Para garantizar la solvabilidad, el sistema no valida el problema desde cero. En su lugar, el LLM (generador) debe refactorizar una solución existente para cumplir con la nueva instrucción añadida.
  • Si el LLM puede generar un "testigo" (una solución válida) que pase tanto las pruebas funcionales unitarias como las verificaciones de las instrucciones acumuladas, el problema se considera válido. Esto asegura la solvabilidad inductiva paso a paso.

• Paradigma de Co-evolución (Actor-Esquema):

  • Evolución del Actor: El modelo Actor (que intenta resolver los problemas) se entrena iterativamente (post-entrenamiento) con los datos sintetizados. A medida que el Actor mejora, el umbral de dificultad para generar nuevos datos aumenta.
  • Evolución del Esquema (Biblioteca de Instrucciones): La biblioteca de esquemas evoluciona autónomamente mediante dos estrategias:
    1. Composición: Identifica pares de esquemas que, al combinarse, generan una dificultad sinérgica (mayor que la suma de sus partes) y crea nuevos esquemas compuestos.
    2. Mutación: Analiza los esquemas que el Actor resuelve demasiado fácil (baja tasa de fallo) y los modifica para cerrar "lagunas" o hacer las restricciones más estrictas, forzando al Actor a generalizar en lugar de explotar patrones específicos.

3. Contribuciones Principales

1. IFCodeEvolve: Un marco de síntesis de datos que supera las limitaciones de la generación estática mediante una co-evolución dinámica entre el generador de datos (esquemas) y el modelo de entrenamiento (Actor).
2. IFCodeBench: Un nuevo benchmark riguroso y verificado por humanos para evaluar la capacidad de seguimiento de instrucciones en codificación. Incluye soluciones, pruebas ejecutables y protocolos de verificación basados en AST para asegurar la precisión.
3. Validación de Solvabilidad Estricta: La metodología de "construcción progresiva" garantiza que cada problema generado sea lógicamente consistente y resoluble, eliminando la generación de problemas inválidos comunes en otros métodos.
4. Rendimiento de Estado del Arte (SOTA): Demuestran que un modelo de 32B entrenado con sus datos sintetizados alcanza un rendimiento comparable a modelos propietarios de vanguardia (como GPT-4/5 o Claude), superando a otros modelos de código open-source.

4. Resultados Experimentales

• Evaluación en Benchmarks Públicos: En benchmarks como IFEvalCode y CodeIF, los modelos Actor (Qwen2.5-Coder-7B y Seed-Coder-8B) mostraron mejoras consistentes y significativas tras el entrenamiento con los datos generados por IFCodeEvolve.
• Escalabilidad Débil a Fuerte (Weak-to-Strong): Al utilizar datos generados por un modelo Actor más pequeño (8B) para entrenar modelos más grandes (hasta 32B), se observaron mejoras sustanciales. El modelo Qwen2.5-Coder-32B alcanzó paridad con modelos propietarios SOTA en tareas de seguimiento de instrucciones.
• Análisis de Contaminación: Se verificó que no hubo filtración de datos (contaminación) entre el conjunto de entrenamiento sintetizado y los benchmarks de evaluación, confirmando que las mejoras provienen de una verdadera capacidad de razonamiento y no de memorización.
• Eficiencia del Muestreador: El uso de MCTS permitió una búsqueda eficiente, aumentando la tasa de problemas "finalizados" (aquellos que el Actor no pudo resolver y se guardaron como datos de entrenamiento) a medida que avanzaban las iteraciones.

5. Significado e Impacto

Este trabajo representa un avance significativo en la automatización de la curación de datos para LLMs. Al extender la evolución desde el modelo objetivo hacia los componentes centrales del marco de síntesis (la biblioteca de instrucciones), IFCodeEvolve crea un currículo auto-adaptativo.

• Generalización: La metodología no se limita a la codificación; el paradigma de co-evolución de esquemas y actores es aplicable a otros dominios intensivos en razonamiento, como la resolución de problemas matemáticos y el descubrimiento científico.
• Calidad sobre Cantidad: Demuestra que la calidad estructural y la validez lógica de los datos de entrenamiento son más críticas que el volumen bruto, permitiendo que modelos de tamaño moderado (32B) compitan con modelos propietarios masivos mediante un entrenamiento dirigido y evolutivo.

En conclusión, IFCodeEvolve ofrece una solución robusta al cuello de botella de la generación de datos de instrucción, asegurando que los modelos de IA aprendan a seguir instrucciones complejas y contradictorias de manera fiable y escalable.