Resumen Técnico: CRAFT – Aprender el Esquema, Ejecutar el Plan

Declaración del Problema

Los agentes de codificación empresariales se utilizan cada vez más para traducir solicitudes analíticas en lenguaje natural en código ejecutable sobre APIs y esquemas propietarios. Sin embargo, el patrón de despliegue predominante depende del "relleno de contexto" (context stuffing), donde definiciones exhaustivas de esquemas (DDL), documentación de APIs e instrucciones de herramientas se inyectan en cada prompt. Este enfoque presenta tres desafíos críticos para la analítica de producción:

1. Sobrecarga de Inferencia: Los prompts de esquemas extensos compiten con los turnos del usuario y los resultados intermedios por la memoria de trabajo, aumentando significativamente los costos de tokens.
2. Fragilidad ante la Evolución del Esquema: Los cambios físicos en el esquema (por ejemplo, renombramientos de columnas, migraciones de tablas) requieren actualizaciones frecuentes de los pipelines de prompts y pruebas de regresión.
3. Fiabilidad en Multi-turn: La reinyección constante de contexto estático socava la consistencia y la coherencia en los diálogos analíticos de múltiples turnos (multi-turn), donde el agente debe retener las restricciones y avanzar en el análisis en lugar de tratar cada turno de forma independiente.

Los autores investigan si el conocimiento estable del esquema y los comportamientos de uso de herramientas pueden adquirirse mediante post-entrenamiento en lugar de mediante el contexto transitorio del prompt, preservando así la consistencia requerida para la analítica orientada a producción.

Metodología

El artículo propone CRAFT, una receta de post-entrenamiento de dos etapas diseñada para agentes de codificación fundamentados en esquemas. El sistema se evalúa dentro de un entorno empresarial controlado utilizando APIs beta y datos publicitarios vinculados a esquemas, evitando la exposición a datos de producción sensibles de clientes.

1. Destilación y Filtrado de Trayectorias

Para abordar la falta de verdad fundamental humana para la generación de código de largo alcance y múltiples herramientas, los autores tratan la generación de trayectorias como un problema de búsqueda verificable. Los modelos maestros generan trayectorias candidatas utilizando un formato de tres bloques: un espacio de razonamiento (scratchpad), un bloque de <PLAN> a nivel de negocio (explicando entidades/métricas sin DDL bruto) y un bloque de <CODE> ejecutable.

• Filtro de Tri-Puerta (Tri-Gate Filter): Un filtro de rechazo de tres etapas cura los datos de entrenamiento de más de 100K trayectorias generadas hasta llegar a 15.1K trayectorias aceptadas:
  • Puerta 1: Rechaza fallos de ejecución, errores de sintaxis y tiempos de espera (timeouts).
  • Puerta 2: Rechaza salidas vacías o incompletas.
  • Puerta 3: Utiliza un ensamble de jueces LLM para detectar desajustes semánticos entre el prompt, el plan y el código.

2. Etapa I: SFT de PLAN con Esquema Eliminado (Schema-Stripped)

La primera etapa entrena un modelo base MoE de 120B para aprender planes estructurados de dominio y comportamientos ejecutables sin la inyección exhaustiva de esquemas en el tiempo del prompt.

• Eliminación de Esquema (Schema Stripping): Se elimina el contexto del esquema de más de 50K tokens de la entrada. El modelo debe depender de la estructura de dominio internalizada.
• Enmascaramiento de Pérdida (Loss Masking): Las salidas de las herramientas se enmascaran de la función de pérdida para evitar que el modelo memorice valores de tiempo de ejecución impredecibles (identificadores, marcas de tiempo, contenido de dataframes).
• Objetivo: Proporcionar familiaridad con el dominio y enseñar relaciones de entidades comunes e ídiomas de código, sirviendo como una inicialización necesaria para el agente.

3. Etapa II: Aprendizaje por Refuerzo con Ejecución Conformada (Execution-Shaped RL)

La segunda etapa aplica la Optimización de Política Relativa de Grupo (GRPO) para alinear la política del agente con la retroalimentación de ejecución.

• Función de Recompensa: La recompensa total ($R_{total}$) es una combinación ponderada de:
  • $R_{outcome}$: Éxito de ejecución y corrección de pruebas unitarias.
  • $R_{process}$: Estructura de llamada a herramientas, calidad del código y evitación de antipatrones (por ejemplo, joins redundantes).
  • $R_{consistency}$: Acuerdo entre el plan declarado y el código generado.
  • $R_{judge}$: Evaluación de un juez LLM para el alineamiento con el negocio.
• Infraestructura: El sistema utiliza extensiones de VERL y SLIME para soportar despliegues (rollouts) asíncronos de múltiples turnos, propagando recompensas de herramientas a nivel de paso y manejando turnos de respuesta de herramientas con estado.

Contribuciones Clave

1. Sistema de Despliegue Planificado para Empresas: Una descripción de un entorno de despliegue para analítica publicitaria que cubre 25 entidades vinculadas a esquemas y 30 flujos de trabajo agénticos, evaluados contra APIs beta.
2. Receta de Post-Entrenamiento con Esquema Eliminado: Una combinación novedosa de SFT de PLAN y RL con ejecución conformada que reduce la dependencia de la inyección exhaustiva de esquemas en el tiempo del prompt.
3. Evaluación Orientada a la Producción: Una evaluación exhaustiva que mide la calidad de la tarea, la consistencia, la interacción multi-turn y la eficiencia, reportando deltas confidenciales sobre una línea base de relleno de esquema (schema-stuffed).
4. Lecciones de Despliegue: Documentación de compromisos de diseño, modos de fallo y extensiones de infraestructura (VERL/SLIME) requeridas para el RL de uso de herramientas multi-turno en entornos empresariales.

Resultados

Evaluado contra una línea base de relleno de esquema, CRAFT demuestra mejoras significativas en calidad y eficiencia:

• Métricas de Rendimiento:
  • Puntuación del Agente (Agent Score): Mejoró en +9.6 puntos porcentuales (pp).
  • Consistencia: Mejoró en +4.1 pp.
  • Coherencia Multi-turn: Mejoró en +4.2 pp.
• Métricas de Eficiencia:
  • Carga de Tokens de Entrada: Reducida aproximadamente en 9x (0.11x de la línea base) debido a la eliminación del esquema.
  • Bucles de Descubrimiento de Esquema: Reducidos hasta en 5x (0.20x de la línea base), lo que indica que el agente requiere menos rondas de exploración para encontrar rutas de ejecución válidas.
• Análisis de Componentes: Las mejoras se distribuyeron en el éxito de ejecución, la corrección del uso de herramientas, el alineamiento plan-código y la precisión de la respuesta final, en lugar de concentrarse en una sola métrica.
• Capacidades Generales: Los benchmarks públicos (IFEval, GSM8K, GPQA) mostraron deltas cercanos a cero, indicando que no hay regresión material en las capacidades de razonamiento general.

Significado y Reivindicaciones

El artículo afirma que CRAFT ofrece un camino viable para desplegar agentes de codificación fiables en entornos empresariales donde los esquemas son propietarios y estables. Al mover el conocimiento estable del esquema del contexto del prompt hacia los pesos del modelo mediante el post-entrenamiento, el sistema logra:

• Escalabilidad: Reducción drástica de la sobrecarga de tokens, haciendo que las interacciones de múltiples turnos sean económicamente viables.
• Robustez: Capacidad mejorada para manejar refinamientos multi-turno y recuperarse de fallos de ejecución sin reinyectar un contexto masivo.
• Mantenibilidad: Desacoplamiento del razonamiento central del agente de versiones específicas del esquema, reduciendo la necesidad de actualizaciones de los pipelines de prompts durante la evolución del esquema.

Los autores posicionan modestamente a CRAFT como una "receta de post-entrenamiento para agentes de codificación que operan sobre esquemas propietarios estables en un entorno de despliegue planificado", señalando explícitamente que no es un reemplazo para la recuperación (retrieval) o el anclaje de herramientas en contexto (in-context tool grounding) en dominios de mundo abierto arbitrarios. El trabajo enfatiza que, si bien el SFT proporciona la familiaridad necesaria con el dominio, el RL con ejecución conformada es crítico para alinear la política de decisión interactiva del agente con respecto a la selección de herramientas y la resolución de ambigüedades.