Supplement Generation Training for Enhancing Agentic Task Performance

Resumen Técnico: Entrenamiento de Generación de Suplementos (SGT)

1. El Problema

El entrenamiento de modelos fundacionales grandes (LLMs) para tareas específicas de agentes se ha vuelto cada vez más impráctico debido a:

• Altos costos computacionales: El fine-tuning de modelos masivos es costoso.
• Ciclos de iteración largos: El tiempo necesario para entrenar y validar.
• Obsolescencia rápida: Los nuevos modelos base se lanzan continuamente, haciendo que las adaptaciones específicas de tareas queden desactualizadas antes de amortizarse.
• Acceso limitado: Muchos de los modelos más capaces son sistemas cerrados (API-only) donde el acceso a los gradientes para el entrenamiento es imposible.

La optimización de prompts (instrucciones) actual suele limitarse a seleccionar o reorganizar plantillas existentes, en lugar de generar nuevo contenido específico para cada entrada. El objetivo es mejorar el comportamiento del modelo sin modificar sus pesos, desplazando la presión de optimización hacia la entrada.

2. Metodología: Supplement Generation Training (SGT)

Los autores proponen SGT, una estrategia eficiente y sostenible que entrena un modelo LLM pequeño (el "generador de suplementos") para producir texto suplementario útil. Este texto se concatena con la entrada original para ayudar a un modelo LLM grande y congelado (el "actor") a resolver la tarea con mayor eficacia.

Componentes Clave:

• Arquitectura: Un generador ligero ($\pi_S$) y un actor congelado ($\pi_A$). El generador no resuelve la tarea directamente, sino que crea contexto adicional (suplementos) para guiar al actor.
• Tipos de Suplementos: Se definen ocho tipos predefinidos (que pueden expandirse):
  1. Respuesta: Una respuesta directa (similar a debates multi-agente).
  2. Fondo: Contexto o conocimiento externo.
  3. Cadena de Pensamiento (CoT): Razonamiento paso a paso.
  4. Reformulación: Replantear la tarea para reducir ambigüedad.
  5. Resumen: Información clave al inicio.
  6. Errores: Advertencias sobre errores comunes.
  7. One-shot: Un ejemplo sintético de guía.
  8. Pares: Ejemplos contrastantes (correctos vs. incorrectos).

Proceso de Entrenamiento (Pipeline):
El entrenamiento se estructura en dos fases para enseñar al modelo a generar, seleccionar y mejorar suplementos:

1. Fase de Inicio Cálido (Warm-Start SFT):

   • Se entrena al modelo mediante Supervised Fine-Tuning (SFT) para que aprenda el formato correcto y seleccione entre los tipos de suplementos predefinidos.
   • Se generan múltiples suplementos para cada consulta, se evalúan con el actor y se seleccionan aquellos que llevan a un éxito en la tarea para formar el conjunto de entrenamiento.

2. Fase Iterativa de Optimización Directa de Preferencias (Iterative DPO):

   • Se utiliza un bucle de entrenamiento iterativo donde el modelo actual genera datos para entrenar la siguiente versión.
   • Señal de Recompensa Proxy: Dado que no se puede acceder a los gradientes del actor, la calidad del suplemento se evalúa indirectamente mediante el resultado final de la tarea (éxito/fracaso) del actor.
   • Estrategia de Búsqueda y Enfoque:
     • Búsqueda: En iteraciones tempranas, se explora un espacio amplio de tipos (incluyendo tipos fuera de distribución y concatenaciones).
     • Enfoque: En iteraciones posteriores, se refina la generación dentro de los tipos más efectivos.
   • Se utilizan pares de preferencia (Cross-Type y Within-Type) para entrenar el modelo mediante DPO, maximizando la probabilidad de generar suplementos que lleven a resultados exitosos.

3. Contribuciones Clave

• Nuevo Marco SGT: Un enfoque que entrena un modelo pequeño para generar suplementos por entrada, mejorando modelos grandes sin modificar sus parámetros.
• Pipeline de Entrenamiento Eficiente: Una combinación escalable de SFT (inicio cálido) y DPO iterativo, utilizando recompensas basadas en resultados de un modelo actor de caja negra.
• Validación Empírica Exhaustiva: Evaluación en 5 benchmarks diversos, demostrando una mejora del 21% sobre los modelos base sin suplementos, con una generalización robusta entre diferentes familias de modelos.

4. Resultados Experimentales

Los experimentos se realizaron en cinco benchmarks: Spider (SQL), DS-1000 (código), HotpotQA (razonamiento multi-paso), HLE (conocimiento de frontera) y superGPQA (QA de nivel de posgrado). Se utilizaron actores como v3.5-sonnet-v2 y GPT-OSS-120B, y un generador de 1.7B parámetros (Qwen3-1.7B).

• Rendimiento General: SGT superó a los modelos base (sin suplementos) en un 21% en promedio.
• Comparación con Baselines:
  • Superó significativamente a la optimización de prompts estática (DSPy, TextGrad) y a la escalabilidad en inferencia (Chain-of-Thought).
  • El entrenamiento solo con SFT mejoró un 5%, pero la optimización con DPO añadió un 16% adicional, demostrando la importancia de la optimización basada en preferencias.
  • Los modelos que intentaban resolver la tarea directamente (en lugar de generar suplementos) mostraron un rendimiento muy inferior (-23%), validando la necesidad de especializar el modelo pequeño en la generación de contexto.
• Análisis Cualitativo:
  • Se observó un cambio en la distribución de tipos de suplementos: el modelo aprende a priorizar tipos específicos según la tarea (ej. "Pares" para razonamiento estructurado en Spider, "Respuestas" para GPQA).
  • La estrategia de "búsqueda y enfoque" permitió al modelo descubrir nuevas combinaciones efectivas y luego refinarlas.

5. Significado e Impacto

El trabajo de SGT es significativo porque:

• Desacopla la optimización de tareas: Permite adaptar modelos fundacionales masivos a nuevas tareas sin reentrenar los modelos pesados, reduciendo costos y tiempo.
• Escalabilidad y Sostenibilidad: Utiliza modelos pequeños (ej. 1.7B) que son rápidos de entrenar y desplegar, haciendo viable la optimización de agentes en entornos de recursos limitados.
• Adaptabilidad Dinámica: A diferencia de los métodos estáticos, SGT aprende a sintetizar nuevo contenido de apoyo específico para cada instancia de entrada, actuando como un "asistente" que prepara el contexto ideal para el "ejecutivo" (el modelo grande).
• Generalización: Funciona consistentemente a través de diferentes familias de modelos y tipos de tareas, demostrando que la mejora del rendimiento puede lograrse mediante la ingeniería de entrada inteligente en lugar de la ingeniería de pesos.

En conclusión, SGT representa un cambio de paradigma hacia la optimización de agentes basada en la generación de contexto dinámico, ofreciendo una solución práctica y económica para el despliegue de IA en el mundo real.