Toward Scalable Terminal Task Synthesis via Skill Graphs

1. Declaración del Problema

Los agentes terminales (LLMs que interactúan mediante interfaces de línea de comandos) muestran potencial para la gestión autónoma de sistemas, pero están severamente limitados por la escasez de trayectorias de ejecución de alta calidad y diversas para el entrenamiento.

• Limitaciones actuales: Los métodos existentes para escalar tareas terminales dependen de:
  • Taxonomías generadas por LLM: A menudo se desvían del uso en el mundo real.
  • Inversión de repositorios de GitHub: Derivan tareas de bases de código reales pero limitan el alcance a la ingeniería de software (por ejemplo, corrección de errores) y fallan en controlar la diversidad de la ruta de ejecución (la secuencia de escenarios y habilidades).
• Insight central: La trayectoria de un agente terminal se define por dos dimensiones: los escenarios que atraviesa (estados intermedios) y las habilidades que ejerce (acciones). El entrenamiento requiere datos que cubran densamente el espacio producto condicional de pares $(\text{escenario}, \text{habilidad})$. Los métodos actuales exhiben redundancia en estas dimensiones, lo que conduce a un aprendizaje subóptimo.

2. Metodología: SkillSynth

Los autores proponen SkillSynth, un marco automatizado que sintetiza tareas terminales diversas modelando flujos de trabajo como caminos en un Grafo de Habilidades Mediado por Escenarios.

A. Construcción del Grafo de Habilidades

El marco construye un multigrafo dirigido $G = (\Omega, K)$ donde:

• Nodos ($\Omega$): Escenarios (abstracciones relevantes para la decisión de los estados del sistema).
• Aristas ($K$): Habilidades (transiciones dirigidas desde un escenario de precondición a un escenario de postcondición).
• Pipeline:
  1. Filtrado de habilidades: Agrega habilidades de ClawHub y repositorios públicos de GitHub, filtrando por ejecutabilidad, flujos de trabajo estructurados y seguridad (sin jailbreaks).
  2. Inferencia de escenarios: Utiliza LLMs para inferir escenarios de precondición y postcondición para cada habilidad.
  3. Deduplicación semántica: Agrupa y fusiona escenarios que son semánticamente idénticos pero léxicamente diferentes (utilizando agrupamiento aglomerativo jerárquico).
  4. Alineación cruzada de habilidades: Conecta habilidades igualando la postcondición de una habilidad con la precondición de otra mediante similitud de incrustaciones y verificación con LLM.
  • Resultado: Un grafo con ~82k escenarios, ~57k habilidades y ~185k puentes verificados.

B. Muestreo de Caminos Guiado por Grafos

En lugar de paseos aleatorios (que favorecen nodos de alto grado), SkillSynth utiliza Muestreo de Caminos de Frecuencia Inversa (Algoritmo 1):

• Mecanismo: Mantiene conteos de visitas para escenarios ($\nu$) y habilidades ($\mu$).
• Probabilidad: Muestrea los siguientes pasos con una probabilidad proporcional a $(\text{conteo} + 1)^{-1}$.
• Restricción: Hace cumplir una progresión monótona (sin volver a visitar nodos dentro de un solo camino) para garantizar la diversidad.
• Objetivo: Dirigir la distribución empírica hacia una cobertura uniforme del espacio $(\text{escenario}, \text{habilidad})$.

C. Entorno de Síntesis Multiagente

Los caminos muestreados se instancian en tareas ejecutables mediante un sistema multiagente:

1. Planificador: Convierte el camino abstracto en un plan estructurado de subobjetivos.
2. Constructor: Genera la instancia completa de la tarea (instrucción, sistema de archivos inicial, entorno Docker, scripts de verificación, solución oráculo).
3. Verificación Dual:
   • Verificación Oráculo: Ejecuta la solución en un contenedor para garantizar la solvabilidad.
   • Verificación de Rúbrica: Utiliza un LLM como Juez para verificar la alineación instrucción-prueba y asegurar que no haya filtración de soluciones.
4. Reparación Iterativa: Las instancias fallidas sufren hasta 3 ciclos de reparación utilizando agentes aumentados con herramientas antes de ser descartadas.

3. Contribuciones Clave

1. Modelado Teórico: Formula las trayectorias de agentes terminales como secuencias de escenarios y habilidades, identificando la necesidad de maximizar la diversidad en el espacio $(\sigma, \kappa)$ para un entrenamiento efectivo.
2. Marco SkillSynth: Un pipeline automatizado de extremo a extremo que construye un grafo de habilidades mediado por escenarios y sintetiza tareas sin intervención humana.
3. Síntesis Escalable: Logró 3,560 instancias de tareas verificadas a partir de 3,721 caminos muestreados en una sola ejecución, con una tasa de aprobación del oráculo del 95.7% a un costo promedio de 27.3 $ por tarea.
4. Validación Empírica: Demostró que la síntesis guiada por grafos produce tareas más difíciles y diversas que las líneas base de habilidad única o multi-habilidad aleatoria, lo que conduce a ganancias consistentes de rendimiento.

4. Resultados Experimentales

• Conjunto de datos: 3,560 tareas verificadas utilizadas para entrenar modelos Qwen3 (8B, 14B, 32B) mediante Ajuste Fino Supervisado (SFT).
• Benchmarks: Evaluados en Terminal-Bench 1.0 y 2.0.
• Ganancias de Rendimiento:
  • Qwen3-32B + SkillSynth logró 33.8% en TB 1.0 y 29.6% en TB 2.0.
  • Esto superó al mucho más grande Qwen 3 Coder 480B (23.9% en TB 2.0), demostrando que la diversidad de datos dirigida es más efectiva que la mera escala del modelo.
  • Ablación: Las tareas de SkillSynth superaron a las líneas base de "Habilidad única" en ~8.4 puntos y a las líneas base de "Multi-habilidad aleatoria" en ~3.8 puntos en TB 2.0.
• Dificultad de la tarea: El 38% de las tareas sintetizadas fueron insolubles para el agente incluso después de 3 intentos (0/3 éxitos), indicando alta complejidad.
• Diversidad: Las trayectorias de SkillSynth mostraron una cobertura única de escenario-habilidad un 31% mayor en comparación con las líneas base de habilidad única.

5. Significado y Trabajo Futuro

• Cambio de Paradigma: Mueve la síntesis de tareas terminales de "basada en volumen" (generar muchas tareas similares) a "controlada por diversidad" (garantizar la cobertura del espacio estado-acción).
• Eficiencia de Costos: Proporciona un método escalable y de bajo costo para generar datos de entrenamiento de alta calidad, permitiendo que modelos más pequeños compitan con modelos propietarios más grandes en tareas terminales.
• Alineación con el Mundo Real: Al fundamentar la síntesis en habilidades del mundo real (ClawHub/GitHub) y transiciones de escenarios, las tareas generadas reflejan mejor los flujos de trabajo reales de los usuarios.
• Direcciones Futuras: Escalar a regímenes de datos más grandes, adaptarse a modelos más económicos y explorar el muestreo de subgrafos para habilitar la ejecución paralela de múltiples habilidades, aumentando aún más la complejidad de la tarea.

Conclusión: SkillSynth cierra eficazmente la brecha entre la escasez de datos terminales de alta calidad y la necesidad de trayectorias de entrenamiento diversas, estableciendo un nuevo estándar para el entrenamiento escalable y automatizado de agentes terminales.