🤖 machine learning

CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks

Este artículo presenta CalibForge, un sistema autónomo que sintetiza tareas de entrenamiento terminal efectivas mediante el uso de la calibración de resolución adversaria para identificar una "zona de aprendizaje" donde las tareas son resolubles pero desafiantes, lo que resulta en ganancias de rendimiento significativas en múltiples evaluaciones de agentes en comparación con los métodos tradicionales de curación de datos.

Autores originales: Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Publicado 2026-08-07

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo arreglar cosas en un taller digital. Le das una caja de herramientas y una lista de trabajos, pero hay un inconveniente: si el trabajo es demasiado fácil, el robot se aburre y no aprende nada; si es demasiado difícil, el robot se rinde de inmediato y no aprende nada tampoco. El punto ideal para el aprendizaje es un desafío "Goldilocks" (el punto justo): algo que el robot pueda resolver si realmente se esfuerza, pero en lo que fallará si está distraído o confundido. Este es el núcleo del rompecabezas al entrenar agentes de IA: ¿cómo crear una biblioteca masiva de tareas que estén perfectamente ajustadas a esta zona de aprendizaje?

Durante mucho tiempo, los investigadores han intentado construir estas bibliotecas de tareas asegurándose simplemente de que los trabajos se puedan realizar (que sean "ejecutables") y que tengan una respuesta clara, ya sea correcta o incorrecta. Pero el hecho de que una tarea pueda resolverse no significa que sea una buena maestra. Una tarea puede ser tan simple que cualquier robot la resuelva instantáneamente, o tan defectuosa que ningún robot pueda resolverla jamás. La gran pregunta es: ¿cómo encontramos las tareas que son lo suficientemente difíciles como para hacer al robot más inteligente?

Aquí es donde entra en juego un nuevo sistema llamado CalibForge. Piensa en CalibForge no como un generador de tareas, sino como un director de juego travieso que juega juegos "adversarios" con el robot. En lugar de solo verificar si una tarea funciona, CalibForge contrata a un equipo de diferentes robots "solucionadores" (algunos muy inteligentes, otros un poco más torpes) para que prueben la tarea. Si el robot inteligente la resuelve pero el torpe falla, la tarea es perfecta: ¡está en la zona de aprendizaje! Si todos la resuelven, la tarea es demasiado fácil, por lo que CalibForge la hace más difícil. Si todos fallan, la tarea está rota, por lo que CalibForge la arregla. Al ajustar constantemente las tareas basándose en cómo reaccionan estos diferentes robots, CalibForge construye una enorme biblioteca de 5.431 desafíos perfectamente calibrados. Cuando se entrenan nuevos robots con esta biblioteca, se vuelven significativamente mejores resolviendo problemas informáticos del mundo real, demostrando que la zona "Goldilocks" es la receta secreta para enseñar a la IA.

El Problema: ¿Demasiado Fácil, Demasiado Difícil o Justo lo Adecuado?

En el mundo de la Inteligencia Artificial, específicamente para los "agentes terminales" (robots que escriben comandos en una terminal de computadora para arreglar código o gestionar servidores), los investigadores han estado construyendo enormes bibliotecas de problemas de práctica. El objetivo es entrenar a estos agentes para que manejen tareas de ingeniería complejas y del mundo real. Sin embargo, hay un fallo en la forma en que se crean estos problemas habitualmente.

La mayoría de los sistemas solo comprueban dos cosas:

¿Se puede hacer? (¿Está configurado correctamente el entorno informático?)
¿Hay una respuesta correcta? (¿Tiene la tarea una prueba clara de aprobado/suspenso?)

Pero esto es como darle a un estudiante un examen de matemáticas donde todas las preguntas son o bien "¿Cuánto es 2+2?" (demasiado fácil) o "Resuelve esta ecuación que aún no ha sido inventada" (imposible). Ninguna de las dos ayuda al estudiante a aprender. El artículo argumenta que necesitamos tareas que sean aprendibles en relación al solucionador (solver-relative learnable). Esto significa que una tarea debe ser resoluble por un agente capaz, pero no resoluble por uno más débil. Debe situarse justo en el límite de la capacidad del agente, obligándolo a estirar su cerebro para tener éxito.

La Solución: El Director de Juego Adversario

Los autores crearon CalibForge, un sistema autónomo que actúa como un implacable director de juego. No solo escribe tareas; las calibra utilizando un proceso llamado Calibración de Solucionador Adversario.

Así es como ocurre la magia, paso a paso:

La Pista: CalibForge comienza con una idea vaga, como "arreglar una base de datos rota" o "recuperar datos perdidos".
El Borrador: Un "Agente Autor" (una IA inteligente) escribe una tarea completa, incluyendo instrucciones, un entorno de computadora virtual y una prueba para ver si el trabajo se ha completado.
La Prueba de Estrés: Antes de que la tarea sea aceptada, Calibforges la envía a un panel de "Agentes Solucionadores" para que intenten resolverla.
El Bucle de Calibración: Esta es la receta secreta. CalibForge utiliza dos estrategias específicas para decidir si una tarea es lo suficientemente buena:
- Calibración de Múltiples Solucionadores: Envía la tarea a un grupo de diferentes modelos de IA. Si todos la resuelven, la tarea es demasiado fácil, por lo que CalibForge la hace más difícil. Si nadie la resuelve, la tarea está rota, por lo que CalibForge la arregla. La tarea solo se conserva si hay desacuerdo: al menos un solucionador tiene éxito mientras que al menos uno falla. Esto demuestra que la tarea está en la "zona de aprendizaje".
- Calibración Contrastiva: Envía la tarea a un "Solucionador Fuerte" (una IA muy inteligente) y a un "Solucionador Débil" (una IA menos capaz). La tarea solo se mantiene si el Solucionador Fuerte aprueba y el Solucionador Débil falla. Esto asegura que la tarea sea lo suficientemente difícil para desafiar al inteligente, pero no tanto como para que sea imposible.

Si una tarea no cumple con estos estrictos criterios, CalibForge no se limita a descartarla. Analiza por qué fallaron o tuvieron éxito los solucionadores, y luego vuelve a escribir las instrucciones, el entorno o las pruebas. Repite este bucle hasta 50 veces hasta que la tarea está perfectamente calibrada.

Los Resultados: Una Biblioteca de Desafíos Perfectos

Utilizando este método, CalibForge construyó un conjunto de datos de 5.431 tareas de terminal altamente calibradas. Los investigadores entrenaron entonces dos modelos de IA diferentes (un modelo de 30 mil millones de parámetros y uno de 35 mil millones de parámetros) con estos datos.

Los resultados fueron impresionantes. Los modelos entrenados con las tareas de CalibForge superaron significativamente a los modelos entrenados con otros conjuntos de datos existentes:

En Terminal-Bench 2.0 (una prueba estándar para agentes terminales), los modelos obtuvieron puntuaciones de 32.58% y 47.57%, superando ampliamente los mejores resultados anteriores.
Las mejoras no se limitaron a los datos de entrenamiento. Al probarlos en desafíos de ingeniería de software del mundo real completamente diferentes (SWE-bench Pro y Doc2Repo), los modelos mostraron ganancias masivas, mejorando en 27.68 y 30.04 puntos porcentuales respectivamente respecto a sus versiones base.

Por qué esto es importante

El artículo sugiere que la clave para construir mejores agentes de IA no es solo darles más datos, sino darles el tipo de datos adecuado. Al utilizar el comportamiento de diferentes solucionadores para actuar como un bucle de retroalimentación, CalibForge asegura que cada tarea de la biblioteca sea una oportunidad de aprendizaje genuina.

Los autores demuestran explícitamente que el simple hecho de añadir más retroalimentación de los solucionadores o usar un único solucionador para comprobar las tareas no es suficiente. El efecto "Goldilocks" —donde una tarea es difícil para algunos pero fácil para otros— es lo que impulsa el aprendizaje. Este enfoque convierte el proceso de creación de tareas de un método estático de "escribir y esperar" en un sistema dinámico y autocorrectivo que busca activamente el nivel perfecto de dificultad.

En resumen, CalibForge demuestra que si quieres entrenar a un robot superinteligente, no debes limitarte a darle una pila de deberes. Debes darle una pila de deberes que esté perfectamente ajustada para hacerlo pensar, luchar y, finalmente, tener éxito.

Resumen Técnico: CalibForge: Calibración de Solucionadores Adversarios para el Escalamiento de Tareas Terminales Aprendibles

Declaración del Problema

El entrenamiento de agentes de terminal requiere tareas ejecutables y verificables que no sean meramente resolubles, sino apropiadamente desafiantes para el aprendizaje. Si bien los sistemas de síntesis existentes han progresado en la construcción de tareas terminales a escala, la validez ejecutable por sí sola no revela si una tarea es trivial, efectivamente irresoluble o si se sitúa dentro de una "zona aprendible" relativa a una configuración específica del solucionador. Los métodos actuales suelen depender únicamente de la autoría y la validación o de la retroalimentación de un único solucionador, lo que impide capturar la evidencia conductual matizada necesaria para guiar la construcción de tareas hacia datos de entrenamiento efectivos. El desafío central es determinar cómo el comportamiento del solucionador (éxitos, fallos y trayectorias) puede utilizarse sistemáticamente para revisar las tareas candidatas para asegurar que no sean ni demasiado fáciles ni demasiado difíciles para el régimen de aprendizaje objetivo.

Metodología: CalibForge

Los autores presentan CalibForge, un sistema autónomo de síntesis de tareas terminales que trata la construcción de tareas como un bucle de autor–solucionador adversario restringido. El sistema utiliza el comportamiento verificado del solucionador como retroalimentación durante la construcción para revisar las tareas candidatas mediante la calibración de solucionadores adversarios.

1. Autoría y Validación de Tareas

Partiendo de una "pista" (clue), un agente de autoría (DeepSeek-V4-Pro) realiza investigación web para identificar problemas de ingeniería concretos (por ejemplo, errores de versiones específicas, conflictos de dependencias). Construye una tarea candidata $\tau$ que comprende:

Instrucción: La descripción de la tarea.
Entorno: Definido por un Dockerfile y archivos iniciales.
Verificación: Pruebas para validar la solución.

Antes de entrar en el bucle de calibración, los candidatos se someten a una validación de dos etapas:

Validación Estructural: Comprueba los archivos de contexto de construcción, la inicialización del entorno y asegura que todas las pruebas fallen en el estado inicial.
Autoresolución: El agente de autoría intenta resolver la tarea en un sandbox aislado para asegurar que la solución es ejecutable y consistente con la instrucción y las pruebas.

2. Calibración de Solucionadores Adversarios

Los candidatos válidos entran en un bucle de calibración de múltiples rondas gobernado por una especificación $\gamma$ . En cada ronda, los solucionadores intentan la tarea, y el agente de autoría utiliza los resultados y las trayectorias completas de interacción para revisar la tarea. El bucle termina cuando se cumple un criterio de retención $C_\gamma$ o después de un número máximo de rondas ( $R_{max}=50$ ). CalibForge emplea dos estrategias de calibración distintas:

Calibración de Múltiples Solucionadores: Apunta al desacuerdo dentro de un grupo heterogéneo de solucionadores (por ejemplo, DeepSeek-V4-Flash, GLM-5, Kimi K2.5).
- Criterio: Retener la tarea si al menos un solucionador tiene éxito y al menos uno falla ( $0 < \sum y_i < K$ ).
- Objetivo: Capturar una gama más amplia de rutas de solución y modos de fallo, reduciendo la dependencia de las capacidades de un solo solucionador.
Calibración de Solucionadores Contrastivos: Apunta a una relación de éxito-fuerte/fallo-débil designada.
- Criterio: Retener la tarea si un solucionador designado más fuerte (DeepSeek-V4-Pro) tiene éxito y un solucionador designado más débil (DeepSeek-V4-Flash) falla ( $y_s=1 \land y_w=0$ ).
- Objetivo: Operacionalizar una zona aprendible relativa al solucionador donde la tarea sea demostrablemente resoluble pero no trivial bajo las configuraciones especificadas.

Si el criterio no se cumple, el agente de autoría utiliza resúmenes de retroalimentación (aprobado/fallido, conteo de pasos, autoevaluación, diagnóstico de fallos) y trayectorias completas para revisar la tarea (por ejemplo, eliminando pistas procedimentales, aclarando requisitos ambiguos o generalizando verificadores excesivamente prescriptivos) antes de volver a sondear.

Contribuciones Clave

Calibración Conductual a Nivel de Entorno: El artículo formula un principio de construcción donde la aprendibilidad de la tarea se trata como relativa al solucionador. Utiliza el comportamiento verificado del solucionador no solo para la evaluación, sino para determinar la retención y guiar la revisión de múltiples rondas.
Sistema CalibForge: Un sistema de síntesis autónoma que implementa el principio anterior mediante un bucle adversario restringido. Introduce las estrategias de calibración de Múltiples Solucionadores y de Solucionadores Contrastivos para apuntar al desacuerdo entre solucionadores y a las relaciones de éxito-fuerte/fallo-débil, respectivamente.
Dataset Calibrado: La construcción de 5,431 tareas terminales calibradas (1,263 mediante calibración de múltiples solucionadores, 4,168 mediante calibración contrastiva). Estas tareas abarcan 16 categorías de dominio, con un enfoque en la ingeniería de software, la administración de sistemas y la computación científica, ofreciendo una cobertura de dominio más amplia que los conjuntos de datos previos.

Resultados Experimentales

Los autores ajustaron finamente dos backbones de Qwen (Qwen3-30B-A3B-Instruct y Qwen3.5-35B-A3B) utilizando trayectorias destiladas del dataset CalibForge y los evaluaron contra líneas base (Endless Terminals, SETA-Env, CLI-Gym, TermiGen, TerminalTraj) utilizando un protocolo de entrenamiento y destilación emparejado.

Rendimiento en Benchmarks

Terminal-Bench 2.0:
- CalibForge-30B-A3B alcanzó un 32.58% de precisión (frente al 26.22% de la mejor línea base, TerminalTraj).
- CalibForge-35B-A3B alcanzó un 47.57% de precisión (frente al 40.82% de TerminalTraj).
- Las mejoras sobre los modelos base alcanzaron los 24.71 y 8.47 puntos porcentuales, respectivamente.
Transferencia Fuera de Distribución (OOD):
- SWE-bench Pro: CalibForge-35B-A3B alcanzó un 44.32% (Tasa de Resolución), una mejora de 3.03 puntos sobre su modelo base y el más alto entre los datos evaluados.
- Doc2Repo: CalibForge-35B-A3B alcanzó un 48.77% (Tasa de Paso), una mejora de 3.85 puntos sobre su modelo base.

Estudios de Ablación

Retroalimentación del Solucionador vs. Calibración: El modelo "Sin Solucionador" (autoría + validación solamente) produjo un 22.47% de precisión. La retroalimentación de "Un Solo Solucionador" mejoró esto a 24.34%. Sin embargo, la calibración de Múltiples Solucionadores y la de Solucionadores Contrastivos lograron un 29.21% y un 31.09%, respectivamente. Esto indica que las ganancias son impulsadas por la estrategia de calibración (localizar la dificultad relativa a las configuraciones del solucionador) en lugar de simplemente añadir retroalimentación del solucionador o aumentar el volumen de trayectorias.
Eficacia de la Revisión: En la calibración contrastiva, solo el 19% de los candidatos satisfacían inicialmente la relación objetivo de éxito-fuerte/fallo-débil tras la validación estructural. A través de la revisión basada en retroalimentación y el re-sondeo, el 96% de los candidatos fueron finalmente retenidos, demostrando que muchos desajustes iniciales son corregibles en lugar de defectos intrínsecos.

Significado y Reivindicaciones

El artículo afirma que la aprendibilidad relativa al solucionador es un objetivo práctico y efectivo para la construcción de datos de entrenamiento de agentes. Al tratar la construcción de tareas como un bucle adversario donde el comportamiento del solucionador guía la revisión, CalibForge produce tareas que son demostrablemente resolubles pero lo suficientemente desafiantes como para impulsar el aprendizaje.

Los autores enfatizan que:

La validez ejecutable es insuficiente: Una tarea puede ser válida pero trivial o irresoluble para el agente objetivo. La calibración hace que la "zona aprendible" sea observable y accionable.
La calibración impulsa la transferencia: Las mejoras en los benchmarks OOD (SWE-bench Pro, Doc2Repo) sugieren que las capacidades aprendidas de las tareas terminales calibradas por solucionadores se transfieren eficazmente a tareas complejas de ingeniería de software de largo horizonte y generación de repositorios.
La diversidad es multidimensional: El dataset CalibForge ofrece diversidad no solo en la cobertura de dominio, sino también en etiquetas de capacidad, complejidad del entorno y lógica de verificación, evitando las concentraciones de dominio estrechas encontradas en datasets previos.

Los resultados respaldan la conclusión de que la calibración de solucionadores adversarios produce una supervisión más efectiva y transferible que la autoría y validación solas o la retroalimentación de un único solucionador, proporcionando una vía escalable para construir datos de entrenamiento de alta calidad para agentes terminales.