Recursive Synthesis for Long-Horizon Terminal Tasks
Este artículo presenta las Tareas de Terminal Sintético Recursivo (RST, por sus siglas en inglés), un marco escalable que genera y verifica recursivamente tareas de agente-terminal de largo alcance para producir 37.484 ejemplos de alta calidad a bajo costo, impulsando significativamente el rendimiento de los modelos ajustados y agénticos en evaluaciones desafiantes sin mostrar signos de rendimientos decrecientes.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás enseñando a un robot a ser un mecánico maestro. No quieres solo que sepa qué aspecto tiene una llave inglesa; quieres que realmente arregle el motor de un coche que nunca antes se había averiado. Este es el mundo de los "agentes de IA": programas informáticos inteligentes que no solo charlan contigo, sino que realmente hacen cosas, como escribir comandos, mover archivos y arreglar errores de software. El gran problema es que estos robots son pésimos en trabajos largos y complicados. Si les pides que construyan una casa, podrían poner un ladrillo y luego confundirse. Para enseñarles mejor, necesitamos miles de problemas de práctica donde el robot intente construir la casa, falle, sea corregido y lo intente de nuevo. Pero crear estos problemas de práctica es una pesadilla. Si escribes uno a mano, cuesta una fortuna. Si le pides a un ordenador que escriba uno, a menudo inventa reglas que no coinciden con las herramientas, o crea un rompecabezas que es imposible de resolver. Es como pedirle a un chef que escriba una receta para un pastel, pero la receta pide ingredientes que no existen en la cocina, o el horno está roto.
Entra en escena un nuevo método llamado Recursive Synthetic Terminal Tasks (RST). Piensa en esto como una "máquina de evolución digital" para crear acertijos de entrenamiento para robots. En lugar de que los humanos escriban cada uno de los problemas, los investigadores empezaron con un pequeño montón de 639 acertijos verificados y funcionales (las "semillas"). Luego, utilizaron una IA potente para que actuara como un diseñador de juegos travieso pero brillante. Esta IA observaba un acertijo que funcionaba, añadía un paso nuevo y más difícil a la solución (como añadir un nuevo engranaje al motor) y luego actualizaba inmediatamente las instrucciones y la "clave de respuestas" para que coincidieran con la nueva versión más difícil. Crucialmente, antes de que el nuevo acertijo fuera guardado, se lanzaba a un entorno de pruebas digital —una habitación informática segura y aislada— para ver si realmente funcionaba. Si la solución fallaba, el acertijo se descartaba. Si funcionaba, se conservaba y se utilizaba como semilla para la siguiente ronda de acertijos aún más difíciles. Los investigadores ejecutaron este ciclo 15 veces. Al final, habían creado casi 38.000 nuevos acertijos verificados. Lo mejor de todo es que los acertijos se volvieron genuinamente más difíciles con cada ronda. El acertijo intermedio pasó de necesitar 67 líneas de código para resolverse a necesitar 374 líneas. El número de comandos que un robot tenía que escribir saltó de 40 a 244.
Los resultados fueron dramáticos. Cuando probaron un solucionador de IA de alto nivel en estos acertijos, su tasa de éxito cayó del 90% en los acertijos fáciles de la primera ronda a apenas un 2,5% en la 15ª ronda. Esto demostró que el sistema no solo estaba creando instrucciones más largas; estaba creando realmente tareas que requerían un pensamiento mucho más profundo y más pasos. Pero la verdadera magia ocurrió cuando utilizaron estos acertijos para entrenar a un modelo de IA diferente (Qwen3.5). Después de entrenar con las trayectorias (los intentos paso a paso) generadas por estos acertijos, el modelo mejoró significativamente su capacidad para resolver tareas de terminal del mundo real. En pruebas estándar, su rendimiento aumentó hasta 10 puntos, y con un mayor aprendizaje por refuerzo, mejoró otro 20% a 41% dependiendo de la prueba. El hallazgo más emocionante fue que el sistema no mostraba signos de detenerse. Incluso después de 15 rondas de aumentar la dificultad, el sistema siguió produciendo acertijos válidos y diversos sin colapsar en el sinsentido o repetir los mismos trucos. Esto sugiere que podríamos generar un suministro infinito de datos de entrenamiento de alta calidad para agentes de IA, convirtiendo el proceso lento y costoso de la enseñanza humana en una evolución rápida, automatizada y escalable.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.