Resumen Técnico: Optimización de Agentes Recursivos (RAO)

Enunciado del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) se despliegan cada vez más en tareas complejas del mundo real que implican horizontes largos, grandes memorias de trabajo efectivas y exploración sustancial. Si bien muchas de estas tareas son naturalmente susceptibles a estrategias de dividir y conquistar, los sistemas recursivos y multiagente existentes suelen tratar la recursión como un andamio estático, en tiempo de inferencia, envuelto alrededor de un modelo preentrenado. En estos sistemas, el modelo en sí no se entrena para decidir cuándo es beneficiosa la delegación, cómo formular subtasas efectivas, cómo comunicarse entre niveles de ejecución o cómo combinar las salidas de los subagentes. En consecuencia, existe una brecha en el entrenamiento de modelos para explotar eficazmente la inferencia recursiva como un primitivo aprendido en lugar de una restricción arquitectónica fija.

Metodología: Optimización de Agentes Recursivos (RAO)

Los autores introducen la Optimización de Agentes Recursivos (RAO), un enfoque de aprendizaje por refuerzo (RL) diseñado para el entrenamiento de extremo a extremo de agentes recursivos. A diferencia de trabajos anteriores que fijan el esquema de orquestación, RAO entrena una única política compartida ($\pi_\theta$) que se instancia en cada nodo de un árbol de ejecución generado dinámicamente.

1. Formulación del Agente e Inferencia

El agente opera en un entorno donde intercala el razonamiento en lenguaje natural con la ejecución de código en un REPL de Python. El espacio de acciones se extiende para incluir una función asíncrona launch_subagent(goal, ...).

• Árboles de Ejecución Dinámicos: Al resolver una tarea $X$, la política puede generar cero o más agentes hijos en subtasas delegadas $X_1, \dots, X_n$. La cantidad y el contenido de estas subtasas son elegidos por la propia política.
• Concurrencia: El agente padre puede lanzar hijos secuencialmente o concurrentemente (usando asyncio.gather) dependiendo de las dependencias de la tarea.
• Acotación: Se imponen límites explícitos a la profundidad de la recursión y al número de pasos del entorno por instancia de agente para garantizar un cómputo acotado.

2. Diseño de Recompensas (Recompensa Local del Nodo)

RAO emplea una estructura de recompensa local para mejorar la asignación de crédito a través del árbol de ejecución. Para un nodo correspondiente a la tarea $X$ con trayectoria $\tau_X$ e hijos inmediatos $C(X)$, la recompensa se define como:
$$R(X, \tau_X) = \tilde{s}(X, \tau_X) + \lambda \cdot \frac{1}{|C(X)|} \sum_{c \in C(X)} \tilde{s}(c, \tau_c)$$

• $\tilde{s}(X, \tau_X)$: La señal de éxito para el nodo actual, derivada de una verificación exacta, un juez LLM o un proxy (por ejemplo, éxito de la tarea raíz) si la supervisión local no está disponible.
• Bonificación por Delegación: El segundo término recompensa al agente basándose en la tasa de éxito de sus hijos inmediatos. El parámetro $\lambda$ controla la fuerza de esta bonificación.
• Racional: Este diseño fomenta una delegación productiva en lugar de simplemente generar más hijos. Proporciona señales densas de supervisión, especialmente al inicio del entrenamiento cuando el éxito de la tarea raíz es raro.

3. Optimización de la Política

El objetivo es optimizar la política compartida tanto sobre las tareas raíz como sobre los descendientes generados por la política. La función objetivo $J(\theta)$ suma las recompensas esperadas a través de todas las profundidades $d$ del despliegue recursivo:
$$J(\theta) = \sum_{d=0}^{D} \mathbb{E}_{X \sim D_d(\theta)} \left[ \mathbb{E}_{\tau_X \sim \pi_\theta(\cdot|X)} [R(X, \tau_X)] \right]$$

• Efecto de Currículo: La estructura recursiva genera naturalmente tareas relacionadas de dificultad variable, creando un currículo implícito donde las subtasas suelen ser más simples o más estructuradas que la tarea raíz.
• Estimación de Ventaja: Para manejar el número variable de trayectorias en diferentes profundidades, los autores utilizan una línea base leave-one-out calculada a partir de las recompensas del despliegue raíz.
• Ponderación por Nivel de Profundidad: Para evitar que la optimización esté dominada por niveles más profundos (que pueden contener exponencialmente más trayectorias), se aplica una ponderación inversa a la frecuencia por nivel de profundidad. Las trayectorias de profundidades sobrerepresentadas se penalizan para preservar la escala general de la actualización.

Contribuciones Clave

1. Entrenamiento de Extremo a Extremo de Agentes Recursivos: RAO es el primer método que entrena conjuntamente una única política en todos los nodos de un árbol recursivo generado dinámicamente, enseñando al modelo a decidir cuándo y cómo delegar.
2. Mecanismo de Recompensa Novel: La introducción de una recompensa de nodo local con una bonificación por delegación permite una asignación de crédito efectiva en estructuras recursivas profundas, alineando la política con la calidad de la delegación en lugar de solo con la cantidad.
3. Primitivo de Inferencia Escalable: El enfoque demuestra que los agentes recursivos pueden escalar a tareas que exceden la ventana de contexto del modelo y generalizar a problemas significativamente más difíciles que aquellos vistos durante el entrenamiento.
4. Ganancias de Eficiencia: El método muestra una eficiencia de entrenamiento mejorada en comparación con el entrenamiento de un solo agente y puede reducir el tiempo de reloj para tareas paralelizables.

Resultados Experimentales

Los autores evalúan RAO en tres puntos de referencia: TEXTCRAFT-SYNTH (tareas de fabricación sintéticas), OOLONG-REAL (agregación de documentos de contexto largo) y DEEPDIVE (investigación profunda con búsqueda web multi-salto).

• Expansión de la Ventana de Contexto: En TEXTCRAFT-SYNTH, los agentes recursivos entrenados con una ventana de contexto de 8K alcanzaron un 95% de éxito en tareas difíciles, igualando el rendimiento de los modelos entrenados con contextos de 40K. En contraste, las líneas base de un solo agente con contextos de 8K fallaron completamente en tareas difíciles. De manera similar, en OOLONG-REAL, los agentes recursivos procesaron entradas de hasta 175K tokens a pesar de haber sido entrenados con un límite de 32K, mientras que los agentes individuales no podían leer la entrada completa.
• Generalización a Tareas Más Difíciles: Los agentes entrenados solo en tareas de TEXTCRAFT-SYNTH de dificultad media generalizaron a tareas difíciles con una tasa de éxito del 88%, en comparación con el 20% de las líneas base de un solo agente.
• Eficiencia de Entrenamiento: Los agentes recursivos aprendieron significativamente más rápido que las líneas base de un solo agente en todos los puntos de referencia, atribuido a las recompensas estructuradas de subagentes que actúan como recompensas de proceso densas y al currículo autoinducido.
• Tiempo de Reloj: Para tareas paralelizables (TEXTCRAFT-SYNTH), los agentes recursivos redujeron el tiempo de reloj hasta en 2.5× en comparación con los agentes individuales en tareas difíciles. Para tareas secuenciales (DEEPDIVE), aunque el tiempo de reloj aumentó debido a la naturaleza secuencial de las subtasas, la tasa de éxito mejoró de 0.24 a 0.40.
• Delegación Adaptativa: Los agentes aprendieron a adaptar su profundidad de delegación a la dificultad de la tarea, escalando a árboles más profundos (hasta 10 niveles) para problemas más difíciles sin restricciones de profundidad explícitas durante la inferencia.

Significado y Afirmaciones

El artículo afirma que la Optimización de Agentes Recursivos representa un cambio en cómo deben utilizarse los andamios en tiempo de inferencia. En lugar de diseñar andamios alrededor de modelos fijos, los modelos deben entrenarse para usarlos eficazmente. RAO demuestra que la recursión es un primitivo de escalado en tiempo de inferencia poderoso que proporciona:

• Ventanas de contexto frescas para subagentes, expandiendo efectivamente la memoria de trabajo.
• Una estructura de dividir y conquistar que generaliza a problemas más difíciles.
• Asignación adaptativa de cómputo en tiempo de prueba.
• Oportunidades para la ejecución paralela.

Los autores posicionan a RAO como un paso hacia "agentes auto-organizados" que pueden estructurar dinámicamente sus propios procesos de resolución de problemas. Señalan que, aunque sus experimentos se centran en dominios específicos, el enfoque sugiere un principio más amplio para entrenar agentes que aprovechen estructuras complejas en tiempo de inferencia. Se identifica que el trabajo futuro es necesario para abordar procedimientos de muestreo de sustitutos para despliegues costosos y para entrenar agentes recursivos generalistas que puedan transferir estrategias de delegación entre dominios cualitativamente diferentes.