Resumen Técnico: CoCoDA – DAG Composicional Co-evolutivo para Agentes Aumentados con Herramientas

1. Formulación del Problema

Los modelos de lenguaje (LLM) aumentados con herramientas extienden planificadores pequeños con habilidades ejecutables externas, permitiéndoles descargar cómputo y manipulación simbólica. Sin embargo, escalar la biblioteca de herramientas introduce una tensión fundamental: la biblioteca debe evolucionar junto con el planificador para capturar nuevas subrutinas reutilizables, pero la recuperación de una biblioteca en crecimiento debe mantenerse dentro de un presupuesto de contexto fijo.

Los enfoques existentes no logran resolver este acoplamiento. Los sistemas de uso de herramientas estáticos asumen un inventario fijo, mientras que los métodos de bibliotecas de habilidades suelen almacenar las herramientas como registros de texto plano o memorias en lenguaje natural. Estas estructuras planas hacen que los costos de prompt crezcan linealmente con el tamaño de la biblioteca y oscurecen la estructura tipada y composicional del código ejecutable. Por el contrario, los métodos de bibliotecas de código explotan la estructura pero no están diseñados para planificadores LLM que operan bajo recuperación con presupuesto de tokens. El desafío central es diseñar un mecanismo que sea simultáneamente consciente del código, eficiente en la recuperación y aprendible en línea, resolviendo dos problemas acoplados: cómo hacer crecer la biblioteca junto con la política y cómo recuperar de esa biblioteca en crecimiento bajo una ventana de contexto fija.

2. Metodología: El Marco CoCoDA

CoCoDA aborda estos desafíos mediante una única estructura nativa de código: un DAG de Código Composicional (Grafo Acíclico Dirigido). Este marco co-evoluciona el planificador ($\pi_\theta$) y la biblioteca de herramientas ($L$) a través de dos componentes principales: Recuperación de DAG Tipado y un procedimiento de co-evolución en línea.

2.1 Estructura del DAG de Herramientas Composicional

La biblioteca $L$ se organiza como un DAG $G=(V, E)$ donde:

• Nodos ($V$): Particionados en nodos primitivos (funciones ejecutables atómicas) y nodos compuestos (macro-acciones que invocan herramientas existentes).
• Aristas ($E$): Codifican dependencias de invocación, estratificando la biblioteca por abstracción en lugar de similitud superficial.
• Registros de Nodos ($I(v)$): Cada nodo almacena un registro de cuatro niveles:
  1. $L_1$: Firma tipada (simbólica).
  2. $L_2$: Descripción en lenguaje natural.
  3. $L_3$: Especificaciones de pre/post-condiciones y complejidad.
  4. $L_4$: Ejemplos trabajados de entrada-salida.

2.2 Recuperación de DAG Tipado

En tiempo de inferencia, CoCoDA emplea una cascada de recuperación de grueso a fino que poda candidatos simbólicamente antes de incurrir en costos costosos de LLM. Dado un subobjetivo inducido por una consulta, el proceso construye una secuencia anidada de conjuntos supervivientes $S_0 \supseteq S_1 \supseteq S_2 \supseteq S_3 \supseteq S_4$:

1. $L_1$ (Poda Simbólica): Filtra herramientas unificando la firma del subobjetivo con la firma tipada de la herramienta. Esta etapa es simbólica e incurre en cero costo de tokens de prompt.
2. $L_2$ (Expansión Semántica): Clasifica a los supervivientes por relevancia semántica usando descripciones. Crucialmente, esta etapa puede ascender a una composición subsumidora o descender a un primitivo basándose en la estructura del DAG, una capacidad que carece la recuperación de texto plano.
3. $L_3$ (Filtrado de Especificaciones): Verifica pre/post-condiciones y restricciones de complejidad. Las composiciones supervivientes son certificadas como macro-acciones equivalentes a sus sub-trayectorias primitivas.
4. $L_4$ (Desambiguación por Ejemplos): Reclasifica a los supervivientes usando ejemplos trabajados para romper empates.

Esta cascada asegura que los registros facturados por LLM costosos se materialicen solo para conjuntos de candidatos progresivamente más pequeños, manteniendo el costo de recuperación sublineal en el tamaño de la biblioteca.

2.3 Co-evolución en Línea

El marco actualiza el planificador y la biblioteca simultáneamente basándose en trayectorias exitosas:

• Crecimiento de la Biblioteca: Las trayectorias exitosas se pasan a un abstraedor maestro fijo ($M_T$) que propone herramientas compuestas. Una propuesta se compromete solo si preserva la aciclicidad y satisface las verificaciones de dependencia/especificación (mediante INSERTTOOL).
• Actualización del Planificador: El planificador se actualiza utilizando una recompensa inducida por DAG. Más allá de la recompensa de resultado estándar ($R_{res}$), una recompensa composicional ($R_{comp}$) acredita a las herramientas por su conteo de "llamadas guardadas" ($\Phi$), definido como el número de llamadas primitivas que una composición reemplaza.
  • $R(\tau) = R_{res}(\tau) + \lambda \sum \Phi(t_i)$.
  • Esta recompensa incentiva al planificador a enrutar a través de composiciones más profundas, reduciendo efectivamente el número de llamadas a herramientas ($T(\tau)$) requeridas para una tarea.

3. Contribuciones Clave

1. Formulación del Problema: Los autores enmarcan el aprendizaje de bibliotecas de herramientas para pequeños LLMs como un problema de optimización conjunta con restricciones explícitas de costo de recuperación y ventana de contexto, abordando el crecimiento acoplado de política y biblioteca.
2. Recuperación de DAG Tipado: Una cascada de recuperación nativa de código que utiliza firmas, aristas de invocación, especificaciones y ejemplos para mantener el costo de prompt sublineal en el tamaño de la biblioteca.
3. Procedimiento de Co-evolución: Un mecanismo en línea que inserta herramientas compuestas validadas y entrena al planificador con una recompensa estructural de "llamada guardada", fomentando la explotación de nuevas abstracciones aprendidas.
4. Garantías Teóricas: El artículo proporciona pruebas para:
   • Reducción del costo de recuperación y tiempo de recuperación sublineal.
   • Ventaja composicional bajo la recompensa moldeada (probando que el uso de composiciones produce recompensas estrictamente mayores que secuencias primitivas equivalentes).
   • Co-evolución monótona bajo actualizaciones conservadoras.
   • Bienformidad del DAG (aciclicidad y límites de profundidad).

4. Resultados Experimentales

CoCoDA fue evaluado en seis puntos de referencia a través de razonamiento matemático (GSM8K, MATH), análisis tabular (WikiTableQuestions, FinQA) y tareas de código (EvalPlus, MBPP).

• Rendimiento: Un modelo estudiante de 8B entrenado con CoCoDA igualó o superó a un modelo maestro de 32B en GSM8K (93.67 vs. 93.40) y MATH (63.18 vs. 61.62).
• Escalabilidad: Las ganancias sobre la Cadena de Pensamiento (CoT) estándar fueron más significativas en escalas más pequeñas (por ejemplo, +10.7 en GSM8K para el modelo de 0.6B).
• Líneas Base: CoCoDA superó consistentemente a fuertes líneas base de uso de herramientas (ReAct, ToRL, ReTool) y métodos de aprendizaje de bibliotecas (CREATOR, TroVE). Notablemente, las líneas base de construcción de bibliotecas sin un bucle estrecho estudiante-maestro rindieron peor que el CoT simple en tareas matemáticas y de código, confirmando la necesidad de co-evolución.
• Eficiencia: A medida que el tamaño de la biblioteca creció hasta 1,600 nodos, el costo de recuperación de CoCoDA fue aproximadamente 11.4$\times$ menor que la recuperación plana y 4.7$\times$ menor que el RAG jerárquico de texto.
• Ablación: Eliminar el DAG de Herramientas Composicional (CTD) causó la mayor caída de rendimiento (2–4 puntos), destacando la importancia de las aristas de dependencia. Deshabilitar la Recuperación de DAG Tipado (TDR) perjudicó más las tareas tabulares, mientras que eliminar la recompensa consciente del grafo (GAR) redujo uniformemente el rendimiento.

5. Significado y Afirmaciones

El artículo afirma que CoCoDA resuelve la tensión entre el crecimiento de la biblioteca y las restricciones de contexto aprovechando las propiedades estructurales únicas del código ejecutable. Al representar la biblioteca como un DAG composicional, el marco permite:

• Recuperación Sublineal: La capacidad de poner de manifiesto abstracciones complejas y reutilizables sin aumentar linealmente los costos de contexto.
• Aprendizaje Estructural: Una señal de recompensa que acredita explícitamente al planificador por comprimir secuencias primitivas en composiciones, impulsando la co-evolución de política y biblioteca.
• Escalabilidad: La capacidad de modelos pequeños (8B) para lograr el rendimiento de modelos mucho más grandes (32B) utilizando eficazmente una memoria procedimental externa y en evolución.

Los autores concluyen que este enfoque ofrece un camino viable para que los modelos de lenguaje pequeños descarguen cómputo y manipulación simbólica de manera eficiente, siempre que la biblioteca co-evolucione con la política a través de una estructura que respete la naturaleza ejecutable de las herramientas. Se señala que el trabajo futuro extenderá esto a configuraciones multimodales y escenarios multiagente.