🤖 AI

CoCoDA: Co-evolving Compositional DAG for Tool-Augmented Agents

CoCoDA é um framework que permite que modelos de linguagem pequenos igualem ou superem modelos maiores ao co-evoluir um planejador e uma biblioteca de ferramentas em crescimento dentro de um único DAG de código composicional, o que otimiza a eficiência de recuperação por meio de unificação simbólica e acelera a aprendizagem via um mecanismo de recompensa consciente da estrutura.

Autores originais: Ziyang Yu, Qiyue Li, Liang Zhao

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ziyang Yu, Qiyue Li, Liang Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente robótico muito inteligente, mas pequeno (o "planejador"), que precisa resolver problemas complexos, como fazer matemática avançada ou escrever código. Esse robô possui uma quantidade limitada de "espaço cerebral" (janela de contexto) para reter informações de uma só vez. Para ajudá-lo, fornecemos a ele uma caixa de ferramentas com habilidades (ferramentas) que pode utilizar.

O problema com os métodos existentes é como tentar carregar uma biblioteca massiva de livros no seu bolso. À medida que você adiciona mais livros úteis (ferramentas) para ajudar o robô, o bolso fica pesado demais, e o robô não consegue encaixar o suficiente deles em seu cérebro para resolver o problema. Além disso, o robô não sabe como organizar esses livros; ele apenas vê uma pilha bagunçada de texto, o que dificulta encontrar o certo rapidamente.

CoCoDA é um novo sistema que resolve isso alterando como a caixa de ferramentas é construída e como o robô aprende a usá-la. Eis como funciona, usando analogias simples:

1. O "Projeto Vivo" (O DAG Compositivo)

Em vez de uma pilha bagunçada de livros, o CoCoDA constrói um projeto vivo (um Grafo Acíclico Direcionado, ou DAG).

Os Nós: Pense neles como ferramentas individuais. Algumas são ferramentas básicas (como um martelo ou um chaves de fenda), e outras são "super-ferramentas" (como uma furadeira pré-montada) criadas combinando as básicas.
As Conexões: O projeto mostra exatamente como as super-ferramentas são construídas a partir das básicas. É como um livro de receitas onde a receita de "Bolo" aponta para as etapas "Misturar a Massa" e "Assar".
O Benefício: Como o projeto conhece a estrutura, o robô não precisa ler cada página de cada livro. Ele pode olhar para o "Sumário" (assinaturas) e para as "Etapas da Receita" (dependências) para saber instantaneamente quais ferramentas se encaixam.

2. O "Filtro Inteligente" (Recuperação de DAG Tipado)

Quando o robô enfrenta um novo problema, precisa escolher as ferramentas certas. Métodos antigos leriam a descrição de cada ferramenta na biblioteca, o que é lento e consome muito espaço cerebral.

O CoCoDA usa um filtro de quatro estágios para reduzir as opções, como um posto de controle de segurança:

Estágio 1 (A Verificação de Identidade): Verifica o "cartão de identidade" da ferramenta (sua assinatura de tipo). Se a ferramenta não corresponder ao trabalho (por exemplo, tentar usar um martelo para cortar papel), é rejeitada instantaneamente. Isso custa quase nenhum poder cerebral.
Estágio 2 (A Varredura de Descrição): Para as ferramentas que passaram na verificação de identidade, lê suas descrições curtas para ver se parecem relevantes.
Estágio 3 (A Verificação de Regras): Verifica as "regras" (pré-condições e pós-condições). Esta ferramenta exige entradas que não temos? Produzirá a saída correta? Se não, é descartada.
Estágio 4 (A Correspondência de Exemplos): Finalmente, examina exemplos reais da ferramenta em ação para escolher a correspondência absolutamente melhor.

A Magia: Como filtra ferramentas ruins nos estágios baratos e rápidos (1 e 2), gasta poder cerebral caro apenas lendo os detalhes completos das poucas ferramentas que realmente sobreviveram ao corte. Isso mantém o "bolso" do robô de não ficar pesado demais, mesmo que a biblioteca cresça enormemente.

3. A "Co-evolução" (Aprendendo Juntos)

Esta é a parte mais única. Geralmente, o robô aprende a usar ferramentas, mas as ferramentas permanecem as mesmas. No CoCoDA, o robô e a caixa de ferramentas crescem juntos.

Descoberta: Quando o robô resolve com sucesso um problema difícil encadeando várias etapas básicas (como "somar", "multiplicar" e depois "dividir"), um "Professor" (uma IA maior e mais inteligente) analisa esse sucesso.
Invenção: O Professor diz: "Ei, essa sequência de etapas é útil! Vamos agrupá-las em uma nova 'Super-ferramenta' e adicioná-la ao projeto."
Recompensa: O robô ganha uma pontuação bônus (recompensa) por usar essas novas Super-ferramentas porque elas o poupam de ter que repetir as etapas básicas uma e outra vez.
O Ciclo: À medida que o robô melhora, encontra mais padrões para agrupar. À medida que a caixa de ferramentas fica mais inteligente, o robô pode resolver problemas mais difíceis. Eles evoluem em sincronia.

Os Resultados

O artigo testou esse sistema em problemas de matemática, análise de tabelas e tarefas de codificação.

O Teste "Pequeno vs. Grande": Usaram um robô pequeno (8 bilhões de "unidades cerebrais") e o compararam com um robô gigante (32 bilhões de unidades).
O Resultado: Com o CoCoDA, o robô pequeno foi capaz de igualar ou até superar o robô gigante em quebra-cabeças difíceis de matemática e lógica.
Eficiência: O robô pequeno não teve apenas sorte; aprendeu a organizar seu conhecimento de forma tão eficiente que não precisava do tamanho cerebral gigante para realizar o trabalho pesado.

Em resumo, o CoCoDA ensina uma IA pequena a construir sua própria biblioteca organizada e hierárquica de habilidades, permitindo que ela lute muito acima de sua categoria de peso, sabendo exatamente quais ferramentas pegar e como combiná-las sem ficar sobrecarregada.

Resumo Técnico: CoCoDA – DAG Compositivo Co-evolutivo para Agentes Aumentados por Ferramentas

1. Formulação do Problema

Modelos de linguagem (LLMs) aumentados por ferramentas estendem pequenos planejadores com habilidades executáveis externas, permitindo que eles descarreguem computação e manipulação simbólica. No entanto, a escalabilidade da biblioteca de ferramentas introduz uma tensão fundamental: a biblioteca deve evoluir junto com o planejador para capturar novas sub-rotinas reutilizáveis, ainda que a recuperação de uma biblioteca em crescimento deva permanecer dentro de um orçamento fixo de contexto.

Abordagens existentes falham em resolver esse acoplamento. Sistemas estáticos de uso de ferramentas assumem um inventário fixo, enquanto métodos de biblioteca de habilidades tipicamente armazenam ferramentas como registros de texto plano ou memórias em linguagem natural. Essas estruturas planas fazem com que os custos de prompt cresçam linearmente com o tamanho da biblioteca e obscurecem a estrutura tipada e compositiva do código executável. Por outro lado, métodos de biblioteca de código exploram a estrutura, mas não são projetados para planejadores LLM operando sob recuperação orçada por tokens. O desafio central é projetar um mecanismo que seja simultaneamente consciente de código, eficiente em recuperação e aprendível online, resolvendo dois problemas acoplados: como fazer a biblioteca crescer junto com a política e como recuperar dessa biblioteca em crescimento sob uma janela de contexto fixa.

2. Metodologia: O Framework CoCoDA

O CoCoDA aborda esses desafios através de uma única estrutura nativa de código: um DAG de Código Compositivo (Grafo Acíclico Direcionado). Este framework faz a co-evolução do planejador ( $\pi_\theta$ ) e da biblioteca de ferramentas ( $L$ ) via dois componentes principais: Recuperação de DAG Tipado e um procedimento de co-evolução online.

2.1 Estrutura do DAG de Ferramentas Compositivo

A biblioteca $L$ é organizada como um DAG $G=(V, E)$ onde:

Nós ( $V$ ): Particionados em nós primitivos (funções executáveis atômicas) e nós compostos (macro-ações invocando ferramentas existentes).
Arestas ( $E$ ): Codificam dependências de invocação, estratificando a biblioteca por abstração em vez de similaridade superficial.
Registros de Nó ( $I(v)$ ): Cada nó armazena um registro de quatro níveis:
1. $L_1$ : Assinatura tipada (simbólica).
2. $L_2$ : Descrição em linguagem natural.
3. $L_3$ : Especificações de pré/pós-condição e complexidade.
4. $L_4$ : Exemplos trabalhados de entrada-saída.

2.2 Recuperação de DAG Tipado

No momento da inferência, o CoCoDA emprega uma cascata de recuperação do grosseiro ao fino que poda candidatos simbolicamente antes de incorrer em custos caros de LLM. Dado um sub-objetivo induzido por uma consulta, o processo constrói uma sequência aninhada de conjuntos sobreviventes $S_0 \supseteq S_1 \supseteq S_2 \supseteq S_3 \supseteq S_4$ :

$L_1$ (Poda Simbólica): Filtra ferramentas unificando a assinatura do sub-objetivo com a assinatura tipada da ferramenta. Esta etapa é simbólica e incorre em zero custo de tokens de prompt.
$L_2$ (Expansão Semântica): Classifica os sobreviventes por relevância semântica usando descrições. Crucialmente, esta etapa pode subir para um composto subsumidor ou descer para um primitivo com base na estrutura do DAG, uma capacidade que a recuperação de texto plano não possui.
$L_3$ (Filtragem de Especificação): Verifica pré/pós-condições e restrições de complexidade. Compostos sobreviventes são certificados como macro-ações equivalentes às suas trajetórias primitivas sub-jacentes.
$L_4$ (Desambiguação por Exemplo): Re-classifica os sobreviventes usando exemplos trabalhados para quebrar empates.

Esta cascata garante que registros caros cobrados pelo LLM sejam materializados apenas para conjuntos de candidatos progressivamente menores, mantendo o custo de recuperação sublinear no tamanho da biblioteca.

2.3 Co-evolução Online

O framework atualiza o planejador e a biblioteca simultaneamente com base em trajetórias bem-sucedidas:

Crescimento da Biblioteca: Trajetórias bem-sucedidas são passadas para um abstrator fixo ( $M_T$ ) que propõe ferramentas compostas. Uma proposta é comprometida apenas se preservar a aciclicidade e satisfazer verificações de dependência/especificação (via INSERTTOOL).
Atualização do Planejador: O planejador é atualizado usando uma recompensa induzida por DAG. Além da recompensa padrão de resultado ( $R_{res}$ $R_{r es}$ ), uma recompensa composicional ( $R_{comp}$ $R_{co m p}$ ) credita ferramentas por sua contagem de "chamadas salvas" ( $\Phi$ $Φ$ ), definida como o número de chamadas primitivas que um composto substitui.
- $R(\tau) = R_{res}(\tau) + \lambda \sum \Phi(t_i)$ .
- Esta recompensa incentiva o planejador a rotear através de compostos mais profundos, efetivamente reduzindo o número de chamadas de ferramenta ( $T(\tau)$ ) necessárias para uma tarefa.

3. Contribuições Principais

Formulação do Problema: Os autores enquadram o aprendizado de biblioteca de ferramentas para pequenos LLMs como um problema de otimização conjunta com restrições explícitas de custo de recuperação e janela de contexto, abordando o crescimento acoplado da política e da biblioteca.
Recuperação de DAG Tipado: Uma cascata de recuperação nativa de código que utiliza assinaturas, arestas de invocação, especificações e exemplos para manter o custo de prompt sublinear no tamanho da biblioteca.
Procedimento de Co-evolução: Um mecanismo online que insere ferramentas compostas validadas e treina o planejador com uma recompensa estrutural de "chamada salva", incentivando a exploração de novas abstrações aprendidas.
Garantias Teóricas: O artigo fornece provas para:
- Redução do custo de recuperação e tempo de recuperação sublinear.
- Vantagem composicional sob a recompensa moldada (provando que o uso de compostos gera recompensas estritamente maiores do que sequências primitivas equivalentes).
- Co-evolução monótona sob atualizações conservadoras.
- Bom-estado do DAG (aciclicidade e limites de profundidade).

4. Resultados Experimentais

O CoCoDA foi avaliado em seis benchmarks através de raciocínio matemático (GSM8K, MATH), análise tabular (WikiTableQuestions, FinQA) e tarefas de código (EvalPlus, MBPP).

Desempenho: Um modelo estudante de 8B treinado com CoCoDA igualou ou superou um modelo professor de 32B no GSM8K (93,67 vs. 93,40) e MATH (63,18 vs. 61,62).
Escalabilidade: Os ganhos sobre o Chain-of-Thought (CoT) padrão foram mais significativos em escalas menores (ex.: +10,7 no GSM8K para o modelo de 0,6B).
Baselines: O CoCoDA superou consistentemente fortes baselines de uso de ferramentas (ReAct, ToRL, ReTool) e métodos de aprendizado de biblioteca (CREATOR, TroVE). Notavelmente, baselines de construção de biblioteca sem um loop estreito estudante-professor tiveram desempenho inferior ao CoT simples em tarefas de matemática e código, confirmando a necessidade de co-evolução.
Eficiência: À medida que o tamanho da biblioteca cresceu para 1.600 nós, o custo de recuperação do CoCoDA foi aproximadamente 11,4 $\times$ menor do que a recuperação plana e 4,7 $\times$ menor do que o RAG hierárquico em texto.
Ablação: Remover o DAG de Ferramentas Compositivo (CTD) causou a maior queda de desempenho (2–4 pontos), destacando a importância das arestas de dependência. Desabilitar a Recuperação de DAG Tipado (TDR) prejudicou mais as tarefas tabulares, enquanto remover a recompensa consciente do grafo (GAR) reduziu uniformemente o desempenho.

5. Significado e Alegações

O artigo alega que o CoCoDA resolve a tensão entre o crescimento da biblioteca e as restrições de contexto ao aproveitar as propriedades estruturais únicas do código executável. Ao representar a biblioteca como um DAG compositivo, o framework permite:

Recuperação Sublinear: A capacidade de trazer à tona abstrações complexas e reutilizáveis sem aumentar linearmente os custos de contexto.
Aprendizado Estrutural: Um sinal de recompensa que credita explicitamente o planejador por comprimir sequências primitivas em compostos, impulsionando a co-evolução da política e da biblioteca.
Escalabilidade: A capacidade de modelos pequenos (8B) alcançarem o desempenho de modelos muito maiores (32B) utilizando efetivamente uma memória procedural externa e em evolução.

Os autores concluem que esta abordagem oferece um caminho viável para modelos de linguagem pequenos descarregarem computação e manipulação simbólica eficientemente, desde que a biblioteca co-evolua com a política através de uma estrutura que respeita a natureza executável das ferramentas. Trabalhos futuros são notados para estender isso para configurações multimodais e cenários multiagente.