💬 NLP

CANTANTE: Optimizing Agentic Systems via Contrastive Credit Attribution

CANTANTE é um novo framework que otimiza sistemas multiagente baseados em LLMs resolvendo o problema de atribuição de crédito por meio de atribuição contrastiva de recompensas em nível de sistema a agentes individuais, alcançando desempenho de última geração na otimização de prompts em diversos benchmarks ao mesmo tempo que reduz os custos de inferência.

Autores originais: Tom Zehle

Publicado 2026-05-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tom Zehle

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma equipe de três especialistas trabalhando juntos para resolver um quebra-cabeça difícil: um Planejador que mapeia os passos, um Codificador que escreve a solução e um Validador que verifica se ela funciona. É isso que o artigo chama de "Sistema Multi-Agente".

O problema identificado pelos autores, liderados por Tom Zehle, é o seguinte: quando a equipe falha, você recebe uma única nota para todo o grupo (por exemplo, "Você tirou C"). Mas você não sabe quem errou. Será que o Planejador deu instruções ruins? Será que o Codificador cometeu um erro de digitação? Ou será que o Validador deixou passar um erro?

No aprendizado de máquina tradicional, toda a equipe recebe a mesma nota, e todos tentam mudar seu comportamento com base nessa única pontuação. É como um professor dizer a uma equipe de futebol: "Vocês perderam o jogo" e, em seguida, pedir ao goleiro, ao atacante e ao árbitro que mudem todas as suas estratégias com base naquela única frase. É ineficiente e confuso.

A Solução: CANTANTE

Os autores apresentam um novo framework chamado CANTANTE. Pense no CANTANTE como um Analista Esportivo superinteligente que observa a equipe jogando o mesmo jogo várias vezes com estratégias ligeiramente diferentes e, em seguida, detalha exatamente quem contribuiu para a vitória ou para a derrota.

Veja como funciona, usando uma analogia simples:

1. O Jogo "E Se?" (Atribuição Contrastiva)

Em vez de apenas dar uma nota à equipe uma vez, o CANTANTE faz a equipe passar pelo mesmo quebra-cabeça três ou quatro vezes seguidas.

Execução A: O Planejador usa um tom rigoroso, o Codificador usa um estilo rápido.
Execução B: O Planejador usa um tom amigável, o Codificador usa o mesmo estilo rápido.
Execução C: O Planejador usa um tom rigoroso, o Codificador usa um estilo lento.

Após essas execuções, a equipe recebe uma pontuação para cada uma. Agora, o Atribuidor (o Analista) entra em ação. Ele analisa as diferenças:

"Na Execução A e na Execução B, o Codificador foi o mesmo, mas o Planejador mudou. A pontuação subiu. Portanto, o novo tom do Planejador foi útil!"
"Na Execução A e na Execução C, o Planejador foi o mesmo, mas o Codificador mudou. A pontuação caiu. Portanto, o novo estilo do Codificador foi prejudicial."

Isso é chamado de Atribuição Contrastiva. Isola a contribuição de cada pessoa comparando-as entre si, em vez de olhar apenas para a pontuação final.

2. A "Pontuação de Crédito" para Cada Agente

Uma vez que o Analista descobre quem ajudou e quem prejudicou a equipe, ele atribui a cada agente uma Pontuação de Crédito específica (variando de -1 a +1).

Se o Planejador receber +0,8, o sistema sabe que deve ajustar as instruções do Planejador para se assemelhar mais a essa versão bem-sucedida.
Se o Codificador receber -0,5, o sistema sabe que deve afastar o Codificador desse estilo específico.

Crucialmente, o artigo afirma que isso é melhor do que apenas copiar a pontuação global. Na maneira antiga, se a equipe falhasse, o Planejador poderia ser culpado, mesmo que o Planejador tivesse feito um ótimo trabalho e o problema fosse o Codificador. O CANTANTE corrige isso dizendo: "O Planejador fez bem; o Codificador precisa mudar".

3. Os Resultados: Equipes Mais Inteligentes, Menos Desperdício

Os autores testaram isso em três tipos muito diferentes de "quebra-cabeças":

Codificação (MBPP): Escrever programas de computador.
Matemática (GSM8K): Resolver problemas de texto.
Pesquisa (HotpotQA): Responder a perguntas complexas que exigem consultar informações em vários lugares.

As Descobertas:

Melhores Pontuações: O CANTANTE superou consistentemente outros métodos. Na tarefa de codificação, melhorou a precisão em quase 19% em comparação com o próximo melhor método. Na tarefa de matemática, melhorou em 12,5%.
Mais Barato de Executar: Surpreendentemente, as equipes otimizadas pelo CANTANTE não precisaram "pensar" por mais tempo ou usar mais poder de computador para obter a resposta correta. Na verdade, nas tarefas de codificação e matemática, usaram menos recursos (tokens) do que as equipes não otimizadas.
Estabilidade: O método não teve apenas sorte uma vez; funcionou consistentemente em diferentes inícios aleatórios.

Por Que Isso Importa (Segundo o Artigo)

O artigo argumenta que construir essas equipes de IA não deve ser um jogo de "adivinhar e verificar" onde humanos ajustam manualmente os prompts. Em vez disso, deve ser uma ciência de Atribuição de Crédito.

Assim como um treinador não grita com toda a equipe quando um jogador erra um chute, o CANTANTE garante que o sistema de IA aprenda exatamente qual parte da equipe precisa melhorar. Ele transforma a "caixa preta" de um sistema multi-agente em uma máquina transparente onde cada agente sabe exatamente como melhorar.

Em resumo: O CANTANTE é um método que permite que equipes de IA aprendam com seus erros perguntando: "Quem especificamente causou esse resultado?" em vez de apenas dizer: "Falhamos, tentem mais". Isso leva a sistemas de IA mais inteligentes, mais eficientes e mais precisos.

Resumo Técnico: CANTANTE

Declaração do Problema

Sistemas multiagente (MAS) baseados em Modelos de Linguagem de Grande Escala (LLM) demonstraram desempenho robusto em tarefas complexas, como engenharia de software, modelagem preditiva e geração aumentada por recuperação. No entanto, automatizar sua configuração permanece um desafio estrutural. Embora escores de avaliação em nível de sistema (por exemplo, precisão, recompensa) estejam disponíveis, os parâmetros que governam o comportamento individual dos agentes (como prompts) são locais. Isso cria uma incompatibilidade de "atribuição de crédito": otimizar o sistema exige converter um sinal escalar global em sinais de atualização específicos para cada agente.

Abordagens existentes frequentemente propagam escores globais diretamente para agentes individuais ou atualizam agentes sequencialmente (por exemplo, rodízio), falhando em decompor efetivamente o sinal de recompensa. Isso resulta em otimização ineficiente, onde agentes podem receber sinais de atualização incorretos (por exemplo, um planejador sendo penalizado por um erro de um codificador) ou onde o espaço de busca se torna intratável devido à natureza combinatória das configurações conjuntas.

Metodologia: CANTANTE

Os autores introduzem o CANTANTE (Atribuição Contrastiva para Ajuste de Sistemas Multiagente), um framework que formaliza a otimização de MAS como um problema de atribuição de crédito. O mecanismo central é a atribuição contrastiva intra-grupo, que decompõe recompensas em nível de sistema em sinais de atualização por agente.

Mecanismo Central

Amostragem de Configuração Conjunta: Em cada iteração, otimizadores locais propõem $K$ parametrizações candidatas (por exemplo, prompts) para cada um dos $N$ agentes. Estas são montadas em $K$ configurações conjuntas.
Execução e Avaliação: Cada configuração conjunta é executada em um conjunto de consultas, produzindo escores em nível de sistema e trajetórias de execução (trajetórias de saídas dos agentes).
Atribuição Contrastiva: Em vez de atribuir crédito com base em escores absolutos, um modelo de atribuição (um LLM promptado) compara as trajetórias dentro de um grupo de comparação aleatório de tamanho $g$ $g$ . Ele avalia como a saída específica de cada agente contribuiu para as diferenças observadas nos resultados do sistema em relação às outras configurações no grupo.
- O atribuidor emite um crédito escalar $c \in [-1, +1]$ para cada agente por execução.
- Isso permite que o sistema distinga entre configurações com escores de sistema idênticos, analisando diferenças comportamentais intermediárias.
Atualizações Locais: Os créditos agregados são encaminhados aos respectivos otimizadores locais, que atualizam os parâmetros do agente (prompts) independentemente.

Instanciação

Nos experimentos, o CANTANTE é instanciado para otimização de prompts, tratando prompts de agentes como parâmetros do sistema aprendíveis. O framework é agnóstico à escolha do otimizador local; os autores utilizam o CAPO (Otimização de Prompt Consciente de Custo) como otimizador local padrão, mas demonstram compatibilidade com outros, como o EvoPrompt.

Principais Contribuições

Formalização: O artigo formaliza a otimização de MAS baseada em LLM como um problema de atribuição de crédito, distinguindo-a da otimização de prompts padrão, onde o sistema é tratado como um bloco monolítico.
Design do Framework: O CANTANTE introduz um mecanismo de atribuição contrastiva que isola contribuições por agente comparando execuções conjuntas, desacoplando a atribuição do mecanismo de atualização específico.
Validação Empírica: O framework é avaliado contra baselines de última geração (GEPA e MIPROv2) em três benchmarks distintos com topologias de fluxo de trabalho diferentes:
- MBPP: Programação (fluxo de trabalho condicional com planejador, executor e validador).
- GSM8K: Raciocínio matemático (agrupamento paralelo com três executores e um agente de consenso).
- HotpotQA: Resposta a perguntas multihop (geração aumentada por recuperação com recuperador, leitor, sintetizador e verificador de alucinação).
Ablação e Análise: Os autores isolam a atribuição contrastiva como o principal motor de ganhos de desempenho por meio de uma ablação de "atribuição de identidade" (onde escores globais são propagados diretamente). Eles também analisam correlações de crédito para diagnosticar gargalos na topologia do MAS.

Resultados

O CANTANTE alcança a melhor classificação média entre todos os otimizadores avaliados nos benchmarks.

Ganhos de Desempenho:
- MBPP: Alcançou 41,89% de precisão, uma melhoria de +18,9 pontos percentuais sobre a baseline mais forte (MIPROv2) e +36,35 pontos sobre os prompts iniciais não otimizados. Também exibiu variância significativamente menor entre sementes em comparação com as baselines.
- GSM8K: Alcançou 82,33% de precisão, melhorando sobre o MIPROv2 em +12,5 pontos percentuais e sobre o GEPA em 21,06 pontos.
- HotpotQA: Alcançou 11,93% de precisão, permanecendo dentro de um desvio padrão da baseline mais forte e melhorando sobre a configuração inicial.
Eficiência: No MBPP e GSM8K, o CANTANTE alcançou maior precisão enquanto exigia menos tokens no tempo de inferência por consulta em comparação com prompts não otimizados e outras baselines, indicando que os ganhos não foram impulsionados por aumento de computação, mas por melhor parametrização.
Robustez: O método permaneceu eficaz com tamanhos de conjunto de dados reduzidos (até 75 amostras) e foi robusto a mudanças no modelo de atribuição e no prompt.
Correlação de Crédito: A análise confirmou que o atribuidor produz sinais significativos por agente, em vez de meramente ecoar escores globais. Por exemplo, no GSM8K, agentes executados posteriormente receberam maior atribuição devido a viés de recência, um padrão consistente com comportamentos conhecidos de LLMs.

Significado e Alegações

O artigo alega que o CANTANTE representa um passo em direção ao tratamento de parâmetros de sistemas multiagente como objetos de aprendizado de máquina, em vez de configuração manual. Ao abordar a incompatibilidade estrutural entre parâmetros locais e feedback global, o framework permite adaptação principista de MAS a novas tarefas.

Os autores enfatizam que a atribuição contrastiva é um primitivo de otimização mais eficaz para MAS baseado em LLM do que a propagação de escores globais. A capacidade de gerar sinais significativos por agente permite:

Otimização mais estável e eficiente (como observado em menor variância e convergência mais rápida).
Capacidades diagnósticas para design de topologia de MAS (identificando quais agentes são gargalos).
Desacoplamento do mecanismo de atribuição do otimizador local, permitindo a integração de estratégias de otimização sofisticadas.

O trabalho é apresentado como uma abordagem fundamental para automatizar a configuração de fluxos de trabalho agênticos complexos, reduzindo o trabalho manual atualmente exigido para implantação.