Resumo Técnico: Mais Nem Sempre é Melhor: Interferência entre Componentes em Estruturas de Agentes LLM

Declaração do Problema

O paradigma padrão para a construção de agentes de Modelo de Linguagem de Grande Escala (LLM) envolve "andaimes" (scaffolding): o aprimoramento de um modelo base com uma pilha de componentes funcionais, como módulos de planejamento, interfaces de ferramentas, memória, autorreflexão e recuperação. A suposição predominante no campo é que adicionar mais componentes melhora o desempenho ("mais é melhor"). Este artigo desafia essa suposição ao investigar a Interferência entre Componentes (CCI): o fenômeno em que a combinação de componentes de andaimes resulta em retornos marginais negativos, fazendo com que o sistema completo "Tudo-em-Um" tenha desempenho inferior a subconjuntos específicos desses componentes.

Metodologia

Os autores conduziram um estudo empírico sistemático e fatorial completo para mapear o cenário de interação dos componentes do agente.

• Desenho Experimental: Um desenho fatorial completo sobre todos os $2^5 = 32$ subconjuntos de cinco componentes canônicos de andaimes:
  1. Planejamento (P): Decomposição de tarefas em sub-objetivos.
  2. Uso de Ferramentas (T): Interfaces de chamada de função.
  3. Memória (M): Memória de trabalho estruturada.
  4. Raciocínio Estruturado (SR): Formatação de cadeia de pensamento.
  5. Reflexão (R): Prompts de autoavaliação.
• Benchmarks e Modelos: Os experimentos foram conduzidos em dois benchmarks: HotpotQA (raciocínio multi-hop, focado em recuperação) e GSM8K (raciocínio matemático). O estudo abrangeu três famílias de modelos e cinco escalas:
  • Llama-3.1 (8B, 70B)
  • Qwen2.5 (3B, 7B)
  • Claude Haiku 4.5 (via AWS Bedrock)
• Escala: O estudo envolveu 118 configurações controladas e mais de 32.000 avaliações. Configurações-chave foram validadas em 10 sementes aleatórias (16.000 avaliações no HotpotQA/8B).
• Análise Estatística: Os autores empregaram testes t pareados, testes de postos sinalizados de Wilcoxon, análise bayesiana (priors JZS) e medições de tamanho de efeito (Cohen's $d_z$). Eles utilizaram decomposição exata de valores de Shapley para atribuir valor aos componentes e testaram violações de submodularidade. Modelos de regressão (efeitos principais vs. interação par a par) foram ajustados para caracterizar a estrutura de interação.

Principais Resultados

1. Prevalência da Interferência entre Componentes (CCI)

Em todas as configurações testadas, o melhor subconjunto próprio de componentes igualou ou superou o desempenho do sistema completo "Tudo-em-Um".

• HotpotQA (Llama-3.1-8B): O agente de ferramenta única (apenas Uso de Ferramentas) superou significativamente o sistema Tudo-em-Um de 5 componentes em 32% (F1 0,233 vs. 0,177; $p=0,023$). Adicionar qualquer componente à linha de base de Uso de Ferramentas degradou o desempenho em 5 de 6 expansões.
• GSM8K (Llama-3.1-8B): A configuração ótima exigia três componentes (Uso de Ferramentas + Raciocínio Estruturado + Reflexão), alcançando 79% de maior precisão do que o sistema Tudo-em-Um (0,43 vs. 0,24).
• Contagem Ótima ($k^*$): O número ótimo de componentes é dependente da tarefa ($k^*=1$ para HotpotQA, $k^*=3$ para GSM8K) e sensível à escala.

2. Dependência de Escala e Modelo

A gravidade da CCI segue um gradiente de capacidade:

• Modelos 8B: A CCI é forte e pervasiva.
• Modelos 70B: A CCI é atenuada, mas persiste. No HotpotQA, a lacuna entre o melhor subconjunto e o Tudo-em-Um estreitou de 32% (8B) para 19% (70B). Notavelmente, a direção da interferência reverteu-se para alguns componentes (por exemplo, adicionar Reflexão ajudou em 70B, mas prejudicou em 8B), ainda assim o sistema Tudo-em-Um não superou o melhor subconjunto.
• Claude Haiku 4.5: A CCI saturou em níveis dentro do ruído. Embora o sistema Tudo-em-Um não fosse pior do que subconjuntos mais simples, os componentes adicionais além do Uso de Ferramentas contribuíram virtualmente com nada (ganho de 0,2%), indicando um "platô" onde a complexidade gera retorno marginal zero.

3. Análise Estrutural e Modelos de Interação

• Dominância de Efeitos Principais: Um modelo de regressão de efeitos principais de 6 parâmetros explicou 91,6% da variância ($R^2=0,916$), superando decisivamente um modelo de interação par a par de 16 parâmetros ($\Delta BIC = 25,3$). Isso sugere que a CCI é amplamente aditiva; os componentes impõem um custo ou benefício marginal relativamente constante, independentemente do contexto.
• Valores de Shapley: O Uso de Ferramentas capturou 70% do valor total do andaime. Por outro lado, o Planejamento teve um valor de Shapley significativamente negativo ($\phi = -0,029$), e a Memória foi negativamente direcional no HotpotQA.
• Não-Submodularidade: O estudo encontrou 183 violações de submodularidade de 325 triplas testáveis (56,3%). A razão mediana de submodularidade foi $\gamma_{med} = 0,52$. Crucialmente, 90% das principais violações exibiram inversão de sinal: componentes que eram prejudiciais isoladamente tornaram-se benéficos em combinações específicas (por exemplo, o Raciocínio Estruturado prejudicou o Uso de Ferramentas sozinho, mas ajudou quando combinado com Planejamento e Reflexão). Isso torna as estratégias de seleção gananciosa empiricamente pouco confiáveis.

4. Robustez

• Replicação entre Famílias: O padrão qualitativo (Uso de Ferramentas domina, Tudo-em-Um é subótimo) replicou-se nas famílias Qwen2.5 e Llama.
• Robustez de Modelos: A descoberta central manteve-se em três variantes semanticamente equivalentes de modelos de prompt, embora as classificações de configuração fina-granular fossem sensíveis à redação.
• Controle de Comprimento: Componentes reais superaram o preenchimento sem sentido correspondente em comprimento por 6 a 9 vezes, confirmando que a CCI é impulsionada pelo conteúdo semântico, e não pela contagem de tokens.

Significado e Alegações

O artigo afirma que a suposição "mais é melhor" está sistematicamente errada para andaimes baseados em prompts. Os autores argumentam que:

1. Padrões do Profissional são Defeituosos: O padrão de implantar agentes maximamente equipados leva à degradação do desempenho devido à interferência.
2. Seleção Específica da Tarefa é Necessária: O design ótimo de agentes requer a seleção de subconjuntos específicos da tarefa informados por análise consciente de interação, em vez de empilhar todos os módulos disponíveis.
3. Seleção Gananciosa Falha: Devido à inversão de sinal e à não-submodularidade, adicionar componentes um por um até que os retornos marginais se tornem negativos é uma estratégia pouco confiável para encontrar a configuração ótima do agente.
4. Mecanismo: O artigo identifica a CCI como uma forma de "congestionamento da janela de contexto" (um análogo no tempo de inferência ao conflito de gradiente no aprendizado multi-tarefa), onde os componentes competem por atenção ou diluem sinais, embora o mecanismo causal exato permaneça uma questão em aberto.

O estudo conclui que, embora modelos maiores (70B+) e modelos proprietários altamente capazes (Claude Haiku) possam tolerar combinações mais amplas de componentes, o andaime mais simples e adequado consistentemente iguala ou supera o agente completo em todas as escalas testadas.