🤖 AI

Power and Limitations of Aggregation in Compound AI Systems

Este artigo investiga o poder e as limitações de agregar respostas de múltiplos modelos idênticos em sistemas de IA compostos, provando que tal agregação expande o conjunto de saídas elicitáveis apenas através de três mecanismos específicos — expansão de viabilidade, expansão de suporte e contração de conjunto vinculativo — e fornecendo validação empírica para essas descobertas em tarefas de modelos de linguagem de grande escala.

Autores originais: Nivasini Ananthakrishnan, Meena Jagadeesan

Publicado 2026-07-09

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nivasini Ananthakrishnan, Meena Jagadeesan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô superinteligente que consegue escrever histórias, resolver problemas matemáticos ou listar artigos de pesquisa. Você faz uma pergunta e ele te dá uma resposta. Mas e se você fizesse a mesma pergunta para três cópias desse mesmo robô, desse a eles instruções ligeiramente diferentes e depois misturasse as respostas deles? O resultado final dessa mistura seria mais inteligente do que qualquer robô individual poderia ser por conta própria?

Esta é a grande questão que as pesquisadoras Nivasini Ananthakrishnan e Meena Jagadeesan abordaram em seu novo artigo. Elas não apenas adivinharam; elas construíram um framework matemático de "agente-principal" (pense nisso como um livro de regras estrito sobre como um chefe dá tarefas a trabalhadores) para descobrir exatamente quando e por que combinar respostas funciona, e quando é apenas uma perda de tempo.

Os Três Truques Mágicos da Agregação

As autoras descobriram que simplesmente perguntar ao mesmo robô três vezes não o torna automaticamente mais inteligente. Na verdade, elas provaram que, para um grupo de robôs produzir uma resposta que nenhum robô sozinho jamais conseguiria dar, o grupo deve realizar um dos três truques específicos abaixo. Se o grupo não realizar pelo menos um desses truques, a agregação é inútil, não importa quão inteligentes sejam suas instruções (prompts).

Aqui estão os três truques, explicados com uma história sobre um Gerador de Referências de Artigos:

1. O Truque da "Mistura Impossível" (Expansão de Viabilidade)
Imagine um robô que tem um erro: ele não consegue falar sobre "Blockchain" sem acidentalmente falar sobre "Criptografia" ao mesmo tempo. É como um robô que não consegue dizer "Maçã" sem também dizer "Torta".

O Robô Individual: Se você pedir a ele uma lista sobre Blockchain, ele deve incluir Criptografia. Ele não tem escolha.
O Grupo: Você pede ao Robô A uma lista sobre "Blockchain, mas não Sistemas Distribuídos", e ao Robô B sobre "Criptografia, mas não Blockchain". O Robô A te dá uma lista pesada em Blockchain; o Robô B te dá uma lista pesada em Criptografia. Quando você combina (agrega) as listas deles, você pode acabar com uma lista perfeita que tem apenas Blockchain e nenhuma Criptografia.
A Magia: O grupo criou um resultado (Blockchain Puro) que era impossível para qualquer robô sozinho produzir devido aos seus "erros" internos (restrições). O artigo chama isso de Expansão de Viabilidade (Feasibility Expansion).

2. O Truque de "Muitos Hobbies" (Expansão de Suporte)
Imagine que você quer que um robô escreva uma história que seja igualmente sobre "Espaço" e "Medicina".

O Robô Individual: O robô é ruim em multitarefa. Se você disser para ele focar em Espaço, ele ignora a Medicina. Se você disser para ele focar em Medicina, ele ignora o Espaço. Ele não consegue atingir ambos os alvos perfeitamente ao mesmo tempo.
O Grupo: Você pede ao Robô A para focar apenas em Espaço, e ao Robô B para focar apenas em Medicina. O Robô A entrega uma ótima história de Espaço; o Robô B entrega uma ótima história de Medicina. Quando você mistura os dois, você obtém uma história perfeitamente equilibrada entre ambos.
A Magia: O grupo criou um resultado que cobre uma gama mais ampla de tópicos (um "suporte mais rico") do que qualquer robô sozinho conseguiria gerenciar. O artigo chama isso de Expansão de Suporte (Support Expansion).

3. O Truque da "Restrição Frouxa" (Contração de Conjunto de Ligação)
Imagine um robô que é forçado a seguir uma regra: "Se você mencionar 'Deep Learning', você deve também mencionar 'Redes Neurais'".

O Robô Individual: Se você pedir uma lista sobre Deep Learning, o robô está "preso" (vinculado) à regra. Ele não consegue te dar Deep Learning sem Redes Neurais.
O Grupo: Você pede ao Robô A uma lista que seja 90% Deep Learning e 10% Redes Neurais. Você pede ao Robô B uma lista que seja 90% Redes Neurais e 10% Deep Learning. Quando você combina os dois, a regra do "deve incluir" pode se cancelar de uma forma que permita obter uma lista que seja puramente Deep Learning, ou pelo menos com muito menos excesso de Redes Neurais do que o robô individual poderia produzir.
A Magia: O grupo encontrou uma maneira de escapar das restrições mais "apertadas" que estavam segurando os robôs individuais. O artigo chama isso de Contração de Conjunto de Ligação (Binding Set Contraction).

O Grande "Não" (O que a Agregação Não Pode Fazer)

Aqui está a parte mais importante: O artigo descarta explicitamente a ideia de que apenas ter mais robôs ou instruções mais complexas garanta um resultado melhor.

As autoras provaram matematicamente que, se o seu método de agregação (como você mistura as respostas) não realizar pelo menos um desses três truques acima, ele oferece zero poder. Não importa se você é um gênio na escrita de prompts ou se o robô é muito avançado. Se o processo de mistura não expandir a área "viável", expandir o "suporte" (tópicos) ou contrair as restrições de "ligação", o grupo é tão limitado quanto um único robô.

De fato, elas mostraram que, se você tentar misturar respostas de uma forma que não utilize esses truques, você ficará travado. Você não conseguirá um resultado que o robô individual não pudesse fornecer, não importa o quanto se esforce.

O Quão Certas Elas Estão?

As autoras não inventaram isso; elas provaram.

A Teoria: Elas usaram matemática rigorosa para provar que esses três mecanismos são necessários. Isso significa que, se você vir um grupo de agentes de IA fazendo algo incrível que um único agente não conseguiria, deve ser porque eles estão realizando um desses três processos. Elas também provaram que uma versão "fortalecida" dessas regras é suficiente, o que significa que, se você puder demonstrar que essas regras estão ocorrendo, você tem a garantia de obter um resultado melhor.
A Simulação: Para garantir que sua matemática não fosse apenas uma teoria bonita, elas realizaram uma simulação (um experimento computacional) usando Grandes Modelos de Linguagem reais (especificamente o GPT-4o-mini).
- Elas configuraram uma tarefa "didática" onde a IA tinha que gerar listas de títulos de artigos de pesquisa.
- Elas testaram os três truques. Para a Expansão de Suporte, descobriram que um único modelo não conseguia equilibrar perfeitamente "Teoria da Complexidade" e "Macroeconomia", mas o grupo conseguia.
- Para a Expansão de Viabilidade, mostraram que o grupo podia criar uma lista sobre "Blockchain" que evitava "Sistemas Distribuídos", algo que um único modelo falhou em fazer.
- Para a Contração de Conjunto de Ligação, mostraram que o grupo conseguia isolar melhor o "Deep Learning" do que um único modelo.

Nessas simulações, a distância entre o que o grupo produziu e o que um único modelo poderia produzir foi clara. Por exemplo, no teste de Expansão de Suporte, a diferença (medida pela distância $\ell_1$ ) foi entre 0,63 e 1,02. No teste de Expansão de Viabilidade, a lacuna foi entre 0,07 e 0,39. Esses números não são zero; eles provam que o grupo fez algo que o robô individual não conseguiu.

A Lição para Mentes Curiosas

Então, perguntar a cinco robôs para trabalharem juntos sempre cria um super-robô? Não. O artigo sugere que isso só funciona se você for inteligente sobre como combina as respostas deles. Você tem que usar a combinação para quebrar uma regra com a qual o robô individual estava preso, ou para cobrir mais terreno do que um único robô conseguiria.

Se você apenas amassar as respostas deles de forma aleatória, ou se pedir que façam exatamente a mesma coisa, você não ganhará nada de novo. Mas se você usar a estratégia de "mistura" correta para explorar as fraquezas dos robôs (como a incapacidade de multitarefa ou seus efeitos colaterais forçados), você pode desbloquear um mundo inteiramente novo de respostas que eram anteriormente impossíveis.

As autoras concluem que isso nos fornece um roteiro para construir "Sistemas de IA Compostos". Em vez de apenas esperar que mais modelos resultem em melhores resultados, agora sabemos exatamente que tipo de "mistura" precisamos fazer para realmente tornar o sistema mais inteligente. Não é mágica; é matemática.

Resumo Técnico: Poder e Limitações da Agregação em Sistemas de IA Composta

Declaração do Problema

Sistemas de IA composta, que utilizam múltiplos componentes de IA em vez de um único modelo isolado, emergiram como um paradigma poderoso para enfrentar tarefas complexas. Uma estratégia comum envolve consultar múltiplas cópias do mesmo Modelo de Linguagem Grande (LLM) com diferentes prompts ou ferramentas e agregar suas respostas. Embora o sucesso empírico sugira que a agregação melhora o desempenho, as condições teóricas sob as quais a agregação de modelos homogêneos desbloqueia um conjunto estritamente maior de saídas do que consultar um único modelo permanecem incertas.

Este artigo investiga o poder e as limitações dessa agregação. Especificamente, ele questiona: Quando a agregação de saídas de múltiplas cópias do mesmo modelo permite que um designer de sistema elici de saídas que são impossíveis de elicitar de um único modelo, dadas restrições na engenharia de prompt (especificação de recompensa) e nas capacidades do modelo?

Metodologia

Os autores formalizam este problema utilizando um arcabouço de principal-agente estilizado, estendendo o trabalho de Kleinberg e Raghavan [2020].

Arcabouço Teórico

Agentes e Saídas: O sistema consiste em $K$ agentes (representando cópias idênticas de LLM) e um único principal (o designer do sistema). As saídas são representadas como vetores não negativos de $M$ dimensões $x \in \mathbb{R}^M_{\ge 0}$ .
Capacidades do Modelo (Restrições Cônicas): As limitações do modelo são modeladas como restrições cônicas $C$ sobre o espaço de saída. O conjunto viável é definido como $B_{feasible}(C) = \{x \in \mathbb{R}^M_{\ge 0} \mid Cx \le 0\}$ . Isso captura cenários onde um modelo não consegue produzir certas saídas desejáveis sem incorrer em efeitos colaterais indesejáveis (ex: alucinações ou violações de segurança).
Limitações de Engenharia de Prompt (Características Mais Grossas): O designer do sistema não pode especificar recompensas diretamente sobre o espaço de saída de $M$ dimensões. Em vez disso, as recompensas operam sobre um espaço de características mais grosseiro de $N$ dimensões definido por uma matriz de pesos de características $\alpha$ . O mapeamento de características $F(x)$ agrega dimensões de saída, capturando a limitação de que os prompts podem ser subespecificados ou que os modelos podem interpretar erroneamente distinções finas.
Otimização do Agente: Cada agente $k$ maximiza uma função de recompensa monótona $R^{(k)}$ sujeita ao seu orçamento $E^{(k)}$ e às restrições cônicas $C$ .
Expansão de Elicitabilidade: Uma operação de agregação $x^{(1)}, \dots, x^{(K)} \to x^{(A)}$ é definida como expansora de elicitabilidade se as saídas constituintes $x^{(k)}$ são individualmente elicitáveis por algum par de recompensa/orçamento, mas a saída agregada $x^{(A)}$ não é elicitável por qualquer par de recompensa/orçamento único.

Regras de Agregação

O artigo analisa regras de agregação gerais, mas foca em dois tipos naturais:

Agregação por Interseção: Mínimo por coordenada ( $x^{(1)} \wedge \dots \wedge x^{(K)}$ ), análogo a protocolos de debate ou filtragem de consenso.
Agregação por Adição: Soma ponderada ( $\sum w_k x^{(k)}$ ), análogo à síntese de subtarefas especializadas.

Principais Contribuições

1. Identificação de Três Mecanismos Naturais

Os autores identificam três mecanismos através dos quais a agregação pode expandir o conjunto de saídas elicitáveis:

Expansão de Viabilidade: A agregação produz uma saída $x^{(A)}$ que está fora do conjunto viável de qualquer agente individual ( $Cx^{(A)} \not\le 0$ ), contornando efetivamente as restrições de capacidade do modelo.
Expansão de Suporte: A agregação combina saídas com suportes menores (menos dimensões não nulas) em uma saída com um suporte mais rico, superando limitações na especificação de recompensa onde combinações específicas de características são difíceis de elicitar diretamente.
Contração do Conjunto de Restrições Ativas (Binding Set): A agregação combina saídas onde as restrições são vinculativas (ativas) em uma saída onde essas restrições não são mais vinculativas (interior), aproveitando a geometria do conjunto viável para acessar novas direções.

2. Condições Necessárias e Suficientes

O artigo fornece uma caracterização rigorosa de quando a agregação é poderosa:

Necessidade: O Teorema 3.7 prova que, para uma agregação ser expansora de elicitabilidade, ela deve implementar pelo menos um dos três mecanismos (expansão de viabilidade, ou expansão de suporte/conjunto de restrições para cada agente). Se nenhum deles for implementado, a agregação não oferece poder, independentemente das limitações de engenharia de prompt.
Insuficiência de Mecanismos Básicos: Os autores demonstram que meramente implementar esses mecanismos não é suficiente para garantir a expansão da elicitabilidade.
Caracterização Fortalecida: Os Teoremas 4.3 e 4.4 fornecem as condições necessárias e suficientes para a expansão da elicitabilidade. Essas condições exigem uma versão "fortalecida" dos mecanismos, especificamente envolvendo uma "condição de caracterização de poder" baseada em direções viáveis de redução de orçamento. Essa condição garante que a saída agregada seja robustamente distinta das saídas individuais de forma a impedir que qualquer função de recompensa única a elicie.

3. Ilustração Empírica

Os autores validam empiricamente seus achados teóricos usando o GPT-4o-mini (e outros modelos) em uma tarefa de geração de referências de brinquedo.

Tarefa: Gerar listas de referências de artigos que refletem equilíbrios de tópicos específicos.
Configuração: O designer do sistema solicita modelos com tópicos de alto nível (características mais grossas) e agrega as listas resultantes via união (adição) ou interseção.
Resultados: Os experimentos construíram com sucesso operações de agregação que implementavam cada um dos três mecanismos. Em cada caso, a saída agregada foi significativamente mais próxima do alvo do que a saída mais próxima elicitável por um único modelo, confirmando que a agregação pode superar tanto as limitações de engenharia de prompt quanto as de capacidade do modelo na prática.

Resultados e Significância

O artigo conclui que o poder dos sistemas de IA composta que dependem de agregação não é automático; é fundamentalmente limitado pela geometria do espaço de saída e pelas limitações da especificação de recompensa.

Insight Teórico: O trabalho caracteriza totalmente quando a agreção expande o conjunto de saídas elicitáveis. Estabelece que a agregação só é benéfica se explorar propriedades geométricas específicas (viabilidade, suporte ou conjuntos de restrições) que o prompting de agente único não consegue acessar.
Implicação Prática: Designers de sistemas podem usar esses mecanismos para determinar se um sistema composto terá um desempenho superior a um modelo único. Por exemplo, se os modelos não possuem limitações de capacidade (sem restrições cônicas), a agregação por interseção pode não oferecer poder, enquanto a agregação por adição ainda pode fornecer benefícios através da expansão de suporte.
Robustez: Os resultados empíricos sugerem que esses mecanismos teóricos se mantêm mesmo ao ir além das suposições lineares do artigo (ex: para LLMs estocásticos com temperatura não nula).

O artigo posiciona-se como um passo para compreender os limites fundamentais e as capacidades de agregar modelos homogêneos, oferecendo um arcabouço conceitual para projetar sistemas de IA composta que superem efetivamente as duplas limitações de engenharia de prompt e capacidades de modelo.