Resumo Técnico: AgentPSO

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado progresso significativo no raciocínio complexo, seu desempenho permanece altamente sensível à engenharia de prompts e às habilidades de raciocínio específicas que são instruídos a utilizar. As abordagens existentes para melhorar o raciocínio geralmente se enquadram em duas categorias, ambas com limitações:

1. Autoevolução de Agente Único: Métodos que refinam o prompt ou a política de um único agente por meio de autorreflexão frequentemente sofrem com diversidade exploratória limitada e podem ficar presos em ótimos locais constrangidos pelos vieses inerentes do modelo.
2. Colaboração Multiagente em Tempo de Inferência: Abordagens como debate ou agregação multiagente permitem que os agentes se critiquem mutuamente durante a inferência. No entanto, esses métodos são vulneráveis a influências incorretas de pares e consenso enviesado. Crucialmente, eles são estáticos; as habilidades de raciocínio subjacentes dos agentes não evoluem entre tarefas, e a sobrecarga computacional do debate em múltiplas rodadas no momento do teste é substancial.

A questão central abordada por este trabalho é: Sistemas multiagentes podem evoluir iterativamente suas habilidades de raciocínio subjacentes por meio de interação coletiva, em vez de meramente refinar a saída para uma única instância?

Metodologia: AgentPSO

Os autores propõem o AgentPSO, um framework que trata a evolução da habilidade de raciocínio multiagente como um problema de otimização dinâmica inspirado na Otimização por Enxame de Partículas (PSO). Diferentemente da PSO padrão, que opera em vetores numéricos contínuos, o AgentPSO opera em um espaço de habilidade em linguagem natural.

Conceitos Centrais

• Agentes como Partículas: Cada agente $A_i$ em uma população de $N$ agentes é tratado como uma partícula.
• Estado ($s_i^t$): A "posição" da partícula é a habilidade de raciocínio atual do agente, definida como uma instrução em linguagem natural.
• Velocidade ($v_i^t$): A "velocidade" é uma direção de atualização semântica, representando a revisão textual a ser aplicada à habilidade.
• Melhor Pessoal ($p_i^t$) e Melhor Global ($g^t$): Estes representam os estados de habilidade de melhor desempenho descobertos pelo agente individual e por toda a população, respectivamente, com base na precisão de validação.

O Loop Evolutivo

O framework opera ao longo de $T$ iterações de treinamento, otimizando apenas as instruções de habilidade sem atualizar os parâmetros do LLM de base. Cada iteração segue quatro etapas:

1. Resolução Independente: Todos os agentes resolvem o mesmo lote de treinamento independentemente usando suas habilidades atuais ($s_i^t$). Nenhuma comunicação entre agentes ocorre durante esta fase para garantir uma atribuição limpa do desempenho a habilidades específicas.
2. Observação entre Pares e Autorreflexão: Cada agente observa as trajetórias de raciocínio e os rótulos de correção de toda a população (excluindo suas próprias instruções de habilidade). Com base nisso, o agente gera uma direção de autorreflexão ($d_i^t$) usando uma função Reflect. Esta direção identifica lições reutilizáveis das trajetórias dos pares (por exemplo, verificar suposições, decompor problemas) em vez de simplesmente copiar o prompt de um par.
3. Atualização Inspirada em PSO: O agente atualiza sua velocidade semântica ($v_i^{t+1}$) combinando:
   • A velocidade anterior ($v_i^t$).
   • A direção de autorreflexão ($d_i^t$).
   • A habilidade de melhor pessoal ($p_i^t$).
   • A habilidade de melhor global ($g^t$).
     Isso é realizado por meio de uma função VelocityUpdate, onde o LLM sintetiza uma nova instrução textual descrevendo como revisar a habilidade atual.
4. Reescrita de Habilidade: A nova velocidade é aplicada à habilidade atual por meio de uma função SkillUpdate, gerando o próximo estado de habilidade ($s_i^{t+1}$).
5. Validação e Seleção: As habilidades atualizadas são avaliadas em um lote de validação. As habilidades de melhor pessoal e melhor global são atualizadas apenas se o novo desempenho exceder o melhor anterior por uma margem $\epsilon$, impedindo que ruídos desestabilizem a busca.

No momento do teste, os agentes evoluídos resolvem problemas independentemente, e suas respostas são agregadas por meio de votação majoritária, eliminando a necessidade de debates custosos em múltiplas rodadas.

Contribuições Principais

1. Framework AgentPSO: A introdução de um framework inspirado em PSO que evolui habilidades de raciocínio multiagente atualizando agentes por meio de direções de melhor pessoal, melhor global e autorreflexão no espaço de linguagem natural.
2. Evolução Persistente de Habilidades: Demonstração de que o AgentPSO produz uma evolução persistente das capacidades dos agentes, alcançando desempenho superior ao de prompts estáticos de agente único e baselines multiagentes baseadas em debate, sem exigir interação custosa no momento do teste.
3. Transferibilidade: Evidências de que as habilidades evoluídas transferem-se entre diferentes benchmarks de raciocínio e até mesmo para diferentes LLMs de base, sugerindo que o método aprende comportamentos de raciocínio gerais em vez de memorizar prompts específicos de tarefas.

Resultados Experimentais

Os autores avaliaram o AgentPSO em benchmarks de raciocínio matemático (DeepMath, MATH, AIME25, Minerva) e benchmarks de raciocínio geral (BigBenchHard).

• Desempenho: O AgentPSO alcançou a maior precisão média (71,98%) em todos os benchmarks, superando métodos de agente único padrão (por exemplo, Cadeia de Pensamento em 64,50%), métodos avançados de agente único (por exemplo, AutoRefine em 66,50%) e baselines multiagentes estáticas como MAD (67,68%) e DMAD (68,79%).
• Melhoria Progressiva: A análise mostrou que tanto as habilidades de melhor pessoal quanto as de melhor global melhoraram progressivamente ao longo das iterações, movendo a população em direção a configurações de habilidade mais eficazes.
• Transferência entre Benchmarks: Habilidades otimizadas no DeepMath performaram bem no BigBenchHard (e vice-versa), superando baselines estáticas, indicando a aprendizagem de procedimentos de raciocínio generalizáveis.
• Transferência entre Modelos: Habilidades otimizadas usando GPT foram aplicadas com sucesso ao Claude sem treinamento adicional, melhorando a precisão média do Claude de ~52-55% (com prompts padrão) para 58,37%.
• Estudos de Ablação: A remoção da direção de autorreflexão ($d_i$) causou uma queda substancial no desempenho, confirmando que a orientação padrão da PSO (melhor pessoal/global) sozinha é insuficiente para otimizar habilidades complexas de raciocínio. O componente de autorreflexão fornece a orientação comportamental necessária para extrair lições reutilizáveis.
• Eficiência: Embora o AgentPSO exija uma fase de treinamento, ele reduz significativamente a latência no momento da inferência em comparação com métodos baseados em debate (MAD, MoA), pois os agentes evoluídos resolvem problemas independentemente e agregam respostas por votação, evitando a sobrecarga de comunicação em múltiplas rodadas.

Significado e Alegações

O artigo afirma que o AgentPSO demonstra que a colaboração multiagente pode servir não apenas como um mecanismo em tempo de inferência para refinamento de respostas, mas também como um processo livre de parâmetros de modelo para evoluir habilidades de raciocínio reutilizáveis no nível da população.

Ao tratar os agentes como partículas em um enxame que aprendem com as trajetórias de raciocínio uns dos outros, o framework permite que os agentes adquiram comportamentos de raciocínio reutilizáveis (como classificação de problemas, verificação de casos extremos e conformidade de formato) sem atualizar os pesos subjacentes do modelo. Os autores postulam que essa abordagem melhora a confiabilidade e a eficiência dos sistemas de raciocínio, permitindo que os agentes internalizem procedimentos gerais de raciocínio que se transferem entre tarefas e modelos, superando as limitações de prompts estáticos ou debates em tempo de inferência.

O trabalho reconhece limitações, observando que se concentra em benchmarks de raciocínio em vez de domínios intensivos em conhecimento (onde a recuperação de conhecimento de domínio pode ser mais crítica do que a evolução da habilidade de raciocínio) e que o processo de treinamento requer chamadas adicionais ao LLM. No entanto, estabelece um novo paradigma para evoluir capacidades de agentes por meio de interação coletiva e iterativa.