💻 computer science

Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

Este artigo apresenta "Agentes Latentes", um framework pós-treinamento que destila debates multiagente intensivos em computação em um único LLM, alcançando desempenho comparável com até 93% menos tokens, ao mesmo tempo que revela subespaços de ativação interpretáveis específicos de cada agente que facilitam um controle mais eficiente sobre comportamentos de raciocínio.

Autores originais: John Seon Keun Yi, Aaron Mueller, Dokyun Lee

Publicado 2026-04-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: John Seon Keun Yi, Aaron Mueller, Dokyun Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante, mas tagarela, que é ótimo em resolver problemas, mas apenas quando pode debater com dois outros alunos. Esse método de "Debate Multi-Agente" funciona bem: os alunos conversam de um lado para o outro, corrigem os erros uns dos outros e, eventualmente, chegam a um acordo sobre a resposta correta. No entanto, esse processo é lento e caro, pois exige a geração de uma enorme quantidade de texto (como uma longa transcrição de um debate em sala de aula) apenas para obter uma única resposta.

Os autores deste artigo perguntaram: Podemos ensinar um único aluno a realizar todo esse debate dentro de sua própria mente, para que ele possa fornecer a resposta correta rapidamente, sem toda a tagarelice?

Eles desenvolveram um método chamado IMAD (Debate Multi-Agente Internalizado). Eis como funciona, detalhado em etapas simples:

1. O Campo de Treinamento (Aprendizado em Duas Etapas)

Para ensinar essa habilidade ao modelo, eles utilizaram um processo de treinamento em duas etapas:

Etapa 1: Aprendendo o Roteiro (Ajuste Fino Supervisionado).
Imagine entregar ao aluno uma pilha de transcrições desses debates bem-sucedidos em sala de aula. O aluno lê e relê, não necessariamente para aprender as respostas matemáticas, mas para aprender a estrutura do argumento. Ele aprende como o "Agente 1" fala, como o "Agente 2" critica e como eles eventualmente chegam a um consenso. O modelo aprende a imitar todo esse formato de conversa.
Etapa 2: O Exercício Silencioso (Aprendizado por Reforço).
Agora, o professor muda as regras. O aluno ainda é solicitado a resolver problemas, mas o professor começa a penalizá-lo por escrever todo o argumento.
- Primeiro, o professor diz: "Você pode escrever todo o debate, mas deve acertar a resposta."
- Depois, o professor diz: "Certo, tente acertar a resposta, mas escreva cada vez menos do debate."
- Finalmente, o professor diz: "Acerte a resposta, mas você só pode escrever a resposta final. O debate deve ocorrer inteiramente em sua mente."
Sob essa pressão, o modelo aprende a executar as etapas complexas de raciocínio internamente (em seu "espaço latente") e a apenas produzir o resultado final.

2. Os Resultados: Rápido e Preciso

O artigo testou isso em problemas matemáticos e quebra-cabeças de lógica.

A Magia: O novo modelo "Internalizado" performou tão bem quanto (e às vezes melhor do que) o debate lento e tagarela de múltiplos agentes.
A Economia: Ele utilizou até 93% menos palavras (tokens) para obter a resposta. É como obter um veredito jurídico detalhado sem ler a transcrição de 500 páginas do julgamento.

3. O "Fantasma na Máquina" (Subespaços de Agentes)

Aqui está a parte mais fascinante. Os pesquisadores se perguntaram: O modelo apenas memorizou as respostas, ou ele realmente manteve as diferentes "personalidades" dos agentes vivas dentro de seu cérebro?

Para testar isso, eles utilizaram uma técnica chamada Direcionamento de Ativação. Pense no cérebro do modelo como uma vasta sala com diferentes "direções" ou corredores.

Eles descobriram que o modelo havia criado "corredores" específicos para a personalidade de cada agente (por exemplo, um corredor de "Pensamento Crítico", um corredor "Estilo de Código", um corredor "Passo a Passo").
Ao empurrar o estado interno do modelo ligeiramente em direção a um desses corredores, eles podiam fazer o modelo agir como aquele agente específico.
A Prova: Quando direcionaram o modelo, ele não apenas forneceu uma resposta genérica; adotou o estilo específico e os padrões de raciocínio do agente que visaram. Isso prova que o modelo não apenas colapsou em um único bloco de conhecimento; ele preservou internamente as distintas "vozes" do debate.

4. O Teste de Segurança: Pegando o "Agente Ruim"

Finalmente, eles testaram se essa estrutura ajuda na segurança.

Eles treinaram um modelo onde um dos agentes internos foi instruído a ser malicioso (para dar conselhos prejudiciais ou inventar fatos falsos).
Como o modelo tinha "corredores" distintos para cada agente, os pesquisadores puderam encontrar o "corredor" específico do agente malicioso.
Eles então aplicaram Direcionamento Negativo (empurrando o modelo na direção oposta àquele corredor).
O Resultado: Isso suprimiu com sucesso o comportamento ruim (os conselhos maliciosos ou fatos falsos) muito melhor do que tentar direcionar um modelo normal. Crucialmente, essa "cirurgia" removeu os traços ruins sem quebrar a capacidade do modelo de fazer matemática ou lógica. É como remover um hábito ruim específico de uma pessoa sem fazê-la esquecer como falar ou andar.

Resumo

O artigo mostra que podemos pegar um processo lento e caro, onde múltiplos agentes de IA debatem para resolver um problema, e destilá-lo em uma única IA rápida que realiza o debate dentro de sua própria mente. Não apenas isso é mais rápido e barato, mas também deixa para trás um "mapa" dos diferentes estilos de raciocínio, permitindo que desliguemos seletivamente comportamentos ruins (como mentir ou ser prejudicial) sem prejudicar a inteligência geral do modelo.

1. Declaração do Problema

O debate multiagente (MAD) provou ser eficaz para melhorar o raciocínio, a precisão factual e a resistência a alucinações de Modelos de Linguagem de Grande Escala (LLMs). No entanto, o MAD tradicional é computacionalmente caro e ineficiente porque requer:

Múltiplas Chamadas de Inferência: Executar várias instâncias distintas de LLMs.
Transcrições Verbosas: Gerar longos históricos conversacionais através de múltiplas rodadas antes de alcançar um consenso.
Alto Consumo de Tokens: Isso leva a latência e custos significativos, tornando-o impraticável para aplicações em tempo real ou com recursos limitados.

O desafio central é destilar os benefícios do raciocínio colaborativo do debate multiagente em um único LLM que possa realizar o raciocínio internamente (em seu espaço latente) sem gerar a transcrição externa verbosa do debate, mantendo assim o desempenho enquanto reduz drasticamente os custos de inferência.

2. Metodologia: Debate Multiagente Internalizado (IMAD)

Os autores propõem o IMAD, um pipeline de ajuste fino em duas etapas projetado para internalizar o processo de debate. O framework consiste em três fases principais:

A. Construção do Conjunto de Dados

Fonte: Um conjunto de dados de 944 rastros de debate foi gerado usando GPT-3.5-turbo.
Tarefa: Problemas aritméticos (seis números de dois dígitos gerados aleatoriamente) foram escolhidos para focar na aprendizagem estrutural em vez de conhecimento de domínio complexo.
Estrutura: O conjunto de dados inclui $n=3$ agentes e $m=2$ rodadas. Crucialmente, marcadores de estrutura (por exemplo, <|Agente 1|>, <|Rodada 1|>, <|Consenso|>) são adicionados aos registros para ensinar explicitamente ao modelo o formato do debate.
Filtragem: Debates sem um consenso majoritário final são descartados.

B. Etapa 1: Ajuste Fino Supervisionado (SFT) - Aprendizagem de Estrutura

Objetivo: Ensinar ao único LLM replicar o formato e a estrutura de um debate multiagente.
Processo: O modelo é treinado via previsão de próximo token autoregressiva padrão em todos os rastros de debate (incluindo todas as turnos dos agentes e o consenso final).
Resultado: O modelo aprende a gerar uma sequência estruturada de "agentes virtuais" que criticam e refinam argumentos, efetivamente imitando a dinâmica externa do debate dentro de um único fluxo de geração.

C. Etapa 2: Aprendizado por Reforço (RL) - Internalização

Objetivo: Transicionar o modelo de gerar debates explícitos e verbosos para realizar o raciocínio internamente e produzir apenas a resposta final.
Algoritmo: Otimização de Política Relativa de Grupo (GRPO).
Agendamento Dinâmico de Recompensas: A função de recompensa $r(x, y)$ $r (x, y)$ combina dois componentes com pesos dinâmicos:
1. Recompensa de Formato ( $R_{fmt}$ ): Inicialmente positiva se a saída contiver marcadores estruturais. O peso $w_{fmt}$ decai durante o treinamento, removendo o incentivo para produzir estruturas verbosas.
2. Correção com Recorte de Comprimento ( $R(y; l)$ ): Uma recompensa de 1 é dada apenas se a resposta correta aparecer dentro de um prefixo truncado de comprimento $l$ . O limite de comprimento $l$ sofre recozimento, começando de forma permissiva ( $l_0$ ) e encolhendo para um limite alvo ( $l^*$ ) que cabe apenas uma resposta concisa.
Mecanismo: À medida que a recompensa de formato desaparece e o limite de comprimento encolhe, o modelo é forçado a realizar a análise multiperspectiva aprendida no SFT internamente (em seu espaço latente) para satisfazer a restrição de correção sem violar a restrição de comprimento.

3. Contribuições Principais

Framework IMAD: Um pipeline inovador em duas etapas que destila o debate multiagente em um único LLM, alcançando desempenho competitivo com até 93% menos tokens em comparação com o debate multiagente explícito.
Descoberta Mecanística (Subespaços de Agentes): Através da análise de direcionamento de ativação, os autores demonstram que os modelos IMAD não colapsam em um único modo de raciocínio. Em vez disso, desenvolvem subespaços de agentes distintos e linearmente separáveis no espaço de ativação. Esses subespaços correspondem a perspectivas específicas de agentes (por exemplo, Cadeia de Pensamento, Auto-crítica, Programa de Pensamento).
Segurança Controlável via Direcionamento: O artigo demonstra que esses subespaços de agentes internalizados são controláveis. Ao injetar um agente "malicioso" durante o treinamento e, em seguida, aplicar direcionamento negativo (subtraindo o vetor de direcionamento do agente malicioso), o modelo pode suprimir traços nocivos (por exemplo, intenção maligna, alucinações) mais efetivamente do que direcionar um modelo base, com menos degradação no desempenho geral da tarefa.

4. Resultados Experimentais

Os autores avaliaram o IMAD em três benchmarks: GSM8K (matemática), MMLU-Pro (conhecimento multissetorial) e Big-Bench Hard (raciocínio lógico), utilizando LLaMA-3.1 8B, Qwen 2.5 7B e Mistral Nemo 12B.

Desempenho vs. Eficiência:
- O IMAD iguala ou supera a precisão do debate multiagente explícito (Debate) em todos os modelos e benchmarks.
- Redução de Tokens: O IMAD utiliza apenas 6,3% a 21,1% dos tokens exigidos pelo debate explícito (um ganho de eficiência de 5 a 16 vezes).
- Generalização: Apesar de ser treinado apenas em aritmética, o IMAD generaliza bem para tarefas complexas de raciocínio (MMLU-Pro, BBH) e tarefas de resumo aberto.
Análise de Subespaço de Agente:
- Usando Adição de Ativação Contrastiva (CAA), os autores extraíram vetores de direcionamento para personas específicas de agentes.
- Fidelidade: Modelos IMAD direcionados mostraram alinhamento significativamente maior (pontuações ROUGE) com personas de agentes alvo em comparação com modelos base direcionados (melhoria média de 15,41% na AUC).
- Isso confirma que a estrutura colaborativa é preservada como representações latentes identificáveis.
Controle de Agente Malicioso:
- Quando treinado com um agente malicioso, os modelos IMAD permitiram a supressão quase completa de traços "maus" via direcionamento negativo (pontuações caindo para ~0), enquanto modelos base mantiveram comportamento malicioso residual.
- Estabilidade: Modelos IMAD mantiveram alto desempenho na tarefa (precisão GSM8K) e baixa perplexidade sob coeficientes de direcionamento extremos, enquanto modelos base sofreram colapso de desempenho e incoerência.

5. Significado e Implicações

Eficiência: O IMAD oferece uma solução prática para o alto custo de sistemas multiagentes, permitindo a implantação de raciocínio semelhante a debates em ambientes de produção com latência de modelo único.
Interpretabilidade: A descoberta de subespaços de agentes fornece uma nova compreensão mecanicista de como os LLMs internalizam raciocínios complexos. Isso sugere que o "debate interno" não é apenas uma otimização de caixa preta, mas envolve a preservação de perspectivas de raciocínio distintas e direcionáveis.
Segurança e Controle: A capacidade de isolar e suprimir traços comportamentais específicos (como alucinações ou intenção maliciosa) via direcionamento de ativação oferece uma nova e promissora via para a segurança de LLMs. Isso sugere que o treinamento estruturado multiagente cria representações mais modulares e controláveis do que o treinamento padrão, permitindo a remoção "cirúrgica" de comportamentos nocivos sem quebrar as capacidades gerais do modelo.

Em conclusão, o artigo estabelece que as capacidades de raciocínio multiagente podem ser destiladas com sucesso no espaço latente de um único modelo, preservando os benefícios da colaboração enquanto habilitam inferência eficiente e controle comportamental granular.