💬 NLP

MARS: Co-evolving Dual-System Deep Research via Multi-Agent Reinforcement Learning

O artigo apresenta o MARS, um novo framework de aprendizado por reforço multiagente que faz a coevolução de sistemas cognitivos duais (intuição rápida e raciocínio deliberativo) para superar a ineficiência de tokens e as limitações de conhecimento dos Grandes Modelos de Raciocínio, alcançando o estado da arte em tarefas intensivas em conhecimento sem ajuste fino supervisionado.

Autores originais: Guoxin Chen, Zile Qiao, Wenqing Wang, Donglei Yu, Xuanzhong Chen, Hao Sun, Minpeng Liao, Kai Fan, Yong Jiang, Penguin Xie, Wayne Xin Zhao, Ruihua Song, Fei Huang

Publicado 2026-02-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Guoxin Chen, Zile Qiao, Wenqing Wang, Donglei Yu, Xuanzhong Chen, Hao Sun, Minpeng Liao, Kai Fan, Yong Jiang, Penguin Xie, Wayne Xin Zhao, Ruihua Song, Fei Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: o "Pensador Excessivo" e a Biblioteca "Desatualizada"

Imagine que você tem um assistente brilhante e superinteligente (uma IA) que é ótimo em resolver quebra-cabeças difíceis. No entanto, este assistente possui duas falhas principais:

O Pensador Excessivo: Quando você pede para ele ler um artigo de notícias simples ou resumir uma página da web, ele às vezes fica preso no modo de "pensamento profundo". Ele analisa cada palavra individualmente, desperdiçando tempo e energia com coisas que não precisam de uma análise profunda. É como usar uma marreta para quebrar uma noz.
A Biblioteca Desatualizada: O conhecimento deste assistente para no dia em que ele foi treinado. Se você perguntar sobre algo que aconteceu ontem, ele estará totalmente perdido. Ele não consegue pesquisar por conta própria sem se confundir com o volume colossal de novas informações.

A Solução: MARS (A Equipe de Dois Cérebros)

Os pesquisadores criaram um novo sistema chamado MARS. Em vez de um único cérebro tentando fazer tudo, eles construíram uma equipe de duas "personalidades" distintas trabalhando dentro da mesma IA, inspirada no funcionamento dos cérebros humanos:

Sistema 1 (O Batedor Rápido): Este é o cérebro "intuitivo". É rápido, eficiente e bom em escanear. Seu trabalho é olhar para uma montanha de novas informações (como 10 páginas da web ou artigos de pesquisa diferentes) e extrair rapidamente apenas os fatos mais importantes. É como um batedor que corre à frente, pega os suprimentos úteis e deixa o lixo para trás.
Sistema 2 (O Pensador Profundo): Este é o cérebro "deliberado". É lento, cuidadoso e excelente em resolver quebra-cabeças de lógica complexos. Ele pega os fatos limpos e destilados do Sistema 1 e os utiliza para resolver o problema real.

O Truque Mágico:
Em sistemas anteriores, o "Batedor" e o "Pensador" eram treinados separadamente. O Batedor não sabia o que o Pensador precisava, então ele poderia resumir coisas que o Pensador não se importava, ou perder detalhes que o Pensante desesperadamente necessitava.

No MARS, eles coevoluem. Eles treinam juntos. O Batedor aprende exatamente que tipo de informação ajuda o Pensador a resolver o quebra-cabeça, e o Pensador aprende como pedir ao Batedor as coisas certas. Eles compartilham a mesma "pontuação" (recompensa), para que trabalhem como uma equipe perfeita, em vez de dois estranhos.

Como Eles Treinam: O "Jogo em Grupo"

Para ensinar esses dois sistemas a trabalhar juntos sem um professor humano (um método chamado "Zero RL", o que significa que eles começam do zero, sem exemplos pré-escritos), os pesquisadores usaram um jogo de treinamento inteligente baseado em Otimização de Política Relativa de Grupo (GRPO).

Pense nisso como um time de esportes praticando para um campeonato:

A Reunião do Time (Bin-Packing): Quando o time sai para coletar informações, eles podem encontrar 10 páginas da web diferentes. Isso é muita coisa para ler de uma vez. O sistema usa uma estratégia de "Bin-Packing" (como organizar compras em sacolas). Ele organiza essas páginas bagunçadas e de tamanhos diferentes em blocos organizados e gerenciáveis para que o Batedor possa ler todas ao mesmo tempo sem ficar sobrecarregado.
O Placar (Recompensas Compartilhadas): O time sai para tentar resolver um problema. Se eles acertarem a resposta, tanto o Batedor quanto o Pensador ganham um ponto. Se falharem, nenhum deles ganha ponto. Isso os força a cooperar.
Jogo Limpo (Gradientes Desacoplados): Aqui está a parte complicada. Mesmo que compartilhem a pontuação, os pesquisadores garantiram que o Batedor receba crédito por resumir bem e o Pensador receba crédito por raciocinar bem. É como uma corrida de revezamento: se o time vence, ambos os corredores ganham uma medalha, mas o treinador sabe exatamente quem correu a primeira etapa e quem correu a segunda. Isso garante que o Batedor aprenda a ser um batedor melhor, e não apenas um pensador melhor.
Equilibrando o Time (Amostragem Equilibrada): Às vezes o Batedor tem que ler 5 páginas e, outras vezes, apenas 1. Isso cria um desequilíbrio nos dados de treinamento. O sistema usa um método de amostragem especial para garantir que o Batedor e o Pensador tenham tempos de prática iguais, para que um não domine o processo de aprendizado.

Os Resultados: Time Pequeno, Grandes Vitórias

Os pesquisadores testaram o MARS em um exame muito difícil chamado HLE (Humanity's Last Exam), que abrange tópicos avançados de ciência, matemática e história.

O Azarão: O MARS utilizou um modelo relativamente pequeno (8 bilhões de parâmetros).
Os Gigantes: Eles o compararam com modelos muito maiores (32 bilhões ou 72 bilhões de parâmetros) e até com alguns modelos proprietários caros de "superinteligência" de grandes empresas de tecnologia.
O Resultado: O MARS venceu os modelos maiores que haviam sido pré-treinados com exemplos humanos (Ajuste Fino Supervisionado). Ele chegou até muito perto do desempenho dos modelos comerciais mais avançados disponíveis, apesar de começar com zero orientação humana e usando um "cérebro" muito menor.

Por Que Isso Importa (Segundo o Artigo)

O artigo afirma que o ingrediente secreto não é apenas ter mais ferramentas (como mecanismos de busca ou calculadoras); é a parceria.

Sem o "Batedor" (Sistema 1), o "Pensador" fica sobrecarregado com excesso de dados brutos e comete erros.
Sem o "Pensador" (Sistema 2), o "Batedor" apenas resume as coisas sem resolver o problema real.
Juntos, eles criam um sistema que pode ler uma quantidade massiva de informações atualizadas e usá-las para resolver problemas de raciocínio complexos e de múltiplas etapas de forma eficiente.

Em resumo, o MARS ensina uma IA a saber quando "escanear rápido" e quando "pensar profundamente", e como fazer ambas as coisas juntas sem se confundir.

Resumo Técnico: MARS – Coevolução de Sistemas Duais para Pesquisa Profunda via Aprendizado por Reforço Multiagente

1. Declaração do Problema

Modelos de Raciocínio de Grande Escala (LRMs) enfrentam duas limitações fundamentais ao lidar com tarefas complexas e intensivas em conhecimento:

Ineficiência no Processamento de Informação: Ao enfrentar tarefas simples de processamento de informação (ex: analisar páginas da web ou resumir artigos), os LRMs tendem a "superanalisar", consumindo excessivos tokens de raciocínio. Isso limita sua capacidade de processar grandes volumes de informação externa necessária para uma pesquisa profunda.
Conhecimento Estático: Os LRMs estão confinados ao corte de conhecimento de seus dados de treinamento e não podem acessar informações atualizadas sem ferramentas externas.

Abordagens existentes que combinam modelos de raciocínio com ferramentas externas (ex: WebThinker, Search-R1) tipicamente empregam processadores de informação fixos ou treinados de forma independente. Esses processadores não são otimizados para a tarefa de raciocínio específica subsequente, levando a um descompasso onde o processador fornece informação irrelevante demais (sobrecarga) ou perde detalhes críticos (perda). Além disso, esses sistemas frequentemente dependem de Ajuste Fino Supervisionado (SFT) em trajetórias curadas, o que pode não generalizar bem ou escalar eficientemente.

2. Metodologia

Os autores propõem o MARS (Multi-Agent System for Deep ReSearch), um framework que permite a coevolução de dois sistemas cognitivos dentro de um único Modelo de Linguagem Grande (LLM) via Aprendizado por Reforço Multiagente (MARL).

2.1 Estrutura Colaborativa de Sistema Duplo

Inspirado na teoria do processo duplo da cognição humana, o MARS integra dois sistemas:

Sistema 1 (Rápido, Intuitivo): Responsável pelo processamento de informação de alto rendimento. Ele destila informações chave de saídas de ferramentas brutas (ex: resultados de busca, artigos) com base no "propósito" específico fornecido pelo Sistema 2.
Sistema 2 (Lento, Deliberado): Responsável pelo raciocínio estratégico, planejamento e invocação de ferramentas. Ele mantém o contexto de raciocínio e decide quando chamar ferramentas e quais informações são necessárias.

Fluxo de Trabalho:

O Sistema 2 analisa o contexto atual e gera um passo de raciocínio, opcionalmente solicitando uma ferramenta com um propósito específico ( $p_i$ ).
O ambiente externo executa a ferramenta, retornando saídas brutas (que podem ser múltiplos documentos de comprimento variável).
Bin-Packing (Empacotamento em Recipientes): Para lidar com saídas de comprimento variável de forma eficiente, um algoritmo First Fit Decreasing (FFD) organiza essas saídas em blocos de tamanho otimizado.
O Sistema 1 processa esses blocos em paralelo, condicionado ao propósito $p_i$ , para extrair a informação destilada ( $\tilde{o}_i$ ).
A informação destilada é concatenada ao contexto para a próxima vez do Sistema 2.

2.2 Estratégias de Otimização Multiagente

Os autores estendem o Group Relative Policy Optimization (GRPO) para o cenário multiagente com três inovações principais para garantir um treinamento conjunto estável e eficaz:

Computação de Gradiente Desacoplada: Embora o Sistema 1 e o Sistema 2 compartilhem a mesma recompensa ao nível da trajetória, suas atualizações de gradiente são desacopladas.
- A perda (loss) do Sistema 2 é computada apenas sobre os tokens de raciocínio e planejamento, mascarando os tokens de saída do Sistema 1.
- A perda do Sistema 1 é computada apenas sobre suas saídas de destilação, condicionada ao input empacotado (bin-packed).
- Isso garante a atribuição correta de crédito: o Sistema 2 aprende melhores planejamentos/propósitos, enquanto o Sistema 1 aprende melhores estratégias de extração específicas para esses propósitos.
Otimização de Bin-Packing: Para permitir o processamento paralelo pelo Sistema 1, as saídas das ferramentas de comprimento variável são ordenadas por tamanho e empacotadas em recipientes que cabem na janela de contexto do modelo. Isso reduz o número de passos de geração necessários para o Sistema 1.
Amostragem Balanceada Ponderada por Vantagem: Em um rollout, o Sistema 2 gera um número fixo de amostras (uma por trajetória), enquanto o Sistema 1 gera um número variável (dependente das chamadas de ferramenta e contagem de recipientes). Para evitar que um sistema domine o processo de aprendizado:
- As vantagens são pré-computadas para todas as amostras dentro de um grupo.
- As amostras do Sistema 1 são então subamostradas ou sobreamostradas (via duplicação aleatória) para corresponder ao número de amostras do Sistema 2, garantindo uma otimização equilibrada enquanto preserva a integridade estatística.

2.3 Configuração de Treinamento: "Zero RL"

Um aspecto crítico do MARS é seu regime de treinamento. Ele opera sob uma configuração de "Zero RL":

O modelo é treinado diretamente a partir do modelo base (ex: Qwen2.5-7B ou Qwen3-8B).
Não é utilizado Ajuste Fino Supervisionado (SFT) ou destilação de política de modelos mais fortes.
Isso contrasta com baselines como o WebThinker, que dependem de warmups de SFT, permitindo uma avaliação direta da eficácia do framework de RL multiagente.

3. Principais Contribuições

Framework de Coevolução: Introdução do MARS, um framework de sistema duplo onde o Sistema 1 (processamento de informação) e o Sistema 2 (raciocínio) são otimizados conjuntamente através de recompensas de trajetória compartilhadas. Isso permite que o Sistema 1 aprenda a destilação de informação relevante para a tarefa, em vez de uma sumarização genérica.
GRPO Adaptado para RL Multiagente: Desenvolvimento de três técnicas específicas para permitir um treinamento conjunto estável: gradientes desacoplados para atribuição de crédito, bin-packing para processamento paralelo e amostragem balanceada ponderada por vantagem.
Desempenho Zero RL: Demonstração de que um modelo de 8 bilhões de parâmetros treinado sem SFT pode superar baselines maiores treinados com SFT e aproximar-se de modelos proprietários em benchmarks desafiadores.

4. Resultados Experimentais

Os autores avaliaram o MARS em vários benchmarks, incluindo o Humanity's Last Exam (HLE) e 7 tarefas de QA intensivas em conhecimento.

Humanity's Last Exam (HLE):
- O MARS (8B) alcançou 8,17% de acurácia.
- Isso supera o WebThinker (32B com SFT, 6,87%) e o C-3PO (72B com SFT, 5,79%).
- Ele reduz a lacuna em relação a modelos proprietários como Claude 3.7 Sonnet (7,89%) e o1 (7,75%).
- A melhoria é ampla entre as disciplinas (Bio/Med, CS/AI, Matemática, etc.), não isolada a um único domínio.
Tarefas de QA Intensivas em Conhecimento:
- O MARS alcançou uma melhoria média de 8,9% sobre o baseline C-3PO em 7 tarefas (incluindo NQ, TriviaQA, HotpotQA, etc.).
- Os ganhos foram particularmente pronunciados no raciocínio de múltiplos saltos (multi-hop) (+12,2% sobre o C-3PO), indicando a capacidade do framework de lidar com cadeias de raciocínio complexas que exigem múltiplas iterações de recuperação-raciocínio.
Estudos de Ablação:
- Remoção do Sistema 1: Remover o Sistema 1 (forçando o Sistema 2 a processar saídas brutas de ferramentas) causou uma queda de 1,91% na acurácia do HLE (7,38% $\to$ 5,47%). Isso confirma que o Sistema 1 coevolui ativamente para extrair informações relevantes para a tarefa, em vez de agir como um sumarizador passivo.
- Uso de Ferramentas: O modelo aprende a utilizar múltiplas ferramentas (Search, Scholar, Python) de forma eficaz. Remover qualquer ferramenta individual (especialmente Search ou Python) degradou significativamente o desempenho em domínios específicos.
- Dinâmica de Treinamento: A análise mostra que, conforme o treinamento progride, o modelo muda de uma recuperação conservadora de "passo único" para uma coleta de evidências iterativa, com o Sistema 1 filtrando o ruído de forma eficaz.

5. Significância e Alegações

O artigo afirma que o MARS demonstra a viabilidade de arquiteturas de sistema duplo coevoluídas através de aprendizado por reforço multiagente sem depender de ajuste fino supervisionado.

Eficiência vs. Capacidade: O framework aborda com sucesso o compromisso entre processar grandes volumes de informação externa e manter a qualidade do raciocínio. O Sistema 1 lida com a "carga de leitura", permitindo que o Sistema 2 se concentre no raciocínio complexo sem diluição do contexto.
Especialização Aprendida: Os resultados sugerem que a "estratégia de destilação de informação ideal" não é estática, mas depende da tarefa de raciocínio. Através da coevolução, o Sistema 1 aprende a extrair insights especificamente úteis para o Sistema 2, uma capacidade que prompts fixos ou treinamento independente não conseguem alcançar.
Escalabilidade: O sucesso do "Zero RL" indica que o próprio framework de RL multiagente é um poderoso motor de desempenho, potencialmente reduzindo a dependência de escalas massivas de modelos ou conjuntos de dados SFT caros.

Os autores enfatizam que esta abordagem melhora a confiabilidade da pesquisa profunda ao permitir que os modelos sintetizem informações atualizadas enquanto mantêm um raciocínio forte de múltiplos passos, com potenciais aplicações em educação e revisão de literatura científica. Eles também observam potenciais riscos em relação à desinformação e a necessidade de supervisão humana em ambientes de alto risco.