Resumo Técnico: Multi2 – Tomada de Decisão Multiagente Hierárquica com Agentes Baseados em LLM

1. Definição do Problema

O desafio central abordado por este trabalho é a fragilidade de agentes de Grandes Modelos de Linguagem (LLMs) em ambientes interativos de longo horizonte. Embora agentes baseados em LLM demonstrem um forte raciocínio contextual recentemente, eles têm dificuldade com a interação sustentada, sofrendo principalmente de deriva de objetivo (objective drift). À medida que as interações se estendem por múltiplos turnos, os agentes frequentemente se desviam de seus objetivos originais devido ao acúmulo de pequenos erros de execução e ao desalinhamento de seu estado interno com a intenção inicial.

Além disso, as abordagens existentes frequentemente dependem de históricos de interação cada vez maiores para manter o contexto, levando à ineficiência de tokens. Embora a decomposição hierárquica (dividir tarefas em subobjetivos) tenha sido proposta para mitigar falhas de planejamento, os métodos atuais muitas vezes falham em garantir uma execução estável. Especificamente, o componente "executor" em muitos sistemas hierárquicos não é explicitamente treinado para corrigir erros cumulativos durante a interação, deixando o sistema vulnerável a loops, violações de restrições e degradação de desempenho conforme os horizontes das tarefas se alongam.

2. Metodologia: O Framework Multi2

Os autores propõem o Multi2, um framework de tomada de decisão multiagente hierárquico que desacopla explicitamente a decomposição de tarefas (planejamento) da execução de ações através da especialização de papéis. O framework opera em dois sistemas distintos:

• Sistema 1 (Agente de Alto Nível): Foca na geração de subobjetivos conscientes do contexto. Ele recebe uma descrição de tarefa e uma observação atual como entrada e gera um subobjetivo. Este sistema é treinado via Ajuste Fino Supervisionado (SFT) para garantir um planejamento semântico consistente e estruturado.
• Sistema 2 (Agente de Baixo Nível): Responsável por executar ações atômicas no ambiente dinâmico para atingir o subobjetivo fornecido pelo Sistema 1. Este sistema é treinado através de um pipeline de Aprendizado por Reforço Offline-para-Online (RL).

Pipeline de Treinamento

O processo de treinamento é dividido em três estágios para garantir estabilidade e melhoria contínua:

1. Treinamento Offline (Sistema 1): O Sistema 1 é ajustado via clonagem de comportamento (SFT) usando um conjunto de dados de alto nível ($D_{sys1}$) contendo descrições de tarefas e sequências de pares observação-subobjetivo. O objetivo é minimizar a perda de entropia cruzada para imitar subobjetivos especialistas.
2. Treinamento Offline (Sistema 2): O Sistema 2 é inicializado usando RL offline em um conjunto de dados de baixo nível ($D_{sys2}$) contendo transições (observação, ação, recompensa, próxima observação) condicionadas a subobjetivos. Os autores empregam uma estrutura actor-critic com um design de perda inovador:
   • Treinamento do Critic: Minimiza o erro de Diferença Temporal (TD) usando aprendizado de valor intra-distribuição (ID) para estabilizar o treinamento.
   • Treinamento do Actor: Utiliza um termo de vantagem ancorado na política. Isso combina a imitação de ações offline com um termo de vantagem ponderado que incentiva ações estimadas para gerar retornos mais altos, mitigando a imitação excessiva e comportamentos de template.
3. Treinamento Online (Autoaperfeiçoamento do Sistema 2): Para permitir a adaptação contínua, o Sistema 2 passa por um refinamento de RL online. Uma nova política ($\pi_{on}$) é atualizada usando um buffer de replay que mistura dados offline e novas trajetórias online. A função de perda inclui:
   • Um termo de log-verossimilhança ponderado que reforça ações de alta vantagem.
   • Um termo de regularização de Kullback-Leibler (KL) que restringe a política online para permanecer próxima à política treinada offline ($\pi_{off}$). Isso evita o colapso de modo e mudanças bruscas de política, garantindo um autoaperfeiçoamento estável.

Arquitetura

O Multi2 utiliza um backbone de LLM pré-treinado compartilhado (ex: Qwen-2.5, Mistral, Llama-3.1) com Adaptação de Baixo Posto (LoRA). Crucialmente, o Sistema 1 e o Sistema 2 utilizam adaptadores LoRA separados, permitindo a parametrização específica de cada papel sem atualizar o backbone completo.

3. Principais Contribuições

1. Framework Multi2: Um framework hierárquico especializado em papéis que desacopla o planejamento de subobjetivos (Sistema 1) e a execução de ações (Sistema 2) como problemas de otimização distintos, abordando a instabilidade da interação de longo horizonte.
2. Objetivo de RL Offline-para-Online Principado: Um pipeline de treinamento inovador para o executor (Sistema 2) que combina aprendizado offline ancorado na política com refinamento online regularizado por KL. Este design alinha-se explicitamente com o papel do executor para permitir um autoaperfeiçoamento estável e eficiente em termos de amostras.
3. Datasets de Benchmarking Hierárquicos: O lançamento de três conjuntos de dados hierárquicos bem estruturados para treinar e avaliar agentes de LLM interativos em múltiplos ambientes (ScienceWorld, ALFWorld, TextCraft), preenchendo uma lacuna na disponibilidade de dados hierárquicos consistentes.
4. Validação Empírica: Demonstração de que o Multi2 supera consistentemente as bases fortes em desempenho, eficiência de tokens e robustez à deriva de objetivo.

4. Resultados Experimentais

O framework foi avaliado no ScienceWorld, ALFWorld e TextCraft usando vários modelos de backbone (Qwen-2.5 3B, Mistral 7B, Llama-3.1 8B).

• Desempenho: O Multi2 alcançou as maiores taxas de sucesso na maioria dos backbones e divisões de avaliação (In-Distribution e Out-of-Distribution). Por exemplo, no split ID do ScienceWorld com Llama-3.1 8B, o Multi2 alcançou uma taxa de sucesso de 67,61% comparado a 60,48% para a base hierárquica Glider e 23,23% para o ReAct baseado em prompts.
• Robustez à Deriva de Objetivo: O Multi2 demonstrou desempenho superior em tarefas mais difíceis que exigem horizontes mais longos. Enquanto agentes baseados em prompts degradaram bruscamente com a dificuldade da tarefa, e outras bases ajustadas mostraram quedas de tarefas médias para difíceis, o Multi2 manteve um desempenho consistente, indicando mitigação eficaz da deriva de objetivo.
• Eficiência de Tokens: O Multi2 foi significativamente mais eficiente em tokens do que as bases. Ao usar invocação hierárquica sob demanda e geração de ação ajustada por RL, ele alcançou maior desempenho com menos tokens de inferência em comparação com métodos baseados em prompts que dependem de janelas de contexto longas e demonstrações de contexto (in-context).
• Estudos de Ablação:
  • Especialização de Papéis: Trocar os paradigmas de treinamento (treinar o Sistema 1 com RL e o Sistema 2 com SFT) resultou no pior desempenho, confirmando a necessidade de SFT para planejamento e RL para execução.
  • Arquitetura: A estrutura hierárquica com adaptadores específicos de papel superou as bases de modelo único e de adaptador compartilhado.
  • Design de Perda: O proposto termo de perda offline ancorado na política e a perda online regularizada por KL foram críticos para reduzir a variância e prevenir falhas de baixo desempenho em comparação com variantes vanilla de IQL ou AWAC.

5. Significância e Alegações

O artigo afirma que o Multi2 fornece uma solução confiável e eficiente para construir agentes baseados em LLM interativos capazes de resolver tarefas de longo horizonte. Sua significância reside em:

• Abordar Limitações Fundamentais: Vai além da simples decomposição hierárquica ao treinar explicitamente a camada de execução para corrigir erros cumulativos, uma lacuna identificada em trabalhos anteriores como o Glider.
• Estabilidade na Interação: A combinação de SFT para preservação de intenção e RL regularizado por KL para refinamento de execução oferece um mecanismo principado para coordenação estável ao longo de interações estendidas.
• Eficiência de Recursos: O framework alcança desempenho de estado da arte enquanto reduz o consumo de tokens, tornando-o mais prático para implantação no mundo real.
• Recurso para a Comunidade: Ao lançar datasets hierárquicos e código, os autores visam facilitar a adoção mais ampla e a comparação justa no desenvolvimento de tomada de decisão hierárquica para agentes de LLM.

Os autores posicionam este trabalho como um passo em direção a uma IA agêntica que pode manter a intenção e se adaptar efetivamente em ambientes dinâmicos, contribuando para algoritmos de aprendizado mais eficazes para sistemas interativos.