🤖 AI

Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization

Este artigo propõe um framework de otimização de Qualidade-Diversidade que descobre e mantém um arquivo diverso de políticas de planejamento multimodais, permitindo que agentes incorporados alternem estrategicamente de forma adaptativa ao detectar interrupções na execução para melhorar o sucesso e a eficiência em tarefas de longo prazo.

Autores originais: Pengfei Xu, Yong Liu, Xiaoya Nan, Qiang Yang, Peilan Xu

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pengfei Xu, Yong Liu, Xiaoya Nan, Qiang Yang, Peilan Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a navegar em uma casa gigante e bagunçada para encontrar itens específicos e levá-los a um amigo. Você dá ao robô um conjunto de instruções, como uma receita, dizendo a ele como olhar ao redor, decidir o que fazer a seguir e mover seus braços. Este é o mundo da IA incorporada (embodied AI), onde programas de computador não apenas pensam; eles agem dentro de um ambiente físico ou simulado. Geralmente, dependemos de Modelos de Linguagem de Grande Escala (LLMs) — cérebros de computador superinteligentes treinados em toneladas de texto — para atuar como o cérebro do robô. Esses modelos são ótimos para descobrir o que fazer a seguir com base no que veem e leem. No entanto, há um problema: se o robô ficar preso em um loop, como abrir uma porta que já está aberta ou andar em círculos, ele frequentemente continua fazendo exatamente a mesma coisa repetidamente, esperando por um resultado diferente. É como uma pessoa que, ao estar perdida, continua andando na mesma direção porque é a única maneira que conhece de se mover. A grande questão que os pesquisadores estão fazendo é: como ensinamos esses exploradores digitais a perceber quando sua estratégia atual não está funcionando e a tentar uma maneira completamente diferente de pensar?

Este artigo, intitulado "Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization", aborda exatamente esse problema. Os autores, uma equipe da Universidade de Informação e Tecnologia de Nanjing, sugerem que a solução não é tornar o plano único "melhor" do robô ainda mais inteligente. Em vez disso, eles propõem dar ao robô uma mochila cheia de diferentes estratégias para escolher. Eles usam um método chamado otimização de Qualidade-Diversidade (QD), que é como uma caça ao tesouro por muitos tipos diferentes de comportamentos bem-sucedidos, não apenas um comportamento perfeito.

Eis como o sistema deles funciona, usando uma analogia lúdica. Imagine que o robô é um trilheiro tentando atravessar uma cordilheira para entregar um pacote. A maioria dos robôs é treinada com um único estilo de caminhada: "Sempre caminhe morro acima e procure o caminho mais íngreme". Se o trilheiro encontrar um penhasco ou um pântano, ele pode continuar tentando escalar o penhasco ou atravessar o pântano, ficando preso e desperdiçando energia. Este artigo sugere que, em vez de um único estilo, devemos criar uma biblioteca de estilos de caminhada. Alguns trilheiros podem ser "exploradores" que verificam cada canto; outros podem ser "corredores diretos" que correm em direção ao objetivo; outros podem ser "escaladores cautelosos" que testam cada passo.

Os pesquisadores construíram um sistema de dois estágios para criar e usar essa biblioteca:

O Estágio Offline (A Criação da Biblioteca): Antes que o robô vá para uma missão real, o computador executa milhares de simulações. Ele pega uma "receita" básica de como o robô deve pensar e começa a misturar e combinar diferentes partes dela, como um cientista louco trocando ingredientes em uma receita de bolo. Algumas receitas fazem o robô ser muito comunicativo e cauteloso (alta "intensidade de interação"), enquanto outras o tornam muito focado e rápido (alta "orientação ao objetivo"). O computador testa todas essas receitas em um mundo simulado (especificamente, um ambiente 3D chamado ThreeDWorld). Ele não guarda apenas a única melhor receita; ele guarda a melhor receita para cada estilo diferente. Se uma receita "cautelosa" funciona bem em uma situação específica, ela é salva em um espaço especial na biblioteca. Se uma receita "rápida" funciona bem em outra, ela também é salva. Isso cria um arquivo diversificado de estratégias, cada uma marcada com a forma como se comporta.
O Estágio Online (A Missão Real): Agora, o robô vai em uma tarefa real. Ele escolhe uma estratégia da biblioteca e começa a se mover. O sistema possui um "detector de estagnação" integrado. Imagine um treinador observando o robô. Se o robô continuar fazendo a mesma coisa por 10 passos sem chegar mais perto do objetivo (como andar em círculos), o treinador grita: "Pare! Essa estratégia não está funcionando!" Em vez de deixar o robô continuar falhando, o sistema aperta um botão de rewind (um checkpoint) para voltar ao último momento seguro. Então, ele olha para a biblioteca e escolhe uma estratégia que seja completamente diferente daquela que acabou de falhar. Se o robô estava sendo cauteloso demais, o sistema pode mudar para um estilo de "corredor direto". Isso permite que o robô saia do loop e tente uma abordagem nova imediatamente.

Os resultados desta abordagem foram bastante promissores. Em testes onde o robô tinha que carregar objetos através de uma casa simulada, a equipe descobriu que seu método de "biblioteca" era muito melhor do que robôs usando apenas um estilo fixo ou outros métodos comuns como ReAct ou Tree-of-Thoughts. Especificamente, em uma tarefa chamada "Food" (mover itens de comida), o método deles teve sucesso 51% das vezes, comparado a 33% de uma linha de base padrão. Na tarefa "Stuff" (mover objetos gerais), eles atingiram 43% de sucesso contra 24% da linha de base. Ainda mais impressionante, eles alcançaram isso usando menos "tokens" (uma medida de quanto o computador teve que "pensar" e falar) do que alguns outros métodos avançados.

O artigo também testou essa ideia em um tipo diferente de tarefa: um jogo de navegação visual onde o robô tem que seguir instruções de voz para caminhar por uma casa. Embora o robô não estivesse carregando objetos lá, apenas caminhando, o mesmo truque da "biblioteca" ajudou a ter sucesso com mais frequência (melhorando de 35,2% para 37,3%). Isso sugere que a ideia de ter um conjunto diversificado de estratégias é uma forma geral de ajudar robôs a se recuperarem quando ficam presos.

Os autores observam cuidadosamente que não "resolveram" o problema da inteligência robótica para sempre. Em vez disso, seus experimentos sugerem que ter um conjunto diversificado de estratégias pré-definidas é uma maneira poderosa de lidar com a natureza bagunçada e imprevisível das tarefas do mundo real. Eles argumentam que a maior fraqueza nos robôs atuais não é que eles não sejam inteligentes o suficiente para pensar; é que eles são teimosos demais para mudar de ideia quando seu plano atual para de funcionar. Ao dar a eles uma "caixa de ferramentas" de diferentes maneiras de agir, o robô pode se adaptar sobre a hora, transformando um potencial fracasso em uma entrega bem-sucedida.

Resumo Técnico: Descoberta de Políticas de Planejamento Diversas para Agentes Incorporados Multimodais via Otimização de Qualidade-Diversidade

Definição do Problema
Agentes incorporados multimodais são cada vez mais incumbidos de resolver problemas de longo horizonte, integrando observações visuais, objetivos textuais e histórico de interação. Embora os Grandes Modelos de Linguagem (LLMs) e os Modelos de Linguagem Multimodais (MLLMs) demonstrem um forte raciocínio zero-shot, sua implementação em ambientes incorporados de malha fechada (closed-loop) enfrenta uma limitação crítica: o bloqueio comportamental (behavioral lock-in). Planejadores de estado da arte frequentemente dependem de um único estilo de planejamento dominante. Quando esse modo de execução específico torna-se ineficaz — manifestando-se como loops repetitivos ou falta de progresso apesar do feedback disponível — o agente tende a permanecer estagnado, interagindo repetidamente com o ambiente sem realizar avanços significativos. Métodos existentes, como ReAct, Tree-of-Thoughts e Reflexion, melhoram o raciocínio e a tomada de decisão guiada por feedback, mas tipicamente refinam a estratégia atual em vez de alternar explicitamente para uma alternativa comportamentalmente distinta quando o modo atual falha.

Metodologia
Os autores propõem um framework de Qualidade-Diversidade (QD) projetado para descobrir e utilizar um repertório diversificado de políticas de planejamento. O framework opera em duas etapas estreitamente acopladas:

Construção de Arquivo Offline (Busca QD):
- Parametrização de Política: As políticas de planejamento são tratadas como "templates" evoluíveis consistindo em um scaffold de tarefa fixo e módulos de regras editáveis que governam a sensação, interpretação de progresso, compromisso de ação e recuperação.
- Espaço Comportamental: As políticas são mapeadas em um espaço comportamental 2D definido por intensidade de interação (proporção de ações de coleta de informação) e direcionamento ao objetivo (razão de ações de progressão em relação às regressivas ou repetitivas).
- Otimização: Utilizando um algoritmo MAP-Elites de estado estacionário, o sistema evolui uma população de templates. Os descendentes são gerados via recombinação diferencial de regras e mutação guiada por experiência, onde padrões de sucesso reforçam estruturas de sentenças eficazes e modos de falha enfraquecem ou reescrevem estruturas ineficazes.
- Arquivo: As políticas resultantes são armazenadas em um arquivo indexado por comportamento, retendo a política de maior qualidade encontrada para cada nicho comportamental (célula da grade), garantindo um conjunto diversificado de estratégias complementares em vez de um único prompt otimizado.
Recuperação Adaptativa Online:
- Execução e Monitoramento: O agente executa uma política por vez. Um detector de estagnação (stall detector) monitora o estado de progresso da tarefa; se o estado permanecer inalterado por um limiar pré-definido ( $\delta_s$ ) de passos, uma estagnação é declarada.
- Checkpointing: O sistema mantém checkpoints recuperáveis (estado do ambiente, histórico, progresso) em marcos estáveis.
- Troca Consciente do Comportamento: Ao detectar uma estagnação, o agente retorna ao último checkpoint estável e alterna para uma nova política do arquivo. Crucialmente, a nova política é selecionada com base na distância comportamental: o sistema escolhe a entrada do arquivo mais distante da política estagnada atual no espaço de descritores comportamentais. Isso garante uma mudança substantiva no estilo de execução, em vez de uma variação menor.

Principais Contribuições

Identificação do Bloqueio Comportamental: O trabalho identifica a dependência de estilos de planejamento estáticos como uma fonte primária de fragilidade em tarefas multimodais de longo horizonte e formula a recuperação como um problema de adaptação de nível comportamental.
Descoberta de Políticas Baseada em Arquivo: Introduz um framework que utiliza busca QD para construir um arquivo explícito de templates de políticas de planejamento comportalmente diversas, evitando o colapso da busca em um único estilo de prompt.
Mecanismo Adaptativo Online: O artigo desenvolve um mecanismo de recuperação online combinando checkpointing, detecção de estagnação e troca de política consciente do comportamento, demonstrando que essa combinação melhora tanto a conclusão de tarefas quanto a eficiência de interação.

Resultados Experimentais
O framework foi avaliado no benchmark de transporte ThreeDWorld (TDW) (divisões Food e Stuff) e em um estudo piloto no benchmark VLN-CE (Navegação de Visão e Linguagem).

Performance TDW-MAT: Sob um orçamento rigoroso de 2000 passos, o método proposto (usando GPT-4) alcançou uma taxa de sucesso total de 0,47, superando significativamente o baseline forte RHP (0,28) e o framework modular CoELA (0,39). Também apresentou melhorias na eficiência de tokens em comparação ao CoELA.
Comparação com Baselines: O método superou baselines de planejamento direto por LLM como ReAct (0,24), Reflexion (0,27) e Tree-of-Thoughts (0,15).
Transferência Cross-Domain: No estudo piloto VLN-CE, adicionar o arquivo QD e o mecanismo de troca melhorou a taxa de sucesso de 35,2% para 37,3% e reduziu o erro de navegação, sugerindo que o mecanismo se transfere para domínios de navegação visual.
Estudos de Ablação: Remover a troca online ("no OS") reduziu o desempenho para 0,31, e remover a seleção de arquivo consciente do comportamento reduziu-o para 0,41, confirmando que tanto a capacidade de trocar quanto a estratégia para selecionar a nova política são essenciais.
Estudos de Caso: Visualizações mostraram que, sem QD, os agentes ficam presos em loops repetitivos de exploração. Com QD, os agentes conseguiram alternar para estratégias de "proximidade primeiro" (nearby-first), completando mais entregas dentro do mesmo orçamento de passos.

Significância e Alegações
O artigo argumenta que a robustez no planejamento incorporado de longo horizonte não provém de tornar uma única política cada vez mais elaborada, mas de preservar várias formas úteis de agir e selecionar entre elas quando o modo atual falha. Os autores afirmam que a descoberta de repertórios de políticas diversas via QD é um mecanismo eficaz para o planejamento multimodal adaptativo e para a recuperação de falhas online. Os resultados sugerem que a diversidade comportamental serve como um recurso prático de recuperação, permitindo que os agentes escapem de loops de interação improdutivos sem descartar o progresso alcançado. O trabalho posiciona a diversidade comportamental não apenas como um objetivo de busca offline, mas como um componente crítico para a resiliência online em ambientes multimodais.

Mais como este