Resumo Técnico: Otimização de Política Guiada por Traço (TGPO) para Planejamento de Tarefas Robóticas

1. Formulação do Problema

O artigo aborda o desafio do planejamento de tarefas robóticas de longo horizonte em ambientes do mundo real. A dificuldade central reside em mapear instruções de linguagem natural abstratas e subespecificadas em sequências de ações executáveis que satisfaçam restrições complexas ao longo de horizontes temporais estendidos.

As abordagens atuais enfrentam uma dicotomia:

• Modelos de Linguagem de Grande Escala (LLMs): Possuem forte raciocínio de senso comum, mas frequentemente falham em gerar planos confiáveis e viáveis devido à falta de modelagem explícita de restrições, ao acúmulo de erros na geração autorregressiva e à fraca fundamentação aos estados do ambiente.
• Planejadores Simbólicos: Garantem viabilidade e otimalidade, mas requerem objetivos simbólicos bem especificados (por exemplo, em Planning Domain Definition Language, PDDL) e não conseguem interpretar diretamente a intenção humana de alto nível.

Os autores formulam o problema como aprender a gerar subobjetivos verificáveis. Em vez de gerar um único objetivo holístico ou uma sequência direta de ações, o sistema aprende uma política $\pi_\theta$ que decompõe uma instrução $q$ e um estado do ambiente $S$ em uma sequência de subobjetivos PDDL intermediários $G = \{g_k\}$. Esses subobjetos são então resolvidos por um planejador simbólico clássico para produzir o plano de ação final. O objetivo de aprendizagem é maximizar uma função de recompensa baseada em viabilidade (subobjetos solucionáveis) e conclusão da tarefa (satisfazer a instrução).

2. Metodologia: Otimização de Política Guiada por Traço (TGPO)

Para enfrentar os desafios de recompensas esparsas, ruidosas e atrasadas inerentes a este problema de aprendizagem, os autores propõem a Otimização de Política Guiada por Traço (TGPO). Esta é uma estrutura de aprendizado por reforço (RL) construída sobre a Otimização de Política de Grupo Relativa (GRPO), mas aprimorada com sinais de aprendizagem estruturados derivados de traços de raciocínio intermediários.

A TGPO opera através de um mecanismo de três componentes:

A. Recompensas Fundamentadas em Verificador

O sistema utiliza um verificador para fornecer supervisão ao nível do resultado. A recompensa $R(T, G)$ é o produto de:

1. Viabilidade ($R_{feas}$): Uma verificação binária para determinar se todos os subobjetos gerados são solucionáveis pelo planejador PDDL.
2. Conclusão da Tarefa ($R_{comp}$): Uma pontuação (0 a 1) avaliando se o plano composto satisfaz a intenção do usuário, frequentemente avaliada via um protocolo de "LLM-como-juiz" ou objetivos de simulador.

B. Refinamento Guiado por Traço

Reconhecendo que recompensas escalares são insuficientes para a atribuição de crédito em tarefas de longo horizonte, a TGPO introduz um modelo auxiliar para corrigir o raciocínio intermediário.

1. Rollouts Livres: A política gera $N$ trajetórias candidatas (traços de decomposição $T$ e subobjetos $G$).
2. Correção de Traço: Trajetórias com baixas recompensas (abaixo de um limiar $\tau$) são identificadas. Um modelo auxiliar (o "Melhorador de Traço") revisa o traço de decomposição $T$ para corrigir erros como subtarefas ausentes, ordenação temporal incorreta ou fundamentação incompleta, produzindo um traço corrigido $\tilde{T}$.
3. Rollouts Restritos: A política realiza um segundo rollout condicionado ao traço corrigido $\tilde{T}$ para gerar os subobjetos correspondentes $\tilde{G}$. Isso é implementado via amostragem restrita ao nível de token, forçando os tokens do traço enquanto gera os subobjetos de forma autorregressiva.

C. Otimização de Política Restrita

O processo de otimização combina os rollouts livres originais e os rollouts corrigidos por traço em um grupo aumentado. A política é atualizada usando um objetivo com corte (clipped objective) semelhante ao GRPO, mas o cálculo do gradiente inclui tanto as trajetórias originais quanto as corrigidas. Isso permite que a política aprenda com as correções externas, transformando efetivamente recompensas esparsas em sinais de supervisão densos e estruturados.

3. Configuração Experimental e Benchmarks

A estrutura foi instanciada para manipulação móvel em ambientes domésticos de larga escala.

• Geração de Dados: Um conjunto de dados de larga escala foi construído utilizando o Habitat Synthetic Scene Dataset (HSSD). As tarefas foram sintetizadas usando LLMs condicionadas a diversos personas de usuários e grafos de cena, variando de comandos explícitos a descrições de intenção abstrata.
• Benchmarks: A avaliação foi conduzida em quatro benchmarks:
  1. Tarefas Sintéticas Intra-Distribuição: Categorizadas como Fáceis, Complexas (longo horizonte, pesadas em restrições) e Abstratas (intenção implícita).
  2. Tarefas Humanas: 50 instruções do mundo real coletadas via interface web.
  3. PARTNR: Um benchmark público para tarefas multi-agente incorporadas (embodied).
  4. BEHAVIOR-1K: Um benchmark para planejamento de tarefas domésticas e aprendizagem de habilidades.
• Baselines: As comparações incluíram planejadores baseados em prompting (SayPlan, DELTA, LLM+P, NL2Plan, LLMs vanilla) e métodos baseados em aprendizagem (SFT, GRPO, Reinforce++, e uma variante TGPO de ponta a ponta).

4. Resultados Principais

• Desempenho Superior: A TGPO superou significativamente todos os baselines em todos os benchmarks. Em tarefas intra-distribuição, as melhorias sobre o baseline de prompting mais forte aumentaram conforme a complexidade da tarefa: 67% em tarefas Fáceis, 131% em tarefas Complexas e 213% em tarefas Abstratas.
• Generalização: A TGPO demonstrou generalização robusta para ambientes fora da distribuição (PARTNR, BEHAVIOR-1K) e tarefas de autoria humana, alcançando taxas de sucesso de 82,6% e 70,3% respectivamente, com ganhos substanciais sobre os baselines.
• Estudos de Ablação:
  • TGPO vs. SFT: A otimização por RL proporcionou um teto de desempenho mais alto do que o ajuste fino supervisionado (SFT) isolado, particularmente para tarefas complexas e abstratas.
  • Correção de Traço: Remover o mecanismo de correção de traço (GRPO padrão) levou a uma rápida degradação do desempenho conforme a complexidade da tarefa aumentava, destacando a necessidade de orientação estruturada para a atribuição de crédito.
  • Subobjetivo vs. Ponta a Ponta: A abordagem baseada em subobjetos (TGPO) superou significativamente a variante de ponta a ponta (TGPO E2E), confirmando que separar a formulação do problema (geração de subobjetos) da execução (resolução simbólica) reduz a carga de aprendizagem e melhora a viabilidade.
• Robustez: O sistema manteve altas taxas de sucesso (62,3% em tarefas abstratas) mesmo sob dinâmica estocástica (10% de probabilidade de falha de ação) quando acoplado com busca em árvore de Monte Carlo (MCTS) online.
• Integração de Sistema: Em um pipeline robótico completo com executores de baixo nível, a TGPO permitiu generalização composicional, resolvendo novas tarefas recombinadas com uma taxa de conclusão de ponta a ponta de 26%, igualando o desempenho de políticas neurais holísticas em suas tarefas originais de treinamento, mas sem depender de demonstrações específicas.

5. Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Formulação de Subobjetos Baseada em Aprendizagem: Reenquadra o planejamento de longo horizonte como o aprendizado de uma política para gerar subobjetos verificáveis, indo além da decomposição estática baseada em prompting.
2. Otimização de Política Guiada por Traço: Introduz a TGPO, um algoritmo de RL que utiliza a correção de traço externa para otimizar a geração estruturada sob recompensas esparsas e ruidosas, resolvendo o problema de atribuição de crédito em etapas de raciocínio intermediárias.
3. Planejamento de Longo Horizonte Escalável: Demonstra que combinar a geração de subobjetos aprendida com planejadores simbólicos permite um planejamento robusto em ambientes complexos e de larga escala com instruções abstratas, superando significativamente os métodos existentes.

Os autores observam que, embora o método seja eficaz, ele atualmente depende de representações de cena estruturadas (grafos de cena) em vez de entradas visuais brutas e assume um domínio simbólico predefinido. Sugere-se que trabalhos futuros abordem a aprendizagem/adaptação de domínios e a integração da incerteza de percepção.