Modernising Reinforcement Learning-Based Navigation for Embodied Semantic Scene Graph Generation

Título: Modernização da Navegação Baseada em Aprendizado por Reforço para Geração de Grafos de Cena Semântica Corporificada (ESSG)

1. Problema e Contexto

O artigo aborda o desafio de criar modelos de mundo semânticos robustos para agentes corporificados (embodied agents) em ambientes desconhecidos e dinâmicos. No contexto da Computação Orgânica (OC), esses modelos são essenciais para a auto-otimização e adaptação sob incerteza.

• Objetivo Principal: A construção de Grafos de Cena Semântica (SSGs) que representem objetos, atributos e relações espaciais de forma estruturada e compacta.
• Desafio Específico (ESSG): O agente deve explorar um ambiente com um orçamento de ações limitado (número fixo de passos) para maximizar a completude do grafo semântico.
• Limitações do Estado da Arte: A abordagem pioneira de Li et al. [13] utiliza Aprendizado por Reforço (RL) com o algoritmo REINFORCE. Isso apresenta duas limitações críticas:
  1. Instabilidade de Aprendizado: O REINFORCE frequentemente leva a comportamentos de aprendizado instáveis e degenerados.
  2. Espaço de Ações Restrito: A discretização das ações é muito limitada (apenas 16 ações), o que reduz a eficiência da exploração em ambientes complexos.
  3. Falta de Adaptabilidade: A navegação não é tratada como um componente explicitamente otimizável que se adapta a diferentes sinais de utilidade.

2. Metodologia

Os autores propõem uma modernização modular do componente de navegação, isolando-o como um sistema de auto-otimização sob um orçamento fixo de ações. A abordagem envolve as seguintes inovações:

• Algoritmo de Otimização: Substituição do REINFORCE pelo PPO (Proximal Policy Optimization), conhecido por maior estabilidade e escalabilidade em tarefas de navegação complexas.
• Design do Espaço de Ações:
  • Ações Atômicas (Single-Head - SH): O agente escolhe uma ação indivisível de um conjunto discreto. Foram testados dois conjuntos: um compacto (16 ações: 8 rotações × 2 comprimentos) e um expandido (504 ações: 24 rotações × 21 comprimentos).
  • Ações Fatorizadas (Multi-Head - MH): A política é decomposta em três cabeças independentes que escolhem separadamente: ângulo de rotação, comprimento do passo e decisão de parar (Stop). Isso permite um controle mais fino e reutilização de componentes de movimento aprendidos.
• Representação de Estado Multimodal: O estado do agente combina:
  • Visão egocêntrica (RGB e opcionalmente mapa de profundidade).
  • Histórico de ações recentes.
  • Duas representações de grafo: LSSG (Grafo Semântico Local, baseado na visão atual) e GSSG (Grafo Semântico Global, agregado ao longo do episódio).
  • Detecção de estagnação (para evitar revisitas improdutivas).
• Função de Recompensa (Reward Shaping): Uma função densa que equilibra a completude do grafo (Node Recall), diversidade de pontos de vista, penalidades por colisões e recompensas por descoberta de novos objetos. Inclui uma penalidade temporal para incentivar a eficiência.
• Técnicas Adicionais:
  • Aprendizado por Currículo (Curriculum Learning - CL): Expansão gradual do espaço de ações (de 16 para 504) para facilitar o treinamento.
  • Supervisão Auxilar: Uso de mapas de profundidade e uma cabeça auxiliar para prever colisões, fornecendo sinalização densa para segurança.

3. Contribuições Principais

1. Modernização do Otimizador: Demonstração de que a troca do REINFORCE pelo PPO, mantendo a mesma forma de recompensa, melhora significativamente a completude do SSG e a estabilidade do aprendizado.
2. Análise de Granularidade de Ações: Caracterização de como a resolução do espaço de ações (compacto vs. expandido) e a fatorização (atômico vs. multi-head) afetam a eficiência da exploração e a segurança.
3. Superioridade do Controle Fatorizado: Evidência de que políticas fatorizadas (MH) em espaços de alta resolução oferecem melhor comportamento de otimização e diagnósticos de segurança em comparação com ações atômicas equivalentes, mantendo ou superando a completude.
4. Impacto do Currículo e Profundidade: Análise de como o aprendizado por currículo e a entrada de profundidade afetam a segurança de execução e a dinâmica de aprendizado em diferentes regimes de ação.

4. Resultados Experimentais

Os experimentos foram realizados no simulador AI2-THOR em plantas baixas (FloorPlans) de treinamento e teste.

• Desempenho do Algoritmo: A substituição por PPO resultou em uma melhoria de 21% na completude do SSG (Node Recall) em relação à linha de base (REINFORCE) sob a mesma recompensa. O REINFORCE permaneceu preso em comportamentos degenerados (rotação no lugar, poucas traduções).
• Espaço de Ações e Fatorização:
  • O aumento da resolução das ações (504 ações) permitiu maior completude, mas dificultou o aprendizado em configurações atômicas (SH), levando a taxas de colisão mais altas e convergência lenta.
  • A configuração Multi-Head (MH) com 504 ações alcançou a melhor completude e eficiência, com trajetórias mais distribuídas espacialmente e maior taxa de sucesso de movimento (Move Success Rate) do que a configuração atômica de alta resolução.
• Segurança e Profundidade:
  • A entrada de profundidade melhorou significativamente a segurança (redução de colisões) no regime de ações compactas, mas teve impacto marginal no regime de alta resolução (MH).
  • O Aprendizado por Currículo (CL) não aumentou a completude final, mas melhorou a segurança de execução (Move Success Rate) durante o treinamento e na convergência, atuando como um mecanismo de segurança.
• Comportamento de Navegação: Agentes com PPO e MH tendem a realizar trajetórias mais longas e com mais mudanças de direção, cobrindo melhor a área acessível, enquanto o REINFORCE tendia a movimentos locais curtos.

5. Significado e Implicações

• Para a Computação Orgânica (OC): O trabalho valida que a navegação pode ser tratada como um componente de auto-otimização que se adapta para maximizar a utilidade do modelo de mundo. Isso é fundamental para habilitar propriedades "Self-X" (autoconfiguração, auto-cura) em sistemas autônomos.
• Para a Robótica e IA Corporificada: A combinação de PPO com um espaço de ações fatorizado de alta resolução (Multi-Head) surge como a configuração mais robusta, oferecendo o melhor equilíbrio entre estabilidade de otimização, eficiência de travessia e completude semântica.
• Escalabilidade: Embora os resultados sejam "melhor caso" (usando metadados perfeitos do simulador), a metodologia fornece a base para pipelines de ponta a ponta com percepção realista e ruído de detecção.

Em resumo, o artigo demonstra que a modernização dos algoritmos de RL e o redesenho da parametrização das ações são passos críticos para superar as limitações de escalabilidade e estabilidade na geração de modelos de mundo semânticos por agentes autônomos.