Ego-Foresight: Self-supervised Learning of Agent-Aware Representations for Improved RL

1. Problema e Motivação

O Deep Reinforcement Learning (RL) tem avançado significativamente, mas ainda sofre de uma ineficiência amostral crítica: a necessidade de grandes quantidades de dados de treinamento para aprender políticas eficazes, tanto em simulação quanto no mundo real.

• Limitação das abordagens atuais: Métodos existentes que tentam melhorar a eficiência modelando separadamente o agente e o ambiente geralmente dependem de sinais de supervisão (como máscaras de segmentação do robô obtidas via IDs geométricos, modelos CAD ou redes de segmentação finamente ajustadas). Isso limita a aplicabilidade em cenários do mundo real, onde tais sinais são difíceis de obter e onde a morfologia do agente pode mudar (ex.: uso de ferramentas).
• Inspiração Biológica: Humanos aprendem novas habilidades com poucos exemplos e sem supervisão explícita, baseando-se na previsão motora (a capacidade de prever as consequências sensoriais dos próprios comandos motores). O cérebro suprime sensações auto-geradas para aumentar a saliência de estímulos externos.
• Questão Central: É possível criar sistemas artificiais que desenvolvam uma "consciência de si mesmo" (agent-awareness) de forma não supervisionada, utilizando o movimento do agente como pista para distinguir o que é parte do corpo do agente do que é parte do ambiente?

2. Metodologia: Ego-Foresight (EF)

O artigo propõe o Ego-Foresight (EF), um método de aprendizado auto-supervisionado para desentrelaçar (disentangle) informações do agente das informações do ambiente.

Arquitetura e Funcionamento

O sistema utiliza um modelo encoder-decoder com um bloco recorrente:

1. Entrada: O encoder recebe um conjunto de quadros RGB de contexto ($x_{t_0:t_c}$) e produz uma representação de características $h$.
2. Desentrelaçamento: O vetor de características $h$ é dividido em duas partes:
   • $h_s$: Características da cena (ambiente), que contêm informações estáticas ou dinâmicas externas.
   • $h_a$: Características do agente, que devem conter apenas informações sobre a configuração do corpo do agente.
3. Previsão Recorrente: O bloco recorrente recebe $h_a$ atual e a sequência de ações planejadas ($a_{t_{c+1}}$) para prever as futuras características do agente ($\hat{h}_a$).
4. Reconstrução: O decoder reconstrói o quadro futuro ($\hat{x}_{t_k}$) combinando as características da cena ($h_s$, "avançadas" no tempo sem mudança) com as características preditas do agente ($\hat{h}_a$).
5. Função de Perda: O objetivo é minimizar o erro de reconstrução entre o quadro futuro real e o predito ($L_{ef}$).

Mecanismos Chave

• Gargalo (Bottleneck): A dimensão das características do agente ($l$) é intencionalmente pequena em relação à dimensão total ($n$). Isso força o modelo a focar apenas nas dinâmicas mais previsíveis (o próprio agente), ignorando objetos externos imprevisíveis.
• Treinamento Híbrido: O EF é integrado como uma tarefa auxiliar em algoritmos de RL. A perda total é uma soma ponderada da perda do algoritmo de RL (ex.: critic loss) e a perda de reconstrução do EF.
• Motor Babbling: Para evitar que o agente aprenda apenas movimentos orientados a recompensa (que podem ser limitados), introduz-se uma fase inicial de "motor babbling" (movimentos aleatórios), forçando a exploração de diversas configurações corporais para aprender o mapeamento visuomotor.

3. Contribuições Principais

1. Método Auto-Supervisionado: Propõe uma nova abordagem para desentrelaçar informações do agente sem a necessidade de máscaras supervisionadas ou modelos CAD, baseando-se apenas na previsibilidade do movimento.
2. Adaptabilidade a Mudanças Corporais: Demonstra que o método consegue adaptar-se a mudanças no "esquema corporal" do agente, como a incorporação de ferramentas (ex.: um martelo segurado pelo robô torna-se parte previsível do agente).
3. Integração com RL de Estado da Arte: Estende dois algoritmos líderes, DrQ-v2 (RL sem modelo) e TD-MPC2 (RL baseado em modelo), criando as variantes DrQv2-EF e TD-MPC2-EF.
4. Estudo de Ablação: Analisa o impacto de hiperparâmetros como o peso da perda auxiliar ($\beta$), o horizonte de previsão e a dimensionalidade das características do agente.

4. Resultados Experimentais

Os experimentos foram realizados nos benchmarks Meta-World e DMC (DeepMind Control Suite), utilizando o simulador MuJoCo.

• Desentrelaçamento de Características: Visualizações mostram que, com o treinamento, as características do agente ($h_a$) especializam-se em prever o movimento do robô e de ferramentas seguras, enquanto as características da cena ($h_s$) capturam o fundo e objetos estáticos. O modelo consegue prever corretamente o movimento de um martelo após ser agarrado, tratando-o como parte do corpo.
• Eficiência Amostral e Desempenho:
  • A adição do EF melhorou a eficiência amostral (número de passos para atingir a performance) e a performance assintótica em 21 de 26 tarefas testadas com o DrQ-v2.
  • O método superou ou foi competitivo com métodos supervisionados (SEAR) e outros métodos auto-supervisionados (CURL, Dreamer-v3).
  • Tarefas com Ferramentas: A melhoria foi particularmente notável em tarefas que exigem o uso de ferramentas, onde a capacidade de integrar dinamicamente novos objetos ao esquema corporal do agente foi crucial.
  • TD-MPC2: O método também trouxe melhorias significativas para o algoritmo baseado em modelo, demonstrando generalidade arquitetural.
• Métrica ENS: O Efficiency Normalized Score (ENS) mostrou que os algoritmos com EF atingem altos níveis de desempenho com menos passos de treinamento em comparação às baselines.

5. Significado e Conclusão

O trabalho demonstra que a previsão motora auto-supervisionada é uma ferramenta poderosa para melhorar o aprendizado por reforço visual.

• Impacto no RL: Ao desentrelaçar o agente do ambiente, o algoritmo de RL pode focar sua capacidade de aprendizado no controle do agente nas fases iniciais, e apenas posteriormente nas interações complexas com o ambiente. Além disso, a previsibilidade impõe uma regularização que estabiliza o aprendizado.
• Aplicabilidade Real: Ao remover a dependência de supervisão externa (máscaras), o método abre caminho para a aplicação de RL em cenários do mundo real onde a segmentação precisa é inviável e onde o robô deve adaptar-se a novas ferramentas dinamicamente.
• Limitações e Futuro: O método ainda requer reconstrução de pixels (o que pode ser custoso e modelar informações irrelevantes) e possui um custo computacional adicional. Trabalhos futuros visam substituir a reconstrução por perdas contrastivas, tornar o "babbling" adaptativo e escalar para imagens de alta resolução e ambientes reais.

Em resumo, o Ego-Foresight oferece um mecanismo biologicamente inspirado para que agentes artificiais aprendam a distinguir "eu" de "mundo" apenas observando as consequências de seus próprios movimentos, resultando em agentes mais eficientes e adaptáveis.