Optimizing Neurorobot Policy under Limited Demonstration Data through Preference Regret

1. O Problema

O aprendizado por reforço a partir de demonstrações (RLfD - Reinforcement Learning from Demonstrations) em robótica enfrenta dois desafios principais:

• Escassez de Dados: A suposição de que dados de especialistas são abundantes é irrealista no mundo real devido aos altos custos de coleta e à limitação de tempo.
• Erros Cascata (Cascading Errors): Algoritmos de Aprendizado por Imitação (IL) e Clonagem de Comportamento (BC) tratam os dados como independentes e identicamente distribuídos (i.i.d.). Isso leva a um acúmulo gradual de erros durante a execução em tempo real, fazendo com que o robô se desvie das trajetórias demonstradas, resultando em falha da política (policy collapse).

A maioria das abordagens atuais não lida bem com cenários de aprendizado online com um número muito limitado de demonstrações (ex: apenas 5 episódios), onde o robô precisa interagir com o ambiente em tempo real.

2. Metodologia: O Framework MYOE

Os autores propõem o framework "Master Your Own Expertise" (MYOE), que combina aprendizado por reforço baseado em modelos, inferência ativa (AIF) e um novo mecanismo de otimização baseado em "arrependimento de preferência".

A. Modelo de Espaço de Estados Misto de Preferências Consultável (QMoP-SSM)

Inspira-se na inferência ativa e na teoria do livre-energia para criar um modelo generativo do mundo que prevê não apenas estados futuros, mas também preferências (trajetórias desejadas).

• Dualidade de Aprendizado: O modelo separa o aprendizado latente em dois processos paralelos:
  1. Representação: Aprende a inferir o estado do mundo a partir de observações.
  2. Preferência: Aprende a prever trajetórias futuras desejadas (objetivos) baseadas em demonstrações ou objetivos aprendidos.
• Mistura de Preferências: Para evitar o colapso de modo (quando o modelo aprende apenas uma única trajetória rígida), o QMoP-SSM utiliza uma mistura de distribuições estocásticas. Isso permite que o agente explore múltiplas trajetórias viáveis para atingir o mesmo objetivo, aumentando a entropia e a exploração.
• Objetivo de Aprendizado: Minimiza a energia livre, alinhando a distribuição posterior de preferências com a distribuição de estados de representação bem-sucedidos.

B. Aprendizado Comportamental por "Arrependimento de Preferência" (Preference Regret)

Esta é a contribuição central para a otimização da política. Em vez de apenas imitar o especialista, o agente minimiza o "arrependimento de preferência".

• Definição: O arrependimento é a diferença entre a recompensa estimada pela trajetória de preferência ideal e a recompensa real obtida pela trajetória atual.
• Mecanismo de Recompensa Intrínseca:
  • Se a trajetória atual se desvia da preferência (e a preferência é ótima), o agente recebe uma penalidade (arrependimento negativo), incentivando-o a voltar ao caminho correto.
  • Crucialmente: Se a demonstração do especialista for subótima (ex: um movimento desnecessário), a "preferência" pode prever uma recompensa menor do que a ação real do agente. Nesse caso, o arrependimento torna-se positivo, incentivando o agente a ignorar a demonstração ruim e buscar a recompensa ambiental máxima.
• Integração: O agente utiliza estimativas de vantagem (GAE-λ) e gradientes de política para maximizar a recompensa total, que inclui a recompensa extrínseca, o arrependimento de preferência e uma recompensa de entropia (curiosidade).

3. Principais Contribuições

1. Framework MYOE: Uma nova abordagem de auto-imitação que permite a robôs aprenderem comportamentos complexos a partir de poucos dados de demonstração, mitigando erros cascata.
2. QMoP-SSM: Um modelo de espaço de estados que prevê trajetórias de preferência futuras, guiando a política para estados desejados sem depender rigidamente dos dados brutos de demonstração.
3. Arrependimento de Preferência: Um novo termo de recompensa intrínseca que equilibra a imitação do especialista com a otimização da recompensa final, permitindo que o agente corrija demonstrações subótimas.
4. Validação Empírica: Resultados robustos em simulação e no mundo real, superando o estado da arte.

4. Resultados Experimentais

Os experimentos foram realizados em ambientes simulados (Franka Kitchen, Meta-World, Robosuite) e em robôs reais (7bot e PX100).

• Desempenho em Simulação: O MYOE superou consistentemente baselines de ponta, incluindo:
  • Model-free: PPO-BC, LAIfO (Aprendizado Adversarial).
  • Model-based: DreamerV3 com BC (Drm-BC).
  • Sistemas de Imitação Auto-supervisionada: MBC, MBC-VAE, MBC-RNN.
  • O MYOE alcançou taxas de sucesso superiores em tarefas com recompensas esparsas e ruído, onde os baselines frequentemente falhavam (sucesso de 0% em várias tarefas).
• Aprendizado Online no Mundo Real: Em testes com robôs físicos (7bot e PX100) com apenas 5 episódios de demonstração e treinamento limitado (125 episódios):
  • O MYOE demonstrou convergência mais rápida e maior robustez.
  • Superou todos os baselines em tarefas como "Reach" (alcançar) e "Block Picking" (pegar bloco), validando a eficácia da otimização por arrependimento de preferência em cenários com recursos limitados e presença de erros cascata.
• Análise de Convergência: O gráfico de recompensa cumulativa mostra que o MYOE converge mais rápido e atinge recompensas mais altas, especialmente em tarefas onde as demonstrações iniciais não eram perfeitas.

5. Significado e Conclusão

O trabalho demonstra que é possível superar as limitações da clonagem de comportamento tradicional (que sofre com erros cascata e dependência de dados abundantes) através de uma abordagem baseada em inferência ativa e modelos generativos.

A introdução do arrependimento de preferência é um avanço significativo, pois permite que o agente robótico tenha "senso crítico" sobre as demonstrações recebidas: ele aprende a seguir o especialista quando este é bom, mas tem a autonomia de buscar soluções melhores quando o especialista é subótimo. Isso torna o aprendizado por reforço mais viável para aplicações reais de neurorobótica, onde a coleta de dados é cara e o tempo de treinamento é limitado.

Limitações Futuras: O artigo reconhece que tarefas extremamente complexas com objetos pequenos (ex: "M Soccer") ainda apresentam desafios devido à dificuldade de extrair dependências temporais de observações visuais, sugerindo o uso de modelos autoregressivos mais avançados (como filtros de Kalman profundos) para futuras melhorias.