Resumo Técnico: Generalizar e Guiar: Decompondo Recompensas para Aprendizado por Reforço Inverso de Poucos Exemplos (Few-Shot IRL)

1. Formulação do Problema: Few-Shot IRL com Demonstrações de Múltiplas Tarefas (FM-IRL)

O artigo aborda um gargalo crítico no Aprendizado por Reforço Inverso (IRL): a incapacidade dos métodos tradicionais de generalizar quando confrontados com variações substanciais intra-tarefa (ex: diferentes formatos de objetos, posicionamentos ou poses iniciais do robô) diante de um número limitado de demonstrações para uma tarefa específica.

Embora trabalhos anteriores tenham focado em Aprendizado de Imitação (IL) ou Meta-IRL, essas abordagens enfrentam limitações significativas em cenários práticos:

• Aprendizado de Imitação (IL): Métodos como Behavior Cloning (BC) lutam para generalizar além da distribuição de estados específica das poucas demonstrações disponíveis e não conseguem melhorar através da otimização de política online sem uma função de recompensa.
• Meta-IRL: Esses métodos normalmente exigem acesso a um ambiente de treinamento de múltiplas tarefas para meta-treinar uma função de recompensa ou variável de contexto, uma premissa muitas vezes impraticável na robótica do mundo real, onde recriar ambientes diversos é difícil.

Os autores introduzem um novo cenário de problema: Few-Shot IRL com Demonstrações de Múltiplas Tarefas (FM-IRL). Neste cenário, um agente deve aprender uma nova tarefa alvo com variações significativas utilizando:

1. Um pequeno número de demonstrações da tarefa alvo ($D_{target}$).
2. Um grande conjunto de dados de demonstrações de tarefas heterogêneas, porém relacionadas ($D_{multi}$).
3. Interação online com o ambiente da tarefa alvo ($D_{\pi}$).

Crucialmente, o agente não tem acesso aos ambientes de treinamento das múltiplas tarefas, apenas aos dados de demonstração provenientes deles. O objetivo é recuperar a distribuição do especialista da nova tarefa e fornecer orientação corretiva quando o agente se desvia dela.

2. Metodologia: Discriminador de Múltiplas Tarefas de Proximidade Guiada (MPG)

Para resolver o FM-IRL, os autores propõem o MPG, um framework que decompõe a função de recompensa em dois componentes complementares: um discriminador generalizável para reconhecimento de especialistas e uma função de proximidade para orientação de recuperação.

2.1 Discriminador de Múltiplas Tarefas (Generalização)

O primeiro componente é um discriminador condicionado à demonstração, $d_\phi(\tau, (s, a))$, projetado para transferir conhecimento estrutural compartilhado entre tarefas relacionadas.

• Arquitetura: Utiliza dois encoders separados para processar uma trajetória de demonstração $\tau$ e um par estado-ação $(s, a)$. Os embeddings são concatenados e passados por camadas totalmente conectadas para gerar a probabilidade de que $(s, a)$ seja consistente com o comportamento do especialista para a tarefa descrita por $\tau$.
• Objetivo de Treinamento: O discriminador é treinado usando uma perda de classificação binária em todas as demonstrações disponíveis ($D_{target} \cup D_{multi}$). Pares positivos consistem em tuplas estado-ação da mesma tarefa da demonstração; pares negativos consistem em tuplas de tarefas diferentes. Adicionalmente, amostras da política online são tratadas como pares negativos (objetivo adversarial) para evitar o overfitting aos dados do especialista.
• Função: Este componente aprende a identificar o comportamento do especialista na tarefa alvo ao alavancar a estrutura compartilhada encontrada no conjunto de dados de múltiplas tarefas, generalizando efetivamente a distribuição do especialista apesar das variações.

2.2 Função de Proximidade (Guia)

O segundo componente, $p_\theta(s)$, fornece recompensas densas e informativas em estados não-especialistas para guiar o agente de volta à distribuição do especialista.

• Conceito: Estima a distância temporal (passos mínimos) de um estado $s$ até a distribuição de estados do especialista.
• Objetivo de Aprendizado: Inspirado no aprendizado de quasimétrica, a função é otimizada para maximizar o valor de proximidade dos estados da política (afastando-os da distribuição do especialista em termos de valor, mas medindo efetivamente a distância) enquanto impõe consistência temporal.
• Restrições: O aprendizado é restringido pela desigualdade triangular: $p_\theta(s_t) \leq p_\theta(s_{t+1}) + \zeta$, onde $\zeta$ é o custo de um único passo de tempo. Estados especialistas são ancorados a uma proximidade de 0.
• Integração: Para enriquecer a distribuição do especialista da tarefa alvo, estados da política são rotulados como "especialista" se a confiança do discriminador de múltiplas tarefas exceder um limiar ($d(s, a) > c_{thresh}$).

2.3 Função de Recompensa Combinada

A função de recompensa final $\tilde{R}$ combina esses dois sinais:
$$\tilde{R}(s_t, a_t, s_{t+1}) = \underbrace{d(s_t, a_t)}_{\text{Sinal de Comportamento do Especialista}} + \lambda \underbrace{[p(s_t) - p(s_{t+1})]}_{\text{Melhoria de Proximidade}}$$
O discriminador fornece um sinal esparso para comportamentos consistentes com o especialista, enquanto o termo de proximidade fornece um gradiente denso para reduzir a distância até a distribuição do especialista. Esta recompensa combinada é usada para otimizar a política via Reinforcement Learning (PPO).

3. Principais Contribuições

1. Cenário de Problema: O artigo formaliza o cenário FM-IRL, abordando a subespecificação de tarefas com variações naturais onde ambientes de múltiplas tarefas não estão disponíveis, mas demonstrações de múltiplas tarefas estão acessíveis.
2. Algoritmo (MPG): A proposta de um framework de decomposição de recompensa que combina sinergicamente um discriminador de múltiplas tarefas (para generalização através de variações de tarefas) e uma função de proximidade (para orientação corretiva em estados não vistos).
3. Validação Empírica: O método é avaliado em diversas tarefas de navegação e manipulação (Maze2D, Block Stacking e FactorWorld) sob variações significativas.

4. Resultados Experimentais

Os autores avaliaram o MPG contra nove baselines, incluindo IRL tradicional (GAIL, MT-AIRL, PEMIRL), Aprendizado de Imitação (BC, SQIL, Transformer-BC) e outros métodos baseados em discriminador/proximidade (DVD, GoalPro).

• Desempenho: O MPG alcançou a maior taxa média de sucesso em 8 de 9 tarefas.
• Comparação: Superou o baseline mais forte por tarefa com uma média de 24,7 pontos percentuais na taxa de sucesso.
• Estudos de Ablação:
  • Remover o discriminador ou a função de proximidade individualmente degradou o desempenho, confirmando a necessidade de ambos os componentes.
  • Remover o conjunto de dados de múltiplas tarefas ("No Multi-task Data") resultou em desempenho comparável à ablação "Proximity Only", destacando a dependência do discriminador em relação aos dados de múltiplas tarefas para a generalização.
  • O método permaneceu robusto através de variações no número de demonstrações da tarefa alvo (5 a 25) e tarefas de múltiplas tarefas (2 a 8), embora o desempenho tenha saturado após um nível moderado de diversidade.
• Eficiência de Dados: O MPG teve um bom desempenho mesmo com demonstrações abundantes (200), embora a vantagem sobre os baselines tenha sido mais pronunciada no regime de poucos exemplos (few-shot).

5. Significância e Alegações

O artigo afirma que o MPG efetivamente preenche a lacuna entre supervisão limitada e a necessidade de aprendizado de política robusto em cenários do mundo real caracterizados por variações naturais. Ao decompor a recompensa em um identificador de especialista generalizável e um guia baseado em proximidade, o método permite que agentes "observem, pratiquem e dominem" novas tarefas com supervisão mínima, espelhando estratégias de aprendizado humano.

Os autores enfatizam que sua abordagem não requer a premissa impraticável de acesso a ambientes de treinamento de múltiplas tarefas, baseando-se em vez disso em conjuntos de dados de demonstração prontamente disponíveis. Os resultados sugerem que alavancar demonstrações de múltiplas tarefas heterogêneas é uma estratégia viável e poderosa para superar a ineficiência de amostra e as falhas de generalização dos métodos tradicionais de Few-Shot IRL e IL.

Limitações observadas pelos autores:

• O método requer um conjunto de dados de demonstração de múltiplas tarefas estruturado do mesmo domínio e agente.
• Embora eficiente em demonstrações, a fase de treinamento online continua sendo ávida por amostras (sample-hungry).
• A função de recompensa é treinada online e não pode ser diretamente reutilizada para treinar uma nova política do zero sem retreinamento.