Resumo Técnico: ConTraIRL – Abstrações Contrastivas Fatorizadas para IRL Transferível

1. Definição do Problema

O Aprendizado por Reforço Inverso (IRL) visa recuperar a função de recompensa subjacente ao comportamento do especialista, permitindo que agentes aprendam habilidades complexas sem o design manual de recompensas. Um desafio crítico neste domínio é a generalização composicional: a capacidade de transferir uma recompensa aprendida para ambientes alvo onde o contexto é um pareamento inédito de dinâmicas ambientais ($d$) e objetivos de tarefa ($g$) previamente observados.

Os métodos padrão de IRL tipicamente modelam a recompensa como uma função monolítica do estado. Esta abordagem ent一次a características dependentes da dinâmica e dependentes do objetivo. Consequentemente, quando um agente é implantado em um ambiente alvo onde $d$ e $g$ são familiarmente conhecidos, mas sua combinação específica $(d_{tar}, g_{tar})$ nunca foi observada durante o treinamento, a recompensa aprendida é consultada sob um contexto fora da distribuição (out-of-distribution). Isso leva a uma recuperação de recompensa não confiável e uma generalização deficiente.

O artigo aborda isso estudando um cenário onde:

• O conjunto de dados de treinamento consiste em múltiplos ambientes onde cada fator ($d$ e $g$) aparece em vários contextos.
• Um subconjunto de pareamentos de fatores é mantido como contextos alvo.
• Nos contextos alvo, apenas um subconjunto fixo de estados de uma única trajetória de especialista está disponível (supervisão de poucos disparos/few-shot), em vez de demonstrações completas.

2. Metodologia: ConTraIRL

Os autores propõem o ConTraIRL (Abstrações Contrastivas para IRL Transferível), um framework projetado para permitir a transferência de recompensa composicional através do aprendizado de representações latentes desacopladas de dinâmicas e objetivos.

2.1 Abstrações Contrastivas Fatorizadas

O núcleo do framework é uma arquitetura de duplo codificador que mapeia observações em dois espaços latentes separados:

1. Espaço de Dinâmica ($Z_d$): Uma representação latente invariante ao objetivo $g$.
2. Espaço de Objetivo ($Z_g$): Uma representação latente invariante à dinâmica $d$.

Esta fatorização garante que a recompensa recuperada não codifique correlações espúrias induzidas pela distribuição conjunta de treinamento. Para alcançar isso, os autores impõem a Ortogonalidade de Fatores:

• $z_d = \Phi_d(s, d)$ deve ser invariante a $g$.
• $z_g = \Phi_g(s, g)$ deve ser invariante a $d$.

2.2 Alinhamento de Fase Temporal

Os autores argumentam que a fatorização isolada é insuficiente para tarefas de controle sequencial, pois os estados ao longo de uma trajetória representam diferentes estágios de execução. O ConTraIRL introduz o Alinhamento de Fase Temporal, exigindo que estados correspondentes a progressos relativos semelhantes dentro de um comportamento mapeiem para coordenadas latentes próximas entre trajetórias.

• Estados com a mesma dinâmica e fase semelhante permanecem próximos em $Z_d$, independentemente do objetivo.
• Estados com o mesmo objetivo e fase semelhante permanecem próximos em $Z_g$, independentemente da dinâmica.
• A fase $\psi(s)$ é definida como o passo temporal normalizado $t/T$.

2.3 Recuperação de Recompensa via Similaridade Latente

A função de recompensa recuperada $R(s, d, g)$ é definida como a média da similaridade entre a representação latente do estado atual e as abstrações do especialista condicionadas à fase:
$$R(s, d, g) = \frac{1}{2} \left( \text{sim}(\Phi_d(s, d), \bar{z}_d(\psi(s))) + \text{sim}(\Phi_g(s, g), \bar{z}_g(\psi(s))) \right)$$
Aqui, $\bar{z}_d(\cdot)$ e $\bar{z}_g(\cdot)$ são os centroides dos estados do especialista agrupados por sua fase temporal relativa. Esta formulação converte um pareamento fora da distribuição em uma recombinação in-distribution de fatores.

2.4 Objetivos de Treinamento

O framework emprega um objetivo contrastivo duplo:

1. Aprendizado de Estrutura do Especialista ($L_E$): Uma perda contrastiva baseada em margem aplicada a pares de especialistas para estruturar os manifolds latentes. Pares que compartilham o mesmo fator e fase semelhante são tratados como positivos; outros são negativos. Isso molda os manifolds do especialista independentemente do aprendiz.
2. Calibração Contraste Especialista-Aprendiz ($L_L$): Um objetivo de contraste de ruído que calibra a recompensa distinguindo entre estados do especialista ($x_E$) e estados do aprendiz ($x_L$). Isso minimiza efetivamente a divergência de Jensen–Shannon entre as ocupações de estado do especialista e do aprendiz.

O objetivo total é $L_{total} = L_E - L_L$.

2.5 Detalhes de Implementação

• Codificador Modulado por Contexto: Em vez de uma simples concatenação, o framework utiliza uma camada de entrada inspirada em redes hiper-redes (hypernetworks), onde o descritor de contexto ($d$ ou $g$) gera matrizes de pesos e vetores de viés específicos para transformar o estado. Isso influencia dinamicamente a extração de características, incentivando o isolamento da estrutura relevante ao fator precocemente na rede.
• Buffer de Abstração do Especialista: Um buffer mantém os centroides do especialista condicionados à fase, que são atualizados após cada atualização do codificador para garantir consistência com o manifold latente em evolução.

3. Principais Contribuições

• Representação Fatorizada: A proposta de uma arquitetura de duplo codificador que desentranha explicitamente dinâmicas e objetivos em espaços latentes ortogonais, evitando o emaranhamento de características que afeta modelos de IRL monolíticos.
• Alinhamento de Fase Temporal: A integração da fase temporal relativa ao critério de alinhamento latente, fornecendo orientação densa para a recuperação de recompensa em tarefas sequenciais, em vez de depender apenas de correspondência de estados esparsos.
• Transferência Composicional com Supervisão de Poucos Disparos (Few-Shot): Um framework capaz de recuperar recompensas para pareamentos inéditos de dinâmica-objetivo usando apenas um subconjunto parcial de estados do especialista no ambiente alvo.
• Aprendizado de Estrutura do Especialista: Um objetivo explícito para moldar os manifolds do especialista independentemente da distribuição do aprendiz, fornecendo uma referência estacionária para a recuperação da recompensa.

4. Resultados Experimentais

Os autores avaliaram o ConTraIRL em quatro benchmarks de controle contínuo MuJoCo (Ant, HalfCheetah, Walker, Swimmer) com variações composicionais em dinâmicas e objetivos.

• Desempenho em Pareamentos Inéditos: O ConTraIRL superou consistentemente os baselines (TraIRL, C-AIRL e SFM) em contextos alvo. Por exemplo, no ambiente Ant, o ConTraIRL alcançou um retorno normalizado de 0.93 ± 0.02, comparado a 0.88 para o SFM e 0.57 para o TraIRL.
• Robustez à Escassez de Dados: Em estudos de ablação onde o número de estados do especialista alvo foi reduzido (de 20% para 5%), os métodos baseline sofreram quedas catastróficas de desempenho (ex: TraIRL caiu para 0.05), enquanto o ConTraIRL manteve um desempenho significativamente superior (0.27 com 5% de estados), demonstrando uma transferência eficaz de poucos disparos.
• Análise de Ablação:
  • Remover a fatorização ("w/o F") causou uma queda severa no desempenho, confirmando a necessidade de representações desentranhadas.
  • Remover o alinhamento de fase temporal ("w/o TA") reduziu o desempenho, indicando que o alinhamento de fase fornece orientação densa essencial além da simples fatorização.
• Robustez a Ruído de Rótulo: O ConTraIRL demonstrou maior robustez a rótulos de fatores ruidosos em comparação aos baselines, atribuído à dependência de restrições de similaridade relativa em vez de predição supervisionada direta.
• Visualização do Espaço Latente: Visualizações UMAP confirmaram que as abstrações aprendidas separaram com sucesso as amostras por seu respectivo fator (dinâmica ou objetivo) enquanto permaneciam invariantes ao outro, e que a fase temporal foi preservada como um gradiente suave dentro dos clusters.

5. Significância e Alegações

O artigo afirma que o ConTraIRL aborda uma limitação fundamental na transferência de IRL: a incapacidade de generalizar para combinações inéditas de fatores contextuais conhecidos. Ao fatorar o contexto em componentes ortogonais de dinâmica e objetivo e alinhá-los temporalmente, o framework permite a generalização composicional.

Os autores enfatizam que sua abordagem permite uma recuperação de recompensa confiável em ambientes alvo onde o pareamento específico de dinâmica-objetivo estava ausente durante o treinamento, desde que os fatores individuais tenham sido observados. A recompensa aprendida mostra-se capaz de acompanhar de perto o desempenho real da tarefa, servindo como um proxy confiável para a otimização de políticas mesmo quando as recompensas de verdade fundamental (ground-truth) não estão disponíveis.

O trabalho é moderadamente delimitado à transferência composicional através de fatores contextuais conhecidos com supervisão alvo limitada. Os autores explicitamente observam que a formulação atual assume o acesso a rótulos de fatores e fases temporais comparáveis, e identificam a extensão da abordagem para cenários com fatores latentes, comportamentos de comprimento variável e transferência totalmente zero-shot (zero-shot transfer) como direções importantes para trabalhos futuros.