Resumo Técnico: Quando as Dinâmicas Mudam, a Inferência Robusta de Tarefas Prevalece

Declaração do Problema

Os Modelos Fundamentais de Comportamento (BFMs) emergiram como uma solução escalável para a aprendizagem por imitação (IL), permitindo que agentes se adaptem rapidamente a novas tarefas ao pré-treinar representações agnósticas a tarefas em dados offline diversos. No entanto, os BFMs padrão operam sob uma suposição crítica: de que as dinâmicas do ambiente durante o pré-treinamento e a implantação são idênticas. Em cenários do mundo real, essa suposição é frequentemente violada devido a discrepâncias simulação-real, desgaste mecânico, ruído de sensores e variações ambientais (por exemplo, mudanças no atrito, limites de atuação ou gravidade).

Os remédios existentes para essa fragilidade, como codificadores de crença condicionados às dinâmicas ou arquiteturas aumentadas por memória, geralmente exigem dados de pré-treinamento que abranjam uma ampla variedade de regimes dinâmicos. Esse requisito é frequentemente caro, demorado e inviável em configurações práticas onde apenas dados offline de um único ambiente nominal estão disponíveis. A questão central abordada por este trabalho é: É possível tornar os BFMs robustos a mudanças nas dinâmicas do ambiente quando apenas dados offline de um único ambiente nominal estão disponíveis?

Metodologia

Os autores propõem um framework que transfere o ônus da robustez da fase de pré-treinamento para a fase de inferência de tarefas. Em vez de modificar o BFM pré-treinado ou exigir dados de pré-treinamento com múltiplas dinâmicas, eles formulam o problema de inferência de tarefas como uma otimização minimax robusta sobre um conjunto de incerteza de dinâmicas do ambiente.

A abordagem central envolve aprender uma incorporação latente de tarefa $z$ que minimiza a perda de imitação contra um adversário. O adversário, por sua vez, seleciona um modelo de transição dentro de um conjunto de incerteza especificado (definido por uma bola de divergência de variação total ou $f$-divergência ao redor das dinâmicas nominais) que maximiza essa perda. Isso resulta em uma incorporação de tarefa que "protege" contra mudanças de dinâmicas plausíveis sem alterar o procedimento de pré-treinamento.

Dois algoritmos específicos são introduzidos para equilibrar eficiência computacional e robustez:

1. RBFM-Light: Esta variante relaxa as perturbações de dinâmicas em um conjunto de incerteza de ocupação de estados. Ao caracterizar a sensibilidade da medida de ocupação de estados descontada a perturbações do kernel de transição, os autores derivam um objetivo offline tratável. Essa abordagem introduz um único parâmetro de robustez otimizado conjuntamente com a incorporação de tarefa $z$, alcançando robustez com sobrecarga computacional mínima.
2. RBFM-Heavy: Esta variante impõe robustez através de restrições de fluxo de Bellman explícitas. Ela garante que as medidas de ocupação perturbadas correspondam a distribuições estacionárias válidas induzidas pela política do especialista sob a estrutura subjacente do MDP. Ao incorporar restrições de realizabilidade e utilizar divergência $f$ (especificamente um gerador SoftTV suave), este método evita soluções excessivamente conservadoras que poderiam surgir de perturbações de ocupação sem restrições. Ele resolve um problema de otimização de dois níveis envolvendo a estimação de variáveis duais (multiplicadores de Lagrange) e o vetor de tarefa $z$.

Ambos os métodos dependem exclusivamente de dados offline do ambiente nominal para pré-treinamento e de um pequeno conjunto de demonstrações de especialistas para inferência de tarefas. Nenhum dado de especialista de ambientes perturbados é necessário em qualquer estágio.

Contribuições Principais

1. Formulação Robusta: O artigo propõe uma formulação robusta da inferência de tarefas de BFM via otimização minimax sobre um conjunto de incerteza de dinâmicas do ambiente. Isso permite robustez a mudanças de dinâmicas sem qualquer modificação no processo de pré-treinamento do BFM.
2. Variantes Algorítmicas: Os autores introduzem RBFM-Light e RBFM-Heavy, dois algoritmos que oferecem um compromisso entre eficiência computacional e robustez, preservando a propriedade de inferência de tarefa rápida inerente aos BFMs.
3. Eficiência de Dados: A abordagem requer apenas um único conjunto de dados exploratórios coletados no cenário nominal para pré-treinamento e um pequeno conjunto de demonstrações de especialistas para inferência. Isso contrasta com trabalhos anteriores que dependem de dados de múltiplos ambientes diversos para aprender representações robustas.
4. Novidade: Até onde se sabe dos autores, este é o primeiro trabalho a alcançar robustez à variação de dinâmicas do ambiente dentro do framework BFM sem exigir pré-treinamento ou dados de especialistas de múltiplos regimes dinâmicos.

Resultados Experimentais

Os autores avaliaram seus métodos no benchmark ExORL em três ambientes morfologicamente diversos: Walker, Quadruped e Cheetah, usando conjuntos de dados gerados por estratégias de exploração não supervisionada (RND, APS, PROTO). Eles introduziram várias perturbações físicas, incluindo mudanças na gravidade, escalonamento da massa corporal, atrito das juntas, gravidade inclinada e limitação do intervalo de controle do atuador.

• Robustez vs. BFM Padrão: Em todos os ambientes e tipos de perturbação, ambas as variantes do RBFM superaram consistentemente a linha de base padrão FB-IL. À medida que a severidade da perturbação aumentava, a lacuna de desempenho se ampliava, com o FB-IL exibindo a degradação mais acentuada. O RBFM-Heavy geralmente alcançou os maiores retornos, seguido pelo RBFM-Light.
• Comparação com IL Robusta de Tarefa Única: Os métodos propostos foram comparados com linhas de base de IL offline distribucionalmente robustas de tarefa única (DRBC e BE-DROIL). Embora as linhas de base de tarefa única tenham superado o FB-IL em altos níveis de perturbação, o framework RBFM manteve superioridade consistente sobre o FB-IL e as linhas de base de tarefa única em toda a varredura de perturbação. Isso destaca a vantagem do pré-treinamento de múltiplas tarefas combinado com inferência robusta.
• Eficiência Computacional: Uma descoberta crítica é a eficiência da abordagem. As linhas de base robustas de tarefa única exigiam horas (5–6 horas) por tarefa para otimização. Em contraste, as variantes RBFM reduziram o tempo de inferência específico da tarefa para minutos (5–10 minutos), tornando-as ordens de magnitude mais rápidas enquanto alcançavam robustez superior.
• Sensibilidade a Dados e Parâmetros: O estudo mostrou que a inferência robusta de tarefas depende criticamente da qualidade das representações FB aprendidas, exigindo dados de pré-treinamento suficientes (por exemplo, 1 milhão de transições) para se tornar expressiva. Além disso, o parâmetro de robustez $\epsilon$ foi encontrado para controlar o compromisso entre desempenho nominal e robustez, com um valor intermediário ($\epsilon=0,8$) produzindo o melhor compromisso geral.

Significado e Alegações

O artigo afirma que políticas robustas podem ser alcançadas inteiramente no momento da inferência de tarefas, melhorando significativamente a praticidade dos BFMs em configurações dinâmicas. Ao desacoplar a robustez do pré-treinamento, o framework proposto permite que um único modelo pré-treinado seja adaptado robustamente a novas tarefas usando apenas dados offline de um único ambiente nominal.

Os autores enfatizam que essa abordagem aborda uma limitação fundamental dos BFMs atuais — sua fragilidade sob incompatibilidade de dinâmicas — sem incorrer nos custos proibitivos de pré-treinamento em múltiplos ambientes ou na ineficiência computacional da otimização robusta por tarefa. Os resultados demonstram que a robustez pode ser "incorporada" durante a etapa de inferência, oferecendo um caminho escalável para implantar modelos fundamentais em ambientes do mundo real e não estruturados onde as dinâmicas estão sujeitas a mudanças imprevisíveis.