How Should a Simulation-to-Reality Transfer Budget Be Spent?

Resumo Técnico: Como deve ser gasto um orçamento de transferência de Simulação para Realidade?

Declaração do Problema
No aprendizado robótico, o "gap de realidade" surge quando políticas treinadas em simulação falham em hardware físico devido a discrepâncias entre a dinâmica simulada e a verdadeira. Duas estratégias principais abordam isso: Identificação de Sistema (ID), que utiliza dados de robôs reais para estimar parâmetros físicos e ajustar o simulador, e Randomização de Domínio (DR), que treina políticas sobre uma distribuição de simuladores randomizados para aprender comportamentos robustos. Ambas as estratégias competem pelo mesmo recurso escasso: o tempo limitado de interação com o robô real (rollouts). Embora a literatura existente frequentemente estude esses métodos isoladamente, o tradeoff entre alocar orçamento para medição precisa (ID) versus justificar uma distribuição de randomização mais ampla (DR) permanece pouco compreendido. Este artigo enquadra a escolha como um problema de alocação de orçamento: dado um número fixo de rollouts de robô real, como eles devem ser divididos entre identificação e largura de randomização?

Metodologia
Os autores conduziram um estudo sim-to-sim controlado para isolar este tradeoff sem as variáveis de confusão do hardware físico.

• Configuração: Um simulador de "Realidade" ($R$) com parâmetros fixos e ocultos (massa do braço $m$ e comprimento da haste $\ell$) serviu como o sistema alvo. Um simulador de "Treinamento" ($T$) permitiu que esses parâmetros fossem ajustados. Os parâmetros verdadeiros foram definidos como $\theta^* = (2.0, 1.5)$, significativamente distantes do prior nominal $\theta_0 = (1.0, 1.0)$.
• Alocação de Orçamento: O estudo variou duas variáveis independentes:
  1. $n$ (Orçamento de Identificação): O número de rollouts no robô real usados para estimar os parâmetros. Estes rollouts utilizaram uma política de excitação de torque aleatória. Os parâmetros foram estimados via busca em grade minimizando o erro de previsão de velocidade angular de um passo, sujeito a ruído sensorial Gaussiano ($\sigma=1.0$).
  2. $w$ (Largura de Randomização): A largura da distribuição uniforme usada para randomizar os parâmetros durante o treinamento, definida como uma fração da estimativa pontual $\hat{\theta}$. $w=0$ implica treinamento no parâmetro pontual; $w$ maior implica uma banda mais larga centrada em $\hat{\theta}$.
• Treinamento e Avaliação: Para cada configuração $(n, w)$, uma política Soft Actor-Critic (SAC) foi treinada por 75.000 passos. O desempenho foi avaliado via retorno zero-shot no sistema alvo oculto $R$ ao longo de 20 episódios determinísticos.
• Escopo: O estudo realizou varreduras de $n \in \{0, 5, 10, 25, 50\}$ e $w \in \{0, 0.1, 0.2, 0.3, 0.5\}$ através de dez sementes, totalizando 250 execuções. A significância estatística foi avaliada usando intervalos de confiança de bootstrap pareado.

Principais Resultados
Os experimentos revelaram uma hierarquia distinta no valor da medição versus a amplitude da randomização:

1. Dominância da Medição: A alocação de rollouts de robô real para identificação ($n$) foi o principal motor de desempenho. O gap de transferência fechou-se bruscamente com os primeiros poucos rollouts. Especificamente, passar de $n=0$ para $n=10$ rendeu uma melhoria massiva no retorno (aprox. +427 pontos), enquanto aumentar $n$ além de 10 proporcionou retornos decrescentes.
2. Estimativas Pontuais Superam a Randomização: Uma vez que qualquer dado real estava disponível ($n > 0$), o treinamento no parâmetro pontual estimado ($w=0$) superou significativamente o treinamento sobre qualquer banda de randomização alargada. Mesmo uma banda estreita ($w=0.2$) resultou em retornos estatisticamente inferiores em comparação a $w=0$.
3. A Randomização Não Substitui a Medição: A randomização ampla que teoricamente continha o sistema real (ex: um baseline de intervalo de prior cobrindo $[0.3, 3.0]$) falhou em substituir a medição. Políticas treinadas com $n=0$ e randomização ampla tiveram um desempenho ruim (retorno $\approx -749$), comparável ao baseline $n=0, w=0$, e significativamente pior que o baseline de "fidelidade pura" $n=50, w=0$ (retorno $\approx -337$).
4. Robustez: Estas descobertas mantiveram-se em diferentes gaps de realidade (pequeno, principal, grande) e níveis de ruído sensorial. Embora o "joelho" específico da curva de orçamento tenha mudado com os níveis de ruído (ex: exigindo mais rollouts com ruído maior), a ordem qualitativa permaneceu: a medição é crítica, e ampliar a banda após a medição é prejudicial.

Contribuições e Significância
O artigo não propõe um novo algoritmo, mas sim fornece uma caracterização mensurável do tradeoff entre identificação e randomização sob um orçamento fixo.

• Formalização: Formula a escolha entre ID e DR como um problema único de alocação de orçamento e mapeia a superfície completa de retorno.
• Evidência Empírica: Demonstra que em um regime onde a dinâmica é identificável e a família do simulador contém o sistema alvo, a medição domina a amplitude. Um pequeno número de rollouts de identificação fecha a maior parte do gap de transferência.
• Recomendação Estratégica: Os autores concluem que os pipelines de sim-to-real devem priorizar a medição de parâmetros que podem ser identificados dentro da classe de modelo do simulador. A randomização de domínio deve ser reservada apenas para a incerteza que permanece após a medição, e não usada como um substituto para ela.

Limitações e Escopo
Os autores observam explicitamente que estes resultados se aplicam a um "regime benigno" onde:

• O simulador é bem especificado (sem incompatibilidade estrutural do modelo).
• Apenas dois parâmetros são desconhecidos.
• O sistema verdadeiro é representável pela família do simulador.

O artigo reconhece que em cenários do mundo real envolvendo incompatibilidades estruturais (ex: fricção não modelada, folga ou dinâmica de contato) onde nenhum ajuste de parâmetros pode reproduzir perfeitamente o alvo, o valor da amplitude de randomização pode aumentar. Os presentes achados servem como um baseline para esse cenário mais complexo, sugerindo que quando os parâmetros podem ser identificados, a fidelidade deve preceder a randomização.