GIFT: Global stabilisation via Intrinsic Fine Tuning

Resumo Técnico: GIFT (Global stabilisation via Intrinsic Fine Tuning)

1. O Problema: Instabilidade e Caos em Deep RL

Embora o Aprendizado por Reforço Profundo (Deep RL) tenha alcançado um desempenho excepcional em ambientes de controle contínuo simulados, sua aplicação no mundo real é limitada pela instabilidade e sensibilidade às condições iniciais.

Os autores identificam que as políticas aprendidas frequentemente induzem loops de feedback caóticos. Isso ocorre porque as funções de recompensa padrão costumam ser "subespecificadas": elas focam apenas em um subconjunto de dimensões do estado (ex: manter o robô em pé) e ignoram outras dimensões que não afetam diretamente a recompensa imediata. Como resultado, o agente não aprende a regular essas dimensões "irrelevantes", permitindo que pequenas perturbações iniciais se amplifiquem, levando a comportamentos divergentes e imprevisíveis a longo prazo.

2. Metodologia: O Framework GIFT

Para resolver isso, os autores propõem o GIFT, um framework de ajuste fino (fine-tuning) leve e de propósito geral que transforma o Processo de Decisão de Markov (MDP) original em um MDP Estabilizador (S-MDP). O processo é dividido em três etapas:

1. Pré-treinamento: Uma política ($\pi_\theta$) é treinada normalmente para maximizar a recompensa da tarefa original (usando algoritmos como SAC ou PPO).
2. Geração do S-MDP:
   • O agente é testado em diversas condições iniciais para gerar trajetórias de observação.
   • A trajetória que obteve a maior recompensa total é selecionada como a trajetória de referência ($T$).
   • Cria-se uma nova função de recompensa intrínseca ($\hat{R}$) que é agnóstica à tarefa, mas focada na estabilidade. Esta função recompensa o agente por permanecer próximo à trajetória de referência, tanto espacial quanto temporalmente, em todas as dimensões do espaço de observação.
3. Ajuste Fino (Fine-tuning): A política pré-treinada é refinada no S-MDP. Durante esta fase, a recompensa da tarefa é substituída pela recompensa intrínseca de estabilização, forçando o agente a suprimir dinâmicas caóticas.

A função de recompensa intrínseca utiliza a distância euclidiana entre a observação atual e o próximo passo ideal na trajetória de referência, garantindo que o controle seja aplicado de forma global sobre todo o estado observável.

3. Principais Contribuições

• Generalidade: Ao contrário de métodos baseados em Teoria de Lyapunov que exigem modificações na arquitetura do agente ou funções de recompensa específicas, o GIFT pode ser aplicado a qualquer política de Deep RL já existente.
• Estabilização Global: O método força a regulação de todas as dimensões do espaço de estados, não apenas daquelas necessárias para a tarefa, mitigando o caos.
• Framework de Duas Etapas: A separação entre aprendizado de tarefa e aprendizado de estabilidade permite preservar o desempenho enquanto se melhora a robustez.

4. Resultados Experimentais

Os testes foram realizados no DeepMind Control Suite (ambientes Walker e Humanoid), utilizando SAC e PPO. Os resultados principais foram:

• Estabilidade (MLE): O principal indicador de caos é o Expoente de Lyapunov Máximo (MLE). O GIFT reduziu o MLE em aproximadamente uma ordem de magnitude em quase todos os experimentos. Valores de MLE significativamente menores indicam que trajetórias que começam próximas permanecem próximas, eliminando o comportamento caótico.
• Desempenho da Tarefa: O ajuste fino não prejudicou o desempenho. Em muitos casos (como no Humanoid com SAC), o desempenho até melhorou (aumento de ~9%), pois a estabilidade impediu que o robô caísse prematuramente devido a oscilações instáveis.
• Visualização: Gráficos de trajetórias mostraram que, enquanto a política original (SAC) divergia drasticamente após uma pequena perturbação, a política com GIFT (SAC + GIFT) mantinha trajetórias convergentes e previsíveis.

5. Significância e Conclusão

O trabalho é significativo para a transição do Deep RL de simulações para sistemas físicos reais. Ao fornecer uma ferramenta que garante que o controle seja previsível e robusto a perturbações, o GIFT aborda uma das maiores barreiras para a implementação de robótica autônoma baseada em aprendizado profundo, oferecendo um método prático para transformar políticas de alto desempenho, porém instáveis, em controladores confiáveis para o mundo real.