Can Tabular Foundation Models Guide Exploration in Robot Policy Learning?

1. Formulação do Problema

O artigo aborda o desafio da eficiência amostral e estabilidade de otimização no controle contínuo de alta dimensão para robótica usando Aprendizado por Reforço (RL) Profundo.

• Compensação Local vs. Global: Métodos baseados em gradiente padrão (e.g., TD3, SAC) realizam atualizações locais em espaços de parâmetros de alta dimensão. Embora escaláveis, eles frequentemente ficam presos em regiões subótimas ou convergem lentamente devido a paisagens não convexas. Por outro lado, métodos de busca global (e.g., Estratégias Evolutivas, Treinamento Baseado em População) exploram regiões mais amplas, mas incorrem em custos de execução (rollout) proibitivos (interações com o ambiente) devido à "maldição da dimensionalidade".
• Limitações de Modelos Surrogados: A Otimização Bayesiana (BO) tenta reduzir custos de execução usando modelos surrogados. No entanto, a BO clássica falha em espaços de alta dimensão (de dezenas a centenas de milhares de parâmetros) devido à escassez de dados. Além disso, a paisagem de políticas no RL é não estacionária (evolui durante o treinamento), violando as suposições de domínio fixo da BO tradicional.
• A Lacuna: Há necessidade de um método que combine a eficiência amostral da busca guiada por surrogados com a adaptabilidade exigida para políticas de RL de alta dimensão e em evolução, sem exigir orçamentos massivos de interação.

2. Metodologia: TFM-S3

Os autores propõem o TFM-S3 (Busca em Subespaço Guiada por Modelo de Fundação Tabular), um framework híbrido que intercala atualizações locais padrão baseadas em gradiente com rodadas periódicas de busca global guiada por surrogados.

A. Construção Dinâmica de Subespaço de Baixa Dimensão

Em vez de buscar no espaço de parâmetros completo de alta dimensão ($\mathbb{R}^D$), o TFM-S3 restringe a busca global a um subespaço de baixa dimensão dinamicamente atualizado ($\mathbb{R}^r$).

• Base Informada por Gradiente: Em cada rodada de busca $t$, o método coleta os $Q$ snapshots de gradiente de política mais recentes ($G^{(t)}$).
• Decomposição SVD: Realiza uma Decomposição em Valores Singulares (SVD) truncada em $G^{(t)}$ para extrair os $r$ primeiros vetores singulares à esquerda ($U_r$). Esses vetores formam uma base ortonormal $A^{(t)}$ que captura as direções de atualização dominantes observadas durante o treinamento recente.
• Adaptabilidade: O subespaço evolui conforme o treinamento progride, garantindo que a geometria da busca se adapte à paisagem de políticas em mudança, em vez de depender de projeções aleatórias estáticas.

B. Busca Global Guiada por Surrogado

Dentro do subespaço de baixa dimensão, o TFM-S3 realiza uma busca iterativa para encontrar candidatos de política de alto desempenho com execuções mínimas.

1. Inicialização do Contexto: Um pequeno conjunto de políticas candidatas é amostrado no subespaço e avaliado via execuções reais no ambiente para formar um conjunto de contexto ($C$).
2. Modelo de Fundação Tabular (TFM): Um Modelo de Fundação Tabular pré-treinado (especificamente TabPFN-v2) é usado como surrogado. Diferentemente de Processos Gaussianos tradicionais, os TFMs são pré-treinados em diversas tarefas de regressão, fornecendo fortes viéses indutivos e generalização robusta a partir de tamanhos de amostra muito pequenos (e.g., $K=16$).
3. Loop de Refinamento Iterativo:
   • O TFM prevê retornos para um grande conjunto de novos candidatos ($N=256$) amostrados ao redor do melhor candidato atual.
   • O candidato com o maior retorno previsto é selecionado.
   • Apenas este único melhor candidato é avaliado via uma execução real.
   • O resultado é adicionado ao conjunto de contexto, atualizando a condição do TFM para a próxima iteração.
   • Este loop se repete $T$ vezes (e.g., 16 iterações) por rodada de busca.
4. Atualização da Política: O melhor candidato encontrado durante a rodada de busca é projetado de volta para o espaço original de alta dimensão e usado para inicializar a próxima fase de treinamento local baseado em gradiente.

3. Contribuições Principais

1. Busca em Subespaço Dinâmico: Os autores introduzem um procedimento de SVD informado por gradiente para construir subespaços de política de baixa dimensão que se adaptam à trajetória de otimização em evolução, resolvendo o problema de não estacionariedade inerente ao RL.
2. Surrogados de Modelos de Fundação: Eles demonstram que Modelos de Fundação Tabular pré-treinados podem servir como surrogados eficazes e livres de ajuste para previsão de retornos em RL, permitindo a triagem confiável de candidatos com dados extremamente limitados (generalização de pequena amostra).
3. Framework Híbrido Eficiente em Amostragem: O TFM-S3 conecta com sucesso o RL baseado em gradiente e a busca global, alcançando convergência mais rápida e melhor desempenho final do que as linhas de base sob orçamentos de execução idênticos.

4. Resultados Experimentais

O método foi avaliado em três benchmarks de controle contínuo MuJoCo: HalfCheetah-v5, Ant-v5 e Humanoid-v5, usando TD3 como base.

• Desempenho: O TFM-S3 consistentemente acelerou a convergência em estágios iniciais e alcançou retornos finais mais altos em comparação com o TD3 puro, Busca Aleatória no mesmo subespaço e uma variante "One-Shot" (sem refinamento iterativo).
• Eficiência: Sob um orçamento fixo de 1 milhão de passos de ambiente, o TFM-S3 atingiu limiares de desempenho-alvo significativamente mais rápido (e.g., atingindo 90% do desempenho final em ~38% dos passos para Humanoid vs. 48% para TD3 puro).
• Estabilidade: O método reduziu a variabilidade entre sementes aleatórias, indicando atualizações de política mais estáveis.
• Dinâmicas Internas:
  • Consistência de Classificação: O TFM mostrou alta correlação de posto de Spearman (até 0,97) entre retornos previstos e reais após uma fase inicial de aquecimento.
  • Qualidade de Seleção: O candidato top-1 selecionado pelo TFM caiu dentro do top 20% dos retornos reais 63,5% das vezes, comparado a apenas 20% para seleção aleatória.
  • Benefício Iterativo: A variante "One-Shot" teve desempenho inferior à versão iterativa completa, provando que o refinamento sequencial (atualizando o surrogado com novos dados reais) é crítico para o sucesso.

5. Significado

• Novo Paradigma para RL: Este trabalho estabelece Modelos de Fundação Tabular como ferramentas poderosas para aprendizado de políticas em robótica, indo além de seu uso tradicional em dados tabulares estáticos para problemas de controle dinâmicos e de alta dimensão.
• Ponte para a Lacuna: Oferece uma solução prática para o gargalo da "eficiência amostral" na robótica. Ao combinar redução de dimensionalidade (SVD) com priores eficientes em dados (TFM), permite exploração global sem o custo computacional massivo de métodos baseados em população.
• Modularidade: O framework é ortogonal ao algoritmo de RL subjacente (demonstrado com TD3, mas aplicável a SAC, PPO, etc.), tornando-o um aprimoramento versátil para pipelines existentes de otimização de políticas.

Em conclusão, o TFM-S3 demonstra que alavancar modelos de fundação pré-treinados dentro de variedades de baixa dimensão dinamicamente reconstruídas pode melhorar drasticamente a eficiência amostral e a robustez do aprendizado de políticas robóticas.