Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies

1. Formulação do Problema

Políticas condicionadas a objetivos (por exemplo, modelos fundamentais para robótica ou IA incorporada) demonstraram capacidades robustas na interpretação de instruções e na execução de comportamentos diversos. No entanto, seu desempenho downstream é altamente sensível aos prompts ou instruções específicos utilizados.

• O Dilema:
  • Engenharia de Prompts: Baseia-se em busca de texto discreta e livre de derivadas. Respeita a política congelada, mas frequentemente falha em elicitar o comportamento ótimo devido às limitações da linguagem natural como interface de controle.
  • Ajuste Fino Padrão: Atualiza os parâmetros da política para alinhar com tarefas. Embora eficaz, arrisca o esquecimento catastrófico, o sobreajuste a distribuições de tarefas estreitas e a destruição das capacidades de generalização ampla adquiridas durante o pré-treinamento.
• A Lacuna: Há uma necessidade de um mecanismo de adaptação que ofereça o poder de otimização do ajuste fino, mantendo ao mesmo tempo a estabilidade estrutural e a generalização de um modelo fundamental congelado.

2. Metodologia: Preference Goal Tuning (PGT)

Os autores propõem o Preference Goal Tuning (PGT), um framework de pós-treinamento que reformula a adaptação como um problema de controle latente. Em vez de atualizar os pesos da política, o PGT otimiza um embedding de objetivo contínuo ($g$) para modular o comportamento de uma política congelada.

Formulação Central

• Política Congelada: Os parâmetros da política ($\theta$) permanecem fixos: $\pi(a|s, g; \theta)$.
• Controle Latente: O objetivo $g \in \mathbb{R}^d$ é tratado como um parâmetro aprendível. A política define uma "variedade comportamental" indexada por $g$.
• Objetivo: Encontrar o $g^*$ ótimo que induza uma distribuição de trajetórias alinhada com preferências de tarefas, minimizando a divergência de uma distribuição-alvo definida por preferências humanas ou baseadas em recompensa.

Processo Algorítmico

O PGT opera em duas fases principais, frequentemente de forma iterativa:

1. Geração de Amostras de Preferência:
   • Começa com um prompt inicial codificado em um objetivo latente $g$.
   • Coleta trajetórias ($\tau$) interagindo com o ambiente usando a política congelada e $g$.
   • Rotula as trajetórias como positivas (preferidas) ou negativas (não preferidas). Os rótulos podem vir de anotadores humanos ou sinais de recompensa (por exemplo, recompensa cumulativa no Minecraft).
2. Propagação de Preferência Comportamental:
   • Atualiza o objetivo latente $g$ usando um objetivo de aprendizado de preferência (por exemplo, DPO - Otimização Direta de Preferência).
   • O objetivo maximiza a verossimilhança das trajetórias preferidas em relação a um objetivo de referência ($g_{ref}$), suprimindo as indesejáveis.
   • Função de Perda: A otimização minimiza o log-verossimilhança negativa dos pares de preferência:
     $$\mathcal{L}(g, g_{ref}) = \mathbb{E}_{(\tau_w, \tau_l) \sim D} \left[ -\log \sigma \left( \beta \Delta \right) \right]$$
     Onde $\Delta$ é a diferença nas razões de log-verossimilhança entre o objetivo atual e o objetivo de referência para as trajetórias vencedoras ($\tau_w$) e perdedoras ($\tau_l$).

Insight Teórico Chave

Ao restringir a otimização a um vetor latente de baixa dimensão em vez de milhões de parâmetros, o PGT impõe um forte viés indutivo que favorece a generalização sobre a memorização. Ele busca efetivamente a entrada de condicionamento ótima sem alterar a dinâmica física subjacente codificada na política.

3. Contribuições Principais

1. Paradigma de Controle Latente: Introduz uma abordagem inovadora de pós-treinamento onde a adaptação é alcançada exclusivamente otimizando o embedding de objetivo latente, mantendo a política fundamental congelada. Isso desacopla o alinhamento de tarefas da dinâmica física.
2. Otimização Baseada em Preferência: Adapta o aprendizado de preferência (especificamente DPO e variantes) ao espaço de objetivo latente, permitindo um alinhamento eficiente com preferências de tarefas usando dados mínimos.
3. Robustez a OOD: Demonstra que isolar a adaptação de tarefas ao objetivo latente previne o esquecimento catastrófico e mantém a generalização fora de distribuição (OOD), algo que o ajuste fino padrão frequentemente degrada.
4. Capacidade de Aprendizado Contínuo: Mostra que o PGT permite aprendizado contínuo escalável, armazenando um vetor latente compacto por tarefa, evitando interferência entre tarefas sem mecanismos complexos de replay ou regularização.

4. Resultados Experimentais

O framework foi avaliado no benchmark Minecraft SkillForge (17 tarefas) usando duas políticas fundamentais (GROOT e STEVE-1) e no benchmark de manipulação robótica LIBERO-goal.

• Ganhos de Desempenho:
  • O PGT alcançou melhorias relativas médias de 72,0% (GROOT) e 81,6% (STEVE-1) sobre políticas pré-treinadas em tarefas dentro de distribuição.
  • Superou consistentemente prompts criados por especialistas e baselines de engenharia de prompts padrão.
• Generalização Fora de Distribuição (OOD):
  • Em configurações OOD (sementes alteradas, biomas, configurações de ferramentas), o PGT melhorou o desempenho em 73,8% e 36,9%, respectivamente.
  • Crucialmente, o PGT superou o ajuste fino completo em 13,4% em configurações OOD. O ajuste fino completo melhorou o desempenho dentro de distribuição, mas frequentemente degradou a generalização devido ao sobreajuste.
• Eficiência de Parâmetros:
  • O PGT otimiza apenas 512 parâmetros (o vetor de objetivo latente), enquanto o ajuste fino completo envolve ~100M de parâmetros.
  • Superou outros métodos de Ajuste Fino Eficiente em Parâmetros (PEFT) como LoRA, BitFit e VeRA em cenários OOD.
• Aprendizado Contínuo:
  • Na aquisição sequencial de tarefas, o PGT evitou completamente o esquecimento catastrófico, enquanto baselines como Aprendizado Contínuo Naive (NCL) e Consolidação de Pesos Elásticos (EWC) sofreram quedas significativas de desempenho em tarefas anteriores.
• Validade Cross-Domain:
  • Experimentos na política OpenVLA para manipulação robótica (LIBERO-goal) confirmaram que o PGT é um mecanismo de pós-treinamento geral aplicável além do Minecraft, melhorando as taxas de sucesso em domínios de controle contínuo.

5. Significado e Impacto

• Preservação de Capacidades Fundamentais: O PGT oferece uma maneira "não destrutiva" de adaptar grandes modelos. Permite que o modelo aprenda novas tarefas sem apagar o conhecimento amplo e composicional adquirido durante o pré-treinamento.
• Eficiência de Amostra: Ao otimizar um vetor de baixa dimensão, o PGT requer significativamente menos dados e computação do que o ajuste fino completo, tornando-o altamente prático para implantação no mundo real.
• Adaptação Escalável: A capacidade de armazenar um único vetor latente compacto por tarefa sugere um caminho viável para agentes multi-tarefa escaláveis que não sofrem com interferência ou a necessidade de buffers de replay massivos.
• Segurança e Controle: O framework fornece uma interface contínua e diferenciável para modulação de comportamento, preenchendo a lacuna entre prompts de texto discretos e o controle contínuo necessário para tarefas físicas complexas.

Em conclusão, o Preference Goal Tuning representa uma mudança significativa na forma como modelos fundamentais são adaptados, movendo-se da modificação de pesos para a navegação no espaço latente, alcançando assim robustez, generalização e eficiência superiores na tomada de decisão condicionada a objetivos.