Resumo Técnico: Automatizando o Modelagem de Recompensa Baseada em Potencial com Orientação de Modelos de Visão-Linguagem

Declaração do Problema

Agentes de Aprendizado por Reforço (RL) enfrentam desafios significativos em ambientes com recompensas esparsas, onde o feedback é fornecido apenas após a conclusão da tarefa. Essa falta de orientação intermediária dificulta a exploração e torna difícil atribuir o sucesso a partes específicas de uma trajetória. Embora a Modelagem de Recompensa (adição de sinais auxiliares para guiar a exploração) seja uma solução comum, a modelagem arbitrária frequentemente leva ao hackeamento de recompensa (reward hacking), onde os agentes exploram os sinais auxiliares para maximizar a recompensa sem resolver a tarefa pretendida.

A Modelagem de Recompensa Baseada em Potencial (PBRS) oferece uma alternativa teoricamente sólida ao adicionar a diferença de uma função de potencial $\Phi(s)$ entre estados sucessivos à recompensa. A PBRS garante a preservação do conjunto de políticas ótimas da tarefa original. No entanto, definir uma função de potencial eficaz geralmente requer um extenso conhecimento de especialistas e engenharia manual, o que limita sua escalabilidade.

Abordagens recentes utilizando Modelos de Visão-Linguagem (VLMs) para aprender funções de recompensa diretamente (ex: RL-VLM-F) reduzem a necessidade de design humano, mas dependem da capacidade do VLM de aproximar perfeitamente a verdadeira função de recompensa. Isso impõe um requisito estrito de precisão nos rótulos; erros na saída do VLM podem levar a políticas subótimas. Além disso, consultar VLMs grandes e de última geração repetidamente durante o treinamento é computacionalmente proibitivo.

Metodologia: VLM-PBRS

Os autores propõem o VLM-PBRS, um framework que automatiza a construção de uma função de potencial para PBRS usando rótulos de preferência gerados por VLM. A inovação central reside em aproveitar a propriedade de invariância de política da PBRS para relaxar os requisitos de precisão do VLM, permitindo o uso de modelos menores e mais eficientes.

Componentes Principais

1. Loop de Aprendizado Baseado em Preferência:

   • O sistema opera em um loop iterativo envolvendo melhoria de política, coleta de dados e consulta ao VLM.
   • Coleta de Dados: O agente interage com o ambiente, coletando trajetórias e observações de imagem.
   • Consulta ao VLM: Pares de imagens ($\sigma_i, \sigma_j$) são amostrados do buffer. Um prompt é construído contendo o par de imagens e uma descrição em linguagem natural do objetivo. O VLM é consultado para determinar qual imagem atinge melhor o objetivo.
   • Estrutura do Prompt: O prompt solicita que o VLM identifique elementos comuns, descreva diferenças em relação ao objetivo e forneça um rótulo legível por máquina ($y \in \{-1, 0, 1\}$) indicando a preferência.
   • Extração de Rótulo: Ao contrário de trabalhos anteriores (ex: RL-VLM-F) que utilizam uma segunda chamada de LLM para extrair rótulos de saídas verbosas do VLM, o VLM-PBRS extrai o rótulo diretamente de uma única chamada de VLM para aumentar a eficiência computacional.

2. Construção da Função de Potencial:

   • Um modelo de preferência $r_\psi$ é treinado nos rótulos coletados pelo VLM usando uma função de perda (Entropia Cruzada ou Erro Absoluto Médio) .
   • O modelo treinado é transformado em uma função de potencial $\Phi(s)$:
     $$\Phi(s) = \begin{cases} 0 & \text{se } s \text{ é terminal} \\ \lambda \sigma(r_\psi(s)) & \text{caso contrário} \end{cases}$$
     onde $\sigma$ é uma ativação sigmoide e $\lambda$ é um fator de escala (definido como 0,9) para garantir que a recompensa moldada permaneça positiva e limitada abaixo da recompensa do objetivo.

3. Modelagem de Recompensa (Reward Shaping):

   • A recompensa moldada $R'$ é calculada como $R'(s, a, s') = R(s, a, s') + (\gamma \Phi(s') - \Phi(s))$.
   • Esta recompensa moldada guia o agente de RL (usando SAC) durante a exploração. O replay buffer é recomputado com as recompensas moldadas atualizadas conforme a função de potencial melhora.

Escolhas de Design Chave

• VLMs Pequenos: O framework utiliza VLMs menores de pesos abertos (ex: Ovis2-16B, Qwen3-VL-8B), que são computacionalmente eficientes. Os autores argumentam que, embora esses modelos possam produzir rótulos menos precisos que modelos maiores, o framework PBRS é robusto a esse ruído.
• Rotulagem de Passo Único: Ao evitar uma segunda chamada de LLM para a geração de rótulos, o método reduz significamente o overhead computacional.

Principais Contribuições

1. Primeira Aplicação de Aprendizado de Preferência via VLM para PBRS: O artigo introduz o primeiro framework para sintetizar uma função de potencial para PBRS diretamente de rótulos de preferência de VLM, exigindo apenas uma descrição textual do objetivo e observações visuais.
2. Uso Principiado de Pequenos VLMs: Os autores estabelecem que a garantia de invariância de política da PBRS relaxa os requisitos rigorosos de precisão de rótulos da modelagem direta de recompensa. Isso permite o uso de VLMs menores e computacionalmente eficientes sem comprometer a otimalidade da política aprendida, mesmo que os rótulos sejam ruidosos.
3. Validação Empírica: O método é validado nos ambientes Meta-World e Franka Kitchen, demonstrando melhor eficiência de amostragem e robustez ao hackeamento de recompensa em comparação com recompensas esparsas e aprendizado de recompensa VLM direto.

Resultados

Os autores avaliaram o VLM-PBRS contra quatro baselines: Recompensas Esparsas, Recompensas Densas Projetadas por Humanos e RL-VLM-F (aprendizado direto de recompensa).

• Eficiência de Amostragem: O VLM-PBRS consistentemente acelerou o aprendizado em comparação com o baseline de recompensa esparsa em todas as tarefas testadas (ex: pressionar botão, abrir janela, micro-ondas, interruptor de luz).
• Comparação com RL-VLM-F: Embora o RL-VLM-F tenha melhorado em relação às recompensas esparsas em algumas tarefas, ele frequentemente convergiu para políticas subótimas em outras (ex: pressionar botão, fogão superior) devido a erros de rotulagem do VLM criando incentivos incorretos. Em contraste, o VLM-PBRS manteve a convergência para a política ótima mesmo com rótulos ruidosos, pois a propriedade da PBRS impede que o agente seja permanentemente induzido ao erro.
• Desempenho vs. Design Humano: Na tarefa de pressionar botão, o VLM-PBRS com uma precisão de VLM de ~59% superou o baseline de recompensa densa projetada por humanos, que sofreu com o hackeamento de recompensa.
• Sensibilidade à Precisão do Rótulo:
  • Experimentos com um rotulador oracle mostraram que as melhorias na eficiência de amostragem correlacionam-se com a precisão do rótulo.
  • Mesmo com níveis de precisão abaixo do acaso (0,0), o VLM-PBRS não degradou o desempenho abaixo do baseline esparso, baseando-se na exploração fundamental do RL.
  • Em tarefas onde a precisão do VLM estava próxima do acaso (ex: abrir gaveta), o VLM-PBRS mostrou melhorias leves sobre as recompensas esparsas, mas não conseguiu igualar as recompensas densas projetadas por humanos.
• Estudos de Ablação:
  • Tamanho do Lote (Batch Size): O uso de 20 rótulos por lote de consulta ao VLM foi considerado suficiente, equilibrando desempenho e custo computacional.
  • Função de Perda: As funções de Entropia Cruzada e Erro Absoluto Médio (MAE) apresentaram desempenhos semelhantes; a Entropia Cruzada foi selecionada como o padrão.

Significância e Alegações

O artigo afirma que o VLM-PBRS fornece um caminho prático e escalável para automatizar a modelagem de recompensa em configurações com recursos limitados. Ao desacoplar a necessidade de raciocínio perfeito do VLM da garantia de otimalidade da política, o método permite o uso de VLMs menores e mais baratos.

Os autores enfatizam que sua abordagem:

• Preserva a Otimalidade: Diferente do aprendizado direto de recompensa, não corre o risco de aprender políticas subótimas devido aos erros do VLM.
• Reduz o Encargo de Engenharia: Elimina a necessidade de funções de potencial projetadas por especialistas ou termos de recompensa densos, exigindo apenas uma descrição textual de alto nível.
• Melhora a Robustez: É inerentemente resiliente ao hackeamento de recompensa, um modo de falha comum na modelagem de recompensa arbitrária.

O trabalho sugere que, à medida que os modelos de fundação multimodais evoluem, a generalidade e os benefícios do VLM-PBRS aumentarão naturalmente, oferecendo uma alternativa viável para a engenharia de recompensa manual em tarefas robóticas complexas.