Resumo Técnico: Aprendizado de Preferências em Formato Livre para Manipulação Robótica

Declaração do Problema

O design de recompensas continua sendo um gargalo crítico para o aprimoramento de políticas de robôs autônomos, particularmente em tarefas de manipulação de longo horizonte. As abordagens existentes enfrentam limitações significativas:

• Recompensas Esparsas: Rótulos binários de sucesso/falha fornecem sinal insuficiente para tarefas complexas onde o progresso intermediário é crucial.
• Preferências Binárias Ambíguas: O aprendizado de preferências tradicional (ex: modelos de Bradley-Terry) exige que os anotadores colapsem múltiplas noções concorrentes de qualidade (ex: velocidade vs. segurança) em um único rótulo binário de "qualidade geral". Isso cria ambiguidade, especialmente ao comparar segmentos de trajetória de diferentes estágios da tarefa.
• Funções de Recompensa Rígidas: Recompensas escalares projetadas manualmente muitas vezes falham em capturar todo o espectro da intenção humana, como higiene, formalidade ou cuidado, levando a comportamentos indesejados durante a otimização.

O artigo postula que preservar a natureza multidimensional do julgamento humano é essencial para aprender políticas robustas que capturem todos os aspectos da intenção de um usuário.

Metodologia: Aprendizado de Preferência em Formato Livre (FPL)

O FPL introduz um framework para aprender políticas robóticas a partir de preferências humanas em formato livre definidas em linguagem natural, em vez de colapsar o feedback em um único escalar. O método consiste em três componentes principais:

1. Coleta de Preferência em Formato Livre

Em vez de perguntar "Qual trajetória é melhor no geral?", os anotadores veem pares de trajetórias e são solicitados a:

• Definir eixos de preferência específicos em linguagem natural (ex: "velocidade", "segurança", "formalidade da configuração", "suavidade"). Esses eixos podem ser predefinidos ou especificados pelo anotador durante o processo.
• Fornecer preferências pareadas ($y_k \in \{0, 1\}$) para cada eixo definido ($l_k$).
  Isso gera um conjunto de dados $\mathcal{P}$ de pares de trajetórias anotados com rótulos de linguagem natural e preferências binárias por eixo.

2. Aprendizado de Recompensa Condicionado à Linguagem

O FPL aprende um modelo de recompensa único $r_\phi$ condicionado à descrição em linguagem natural do eixo, aproveitando representações de modelos de visão-linguagem (VLM) pré-treinados.

• Pontuação Condicionada ao Eixo: Para um par de trajetórias $(\tau_i, \tau_j)$ e um conjunto de eixos $\{(l_k, y_k)\}$, o modelo é treinado para minimizar uma perda de Bradley-Terry modificada:
  $$L_{FPL-Reward}(\phi) = -\mathbb{E} \left[ \sum_{k=1}^{K_{ij}} \log \sigma \left( (2y_k - 1) [r_\phi(\tau_i | l_k) - r_\phi(\tau_j | l_k)] \right) \right]$$
• Modelagem Temporal: Ao contrário dos modelos padrão que pontuam observações individuais, o FPL condiciona a recompensa ao histórico de observação. A recompensa ao nível da trajetória é definida como a soma das pontuações por prefixo:
  $$r_\phi(\tau, l_k) = \sum_{i=1}^{T} g_\phi(o_{1:i}, l_k)$$
  onde $g_\phi$ é um transformer multimodal. Isso permite que o modelo capture dependências temporais necessárias para avaliar preferências ao nível da trajetória.

3. Extração de Política Multidimensional

Em vez de colapsar as recompensas multidimensionais aprendidas em um único escalar ponderado (o que corre o risco de reward hacking), o FPL treina uma política $\pi_\theta$ condicionada aos eixos de linguagem natural e seus respectivos scores de recompensa simultaneamente.

• A política é treinada via clonagem de comportamento (ou RL offline) em um conjunto de dados onde as ações são condicionadas ao conjunto de eixos $\mathcal{L} = \{l_1, \dots, l_{K_\pi}\}$ e suas recompensas associadas $r_\phi(\tau | l_k)$.
• Treinamento Iterativo: O processo pode ser iterativo. À medida que a política melhora, os anotadores podem fornecer feedback mais refinado, e o conjunto de eixos pode ser expandido, criando um currículo natural.
• Direcionabilidade em Tempo de Teste: Na inferência, a política pode ser direcionada para comportamentos específicos ao variar os valores de recompensa alvo condicionados a eixos específicos, sem necessidade de retreinamento.

Principais Contribuições

1. Aprendizado de Preferência em Formato Livre (FPL): Um método inovador para elicitar e aprender com preferências humanas multidimensionais em linguagem natural, evitando a ambiguidade de rótulos binários "gerais".
2. Modelo de Recompensa Condicionado à Linguagem: Uma função de recompensa que mapeia uma trajetória e uma descrição de eixo em linguagem natural para um score escalar, permitendo o aprendizado de diversos atributos (qualidade, velocidade, segurança, higiene) a partir de um único modelo.
3. Composicionalidade e Direcionabilidade: O framework permite que as políticas exibam comportamentos composicionais (combinando traços não vistos juntos nos dados) e permite o direcionamento do comportamento em tempo de teste através do ajuste do condicionamento da recompensa.
4. Supervisão Densa sem Segmentação: O FPL aprende sinais de progresso densos para tarefas de longo horizonte sem exigir segmentação explícita de sub-tarefas ou modelagem manual de recompensa.

Resultados Experimentais

Os autores avaliaram o FPL em quatro tarefas do mundo real (colocar um cubo em uma tigela, dobrar shorts, montar um prato com torrada, arrumar uma mesa) e duas tarefas simuladas (rearranjo de objetos, quadrado bimodal).

• Desempenho: O FPL superou as bases (incluindo recompensas esparsas, aprendizado de preferência binária e regressão ponderada) em uma média de 38 pontos percentuais nas tarefas do mundo real.
• Simulação: Na tarefa "Bimodal Square", o FPL conseguiu compor comportamentos (colocar uma porca em um pino rapidamente) mesmo quando os dados de treinamento continham apenas exemplos rápidos para o outro pino. Também alcançou alto desempenho na tarefa "invertida" (pino esquerdo) usando a mesma política ao alterar o condicionamento da recompensa, uma capacidade não presente nos métodos base.
• Densidade de Recompensa: A análise qualitativa mostrou que as recompensas condicionadas aos eixos do FPL foram temporalmente localizadas em torno de eventos específicos de sub-tarefas (ex: colocar uma xícara), enquanto as recompensas de preferência binária produziram picos ambíguos em estágios tardios.
• Eficiência de Anotação: A coleta de preferências em formato livre foi aproximadamente 50% mais rápida por rótulo do que a coleta de preferências binárias únicas, pois o custo de visualizar um vídeo é compartilhado entre múltiplos julgamentos específicos por eixo.

Significância e Alegações

O artigo afirma que o FPL aborda o desafio fundamental de capturar a natureza "multidimensional" da intenção humana na robótica. Ao preservar a estrutura do feedback humano em vez de colapsá-la, o FPL:

• Fornece supervisão mais densa e menos ambígua para a otimização da política.
• Permite a generalização composicional, permitindo que robôs combinem comportamentos aprendidos (ex: velocidade + segurança) de maneiras não explicitamente demonstradas.
• Oferece direcionabilidade em tempo de teste, permitendo que usuários ajustem o comportamento do robô (ex: priorizar velocidade sobre delicadeza) sem retreinamento.
• Demonstra que a linguagem natural é uma interface viável e eficaz para definir eixos de recompensa, indo além de estruturas de recompensa rígidas e predefinidas.

Os autores concluem que, embora o aprendizado de preferência seja mais caro que abordagens não supervisionadas, o FPL melhora significativamente a qualidade e a flexibilidade das políticas aprendidas, tornando-se uma direção promissora para o aprendizado robótico no mundo real.