GIFT: Generalizing Intent for Flexible Test-Time Rewards

Título: GIFT: Generalizando Intenção para Recompensas Flexíveis em Tempo de Teste

1. O Problema

Robôs que aprendem funções de recompensa a partir de demonstrações humanas frequentemente falham ao generalizar para novos ambientes ou objetos. O cerne do problema é que os algoritmos de aprendizado tendem a "aderir" a correlações espúrias presentes nos dados de treinamento (superfície visual ou linguística) em vez de capturar a intenção humana de alto nível subjacente.

• Exemplo: Se um robô é treinado para "embalar um pincel", ele pode aprender a recompensa baseada na aparência visual do pincel. Ao encontrar um novo objeto (ex: argila de modelar) que serve ao mesmo propósito funcional (ferramenta de arte), mas tem uma aparência diferente, o robô falha.
• Falhas Comuns:
  • Especificação Incorreta de Recompensa: O robô aprende um objetivo proxy (ex: "evitar laptops") em vez do real (ex: "evitar líquidos perto de eletrônicos").
  • Má Generalização Fora da Distribuição: Ao encontrar novos objetos, a função de recompensa aprendida produz comportamentos imprevisíveis ou catastróficos porque não reconhece a equivalência funcional entre o objeto de teste e os objetos de treinamento.

2. Metodologia: O Framework GIFT

O GIFT (Generalizing Intent for Flexible Test-Time rewards) propõe uma abordagem que fundamenta a generalização de recompensas na intenção humana de alto nível, utilizando Modelos de Linguagem (LMs) como mecanismo de raciocínio. O framework opera em duas etapas principais:

A. Inferência de Intenção de Alto Nível

• O sistema utiliza um LM para inferir a intenção do usuário ($\hat{\omega}$) contrastando pares de trajetórias:
  1. Trajetórias Preferidas ($D_H$): Demonstrações humanas.
  2. Trajetórias de Referência ($D_{\neg H}$): Comportamentos não preferidos (ex: gerados por um controlador nominal).
• O LM gera um resumo em linguagem natural que explica a diferença entre os comportamentos, capturando a intenção abstrata (ex: "embalar suprimentos de arte") em vez de descrições específicas de instâncias.

B. Alinhamento de Estados Condicionado à Intenção

• Em tempo de teste, ao encontrar um novo estado ($s'$), o GIFT não compara diretamente com base em pixels ou palavras, mas sim com base na intenção inferida.
• Kernel de Similaridade Condicionado à Intenção ($K$): Um LM atua como uma função de similaridade implícita. Dado o estado de teste e a intenção $\hat{\omega}$, o LM decide quais componentes semânticos do estado de teste são equivalentes funcionalmente aos componentes do estado de treinamento.
• Operador de Alinhamento ($f_{\hat{\omega}}$): Mapeia o estado de teste para o estado de treinamento mais próximo que é "equivalente em intenção".
  • Exemplo: Se a intenção é "embalar arte", o LM mapeia "argila de modelar" (teste) para "pincel" (treino), ignorando objetos visualmente similares mas semanticamente irrelevantes (ex: escova de dentes).
• Generalização da Recompensa: A função de recompensa aprendida ($R_\theta$) permanece fixa. Para avaliar uma nova trajetória, ela é primeiro alinhada ao domínio de treinamento via $f_{\hat{\omega}}$ e, em seguida, a recompensa é calculada. Isso permite reutilizar a recompensa sem retreinamento.

3. Contribuições Principais

1. Mudança de Paradigma: Propõe que a similaridade de estados deve ser definida pela intenção do usuário e não por características visuais ou linguísticas de baixo nível.
2. Framework GIFT: Um método que utiliza LMs para inferir intenção e alinhar estados semanticamente, permitindo que robôs generalizem recompensas para objetos e layouts nunca vistos.
3. Agnosticismo ao Algoritmo de Aprendizado: O framework é compatível com qualquer algoritmo de aprendizado de recompensa (ex: IRL de Máxima Entropia), focando apenas na etapa de alinhamento em tempo de teste.
4. Validação em Mundo Real: Demonstração bem-sucedida tanto em simulação quanto em um robô físico (Franka Emika Panda de 7 graus de liberdade).

4. Resultados Experimentais

Os autores avaliaram o GIFT em quatro tarefas de manipulação em mesa (ex: "Embalar Mochila", "Armazenar no Gaveta") com mais de 50 objetos não vistos.

• Comparação com Baselines: O GIFT foi comparado contra:
  • Similaridade Visual (baseada em embeddings DINO).
  • Similaridade Linguística (baseada em embeddings BERT).
  • LM sem inferência de intenção (aplicação direta do LM).
• Métricas de Desempenho:
  • Taxa de Vitória em Pares (Pairwise Win Rate): O GIFT superou consistentemente todas as baselines, com melhorias de até 20% em tarefas complexas.
  • F1 Score de Alinhamento de Estado: O GIFT alcançou scores superiores, indicando uma melhor correspondência entre objetos de teste e treino.
  • Redução de Erros: Em estados de confusão (onde objetos têm nomes similares ou aparências similares, mas funções diferentes), o GIFT reduziu significativamente falsos positivos e falsos negativos em comparação com as baselines.
• Experimentos Reais: No robô Franka, o GIFT conseguiu planejar comportamentos corretos para objetos não vistos (ex: embalar argila de modelar como se fosse um pincel), enquanto as baselines falhavam devido a correlações espúrias.

5. Significância e Conclusão

O trabalho GIFT aborda uma das maiores barreiras para a implantação robusta de robôs: a incapacidade de generalizar para novos contextos sem reensino.

• Robustez: Ao ancorar a similaridade na intenção humana, o sistema torna-se robusto a mudanças de distribuição (novos objetos, layouts).
• Eficiência: Elimina a necessidade de coletar novos dados ou retreinar o modelo de recompensa para cada novo cenário.
• Implicação Futura: O estudo sugere que o uso de raciocínio semântico de alto nível (via LMs) é superior ao uso de características de baixo nível para a generalização de tarefas robóticas.

Limitações e Trabalhos Futuros:
O desempenho depende da qualidade da inferência do LM (que pode variar no nível de abstração). Trabalhos futuros visam desenvolver kernels de intenção conscientes de incerteza e lidar com descritores simbólicos ruidosos do mundo real.

Em suma, o GIFT demonstra que entender o "porquê" (intenção) é mais importante do que o "como" (aparência) para que robôs aprendam e generalizem comportamentos complexos de forma flexível.