RAAP: Retrieval-Augmented Affordance Prediction with Cross-Image Action Alignment

Título: RAAP: Predição de Afordança Aumentada por Recuperação com Alinhamento de Ação entre Imagens

1. O Problema

A compreensão de afordanças de objetos (onde e como interagir com um objeto) é fundamental para que robôs realizem manipulações finas e intencionais em ambientes não estruturados. No entanto, os métodos existentes enfrentam desafios significativos na generalização para novos objetos e categorias:

• Abordagens Baseadas em Recuperação: São frágeis devido à esparsidade de dados e lacunas de cobertura. Elas dependem frequentemente de uma única correspondência "top-1", o que torna as previsões instáveis se o exemplo recuperado não for perfeito.
• Abordagens Baseadas em Treinamento (Grandes Modelos): Embora aprendam padrões visuais transferíveis, frequentemente falham em localizar pontos de contato precisos e prever direções de ação pós-contato (dinâmicas) para categorias não vistas, especialmente com dados limitados.
• Desafio Central: Como prever com robustez tanto o ponto de contato estático (onde agarrar) quanto a direção de ação dinâmica (como puxar, empurrar ou girar) para tarefas e objetos nunca vistos, utilizando poucos dados de treinamento?

2. Metodologia (RAAP)

O RAAP propõe um framework unificado que combina os pontos fortes da recuperação e do aprendizado baseado em treinamento. A inovação central é a decuplagem das affordances em dois componentes com características de incerteza distintas:

1. Afordança Estática (Ponto de Contato):

   • É governada principalmente pela correspondência geométrica.
   • Mecanismo: Utiliza uma estratégia de correspondência densa de características (baseada em Stable Diffusion) com o único melhor exemplo recuperado (Top-1). Isso permite transferir o ponto de contato com alta precisão espacial, preservando estruturas finas.

2. Afordança Dinâmica (Direção de Ação):

   • É inerentemente mais ambígua e não pode ser resolvida com um único exemplo.
   • Mecanismo: Utiliza um modelo de alinhamento aumentado por recuperação que agrega evidências de múltiplas referências (Top-K).
   • Arquitetura do Modelo:
     • Codificação Condicionada à Ação: As imagens de referência são codificadas usando um backbone compartilhado (SigLIP-2). Os vetores de ação associados são injetados nas características visuais via modulação FiLM (Feature-wise Linear Modulation).
     • Atenção Cruzada com Dupla Pesagem: Um mecanismo de atenção cruza as características da imagem de consulta com as referências. Para lidar com a relevância variável das referências, o modelo usa uma estratégia de dupla pesagem:
       • Pesos de Similaridade Visual: Baseados na similaridade pré-computada entre as imagens.
       • Pesos de Relevância Semântica: Aprendidos por uma rede de gating leve que avalia a compatibilidade semântica entre a tarefa e a referência.
     • O modelo consolida essas referências para prever a direção de ação, suprimindo exemplos ruidosos ou mal alinhados.

3. Execução (Levantamento 2D para 3D):

   • As affordances preditas em 2D (ponto e direção) são projetadas no espaço 3D usando intrínsecas da câmera e nuvens de pontos.
   • O robô executa o agarramento e, em seguida, aplica a direção de ação (ex: puxar a gaveta) usando controle de impedância cartesiana em tempo real para interação segura.

3. Principais Contribuições

• Paradigma Unificado: O RAAP é a primeira abordagem a unificar recuperação e aprendizado de alinhamento, tratando componentes estáticos e dinâmicos com mecanismos complementares.
• Modelo de Alinhamento Aumentado por Recuperação: Introdução de um módulo que agrega múltiplas referências usando atenção ponderada duplamente (semântica + visual), superando a fragilidade de métodos de "um único exemplo".
• Eficiência de Dados: O modelo alcança desempenho robusto sendo treinado com subconjuntos compactos de dados (apenas dezenas de amostras por tarefa), permitindo generalização zero-shot (sem treinamento específico para a tarefa) em simulação e no mundo real.
• Decuplagem Estática/Dinâmica: Reconhece explicitamente que a localização de contato e a direção de movimento requerem estratégias de inferência diferentes.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados DROID e HOI4D, além de plataformas robóticas reais (Franka Emika) e simulação (MuJoCo).

• Desempenho Quantitativo (Predição de Direção):
  • O RAAP (com $K=3$ referências) alcançou uma Erro Angular Médio (MAE) de 32,55°, superando significativamente os baselines:
    • RAM (apenas recuperação): 62,84° (redução de ~50% no erro).
    • A0 (modelo de difusão em larga escala): 74,81° (redução de ~56% no erro).
  • O ganho foi particularmente notável em tarefas de "abrir/fechar", onde os métodos concorrentes frequentemente falhavam em prever direções coerentes.
• Experimentos no Mundo Real:
  • Generalização para Objetos Não Vistos: O RAAP alcançou taxas de sucesso de 85% (abrir gaveta) e 90% (pegar tigela), superando o RAM e o A0 (que falhou em 0% em abrir gaveta devido a erros de contato).
  • Generalização entre Categorias: O RAAP alcançou 100% de sucesso em "fechar armário" (treinado apenas em micro-ondas), demonstrando transferência semântica robusta.
• Ablação: A remoção da pesagem dupla (apenas similaridade ou apenas gating) resultou em queda de desempenho, confirmando que ambas as fontes de informação são complementares.

5. Significado e Impacto

O trabalho RAAP representa um avanço significativo na robótica de manipulação fina ao demonstrar que:

1. Dados Escassos não são um impeditivo: É possível alcançar generalização robusta com poucos exemplos de treinamento, contornando a necessidade de grandes conjuntos de dados específicos para cada tarefa.
2. A Recuperação Inteligente é Superior à Simples Recuperação: Ao não depender de um único "melhor" exemplo, mas sim agregar e ponderar múltiplas referências, o sistema torna-se resiliente a variações visuais e geométricas.
3. Aplicabilidade Prática: A capacidade de operar em cenários zero-shot tanto em simulação quanto no mundo real (com controle de impedância) torna o framework pronto para aplicações em ambientes domésticos e industriais não estruturados, onde a diversidade de objetos é alta e os dados de treinamento são limitados.

Em resumo, o RAAP oferece uma solução eficiente em termos de dados e generalizável para a previsão de affordances, permitindo que robôs aprendam a interagir com novos objetos e tarefas rapidamente, baseando-se em experiências passadas de forma inteligente e adaptativa.