AFUN: Towards an Affordance Foundation Model for Functionality Understanding

Resumo Técnico: AFUN: Rumo a um Modelo de Fundação de Acessibilidade para Compreensão de Funcionalidade

Declaração do Problema
A compreensão da acessibilidade (affordance) serve como uma interface crítica entre a percepção visual e a ação física, permitindo que robôs operem em ambientes abertos e não estruturados. No entanto, construir um modelo de fundação que generalize simultaneamente através de diversos ambientes, objetos e tarefas permanece um desafio significativo. Os métodos existentes abordam tipicamente apenas aspectos parciais deste problema: alguns localizam regiões relevantes para a tarefa (onde interagir) sem especificar o movimento executável, enquanto outros predizem o movimento, mas carecem de escalabilidade ou exigem localização heurística. Além disso, as abordagens atuais frequentemente falham em caracterizar como um objeto deve se mover após a interação (por exemplo, a trajetória específica para abrir uma gaveta versus levantar uma tampa), e a maioria dos modelos de aprendizagem profunda sofre de uma generalização limitada para o mundo aberto devido a conjuntos de dados de pequena escala e não diversificados.

Metodologia
Os autores apresentam o AFUN, um modelo de fundação unificado projetado para prever tanto onde interagir quanto como interagir a partir de uma única observação RGB-D e uma descrição de tarefa em linguagem natural.

• Pipeline de Dados Unificado: Para suportar a generalização em mundo aberto, os autores construíram um pipeline de dados de grande escala e padronizado. Eles agregaram 321.190 vídeos brutos de 10 fontes públicas, incluindo teleoperação robótica, vídeos egocêntricos humanos, simulações e varreduras do mundo real. O pipeline converte essas fontes heterogêneas em um esquema compartilhado contendo:

  • Descrição da Tarefa: Instruções em linguagem natural.
  • Máscara Funcional: Uma máscara de segmentação identificando a parte manipulável.
  • Movimento 3D: Uma trajetória 3D pós-contato representada por uma curva de spline de Bézier.
  • Inovação Chave: Diferente de trabalhos anteriores que utilizam trajetórias de mão/garra (que incluem ruído de pré-contato), o AFUN rastreia o próprio movimento do objeto. Ele utiliza um Modelo de Visão-Linguagem (Qwen3-VL) para gerar consultas ao nível de parte e o SAM3 para rastrear o objeto manipulado, posteriormente retroprojetando a máscara para recuperar uma curva de movimento 3D suave.

• Arquitetura do Modelo: O AFUN emprega uma arquitetura de dois ramos condicionada a um Modelo de Visão-Linguagem congelado (Qwen3-VL-8B) e um modelo de segmentação congelado (SAM3).

  • Condicionamento de MetaQuery: O modelo utiliza tokens de "MetaQuery" aprendíveis para fazer a ponte entre o VLM e as tarefas subsequentes. Um conjunto de tokens ($mqs$) conecta-se ao modelo de segmentação, e outro ($mqm$) conecta-se ao decodificador de movimento. Isso permite que o modelo compartilhe capacidades de raciocínio do VLM em uma única passagem direta (forward pass).
    • Ramo de Segmentação: Utiliza o SAM3 para prever máscaras de acessibilidade condicionadas à tarefa baseadas nos tokens semânticos.
  • Ramo de Movimento: Utiliza um codificador de características 3D (Sonata) para extrair características geométricas da entrada de profundidade (depth). Um decodificador transformer prevê os parâmetros de uma curva de spline de Bézier 3D. A curva é ancorada no centroide de contato ($P_0$) e definida por pontos de controle previstos em coordenadas 3D relativas.

• Esquema de Treinamento: O modelo é treinado em três estágios para garantir estabilidade:

  1. Alinhamento: Alinhando os tokens de MetaQuery com o espaço de condicionamento de texto do SAM3 usando o conjunto de dados Visual Genome.
  2. Segmentação: Treinamento de ponta a ponta do ramo de segmentação em conjuntos de dados de acessibilidade agregados (HOVA-500K, RAGNet, InstructPart, ReasonAFF).
  3. Treinamento Conjunto: Treinando conjuntamente a segmentação e a previsão de movimento no conjunto de dados curado do AFUN, utilizando uma função de perda combinada de fundamentação de segmentação e ajuste de curva (point-sampling loss).

Principais Contribuições

1. Modelo AFUN: Um modelo de fundação que prevê conjuntamente máscaras funcionais condicionadas à tarefa e curvas de movimento 3D pós-contato, preenchendo a lacuna entre "onde" e "como" na manipulação robótica.
2. Conjunto de Dados Padronizado de Grande Escala: A criação de um dos maiores conjuntos de dados públicos de acessibilidade até o momento, apresentando 59.867 amostras de treinamento de alta qualidade com linguagem, máscaras e rótulos de movimento 3D centrados no objeto derivados de fontes heterogêneas.
3. Rastreamento de Movimento Centrado no Objeto: Uma estratégia de processamento de dados inovadora que rastreia o movimento do objeto em vez da garra, evitando o ruído de pré-contato e fornecendo uma representação direta da interação funcional.
4. Implantação Zero-Shot: A capacidade de implantar o modelo em robôs reais sem heurísticas específicas de tarefa ou ajuste fino (finetuning) específico de incorporação (embodiment).

Resultados Experimentais
O AFUN foi avaliado em 8 benchmarks de segmentação e 3 benchmarks de movimento, demonstrando desempenho superior em todas as métricas:

• Segmentação de Acessibilidade: O AFUN alcançou uma média de gIoU de 69,3% e cIoU de 67,2%, superando o baseline mais forte (Affordance-R1) em +23,9/+26,3 pontos. Também superou os baselines em regiões dependentes de intenção complexas (por exemplo, distinguir a lâmina de uma pá para "conter" versus um cabo para "usar").
• Previsão de Ponto de Contato: Usando o Polo de Inacessibilidade da máscara prevista, o AFUN obteve um ganho de taxa de acerto (hit rate) de 12,7%–61,3% sobre os melhores baselines (ex: 96,5% no InstructPart contra 35,2% para VRB).
• Previsão de Movimento 3D: O AFUN alcançou o menor Erro Médio de Deslocamento (ADE) e Erro de Deslocamento Final (FDE) em todos os três conjuntos de teste (conjunto de teste AFUN, SceneFun3D e RoboMIND2). Superou significativamente os baselines em taxas de acerto de Contato-na-Máscara (CIM) (ex: 81,0% no conjunto de teste AFUN contra 11,0% para VRB).
• Implantação em Robô Real: O modelo foi implantado em um braço Franka Research 3 para tarefas como abrir um micro-ondas, tirar a tampa de uma panela e abrir uma gaveta. Alcançou uma taxa de sucesso média de 90% sem qualquer ajuste fino específico do robô.

Significância e Alegações
O artigo afirma que o AFUN representa um passo significativo em direção a um modelo de fundação de acessibilidade de mundo aberto. Ao unificar a percepção de funcionalidade (máscara) com a ação executável (movimento 3D) e alavancar um enorme conjunto de dados padronizado, o AFUN demonstra a capacidade de se adaptar a tarefas de mundo aberto sem depender de dados de domínios estreitos ou heurísticas manuais. Os autores enfatizam que a capacidade do modelo de prever trajetórias 3D suaves e orientadas pela orientação (via splines de Bézier) permite manipulações complexas (como abertura rotacional) que são difíceis para abordagens de movimento baseadas em linhas ou discretas anteriores. O trabalho sugere um caminho prático para que robôs compreendam e executem diversas interações físicas em ambientes não estruturados.