Resumo Técnico: Affogato: Grounding de Acessibilidade de Vocabulário Aberto com Geração de Dados Automatizada em Escala

1. Definição do Problema

O grounding de acessibilidade (affordance grounding), a tarefa de localizar regiões de interação específicas em um objeto dada uma descrição em linguagem natural (ex: "onde segurar uma xícara"), é uma capacidade fundamental para agentes incorporados (embodied agents). No entanto, o progresso neste campo é severamente limitado por restrições de dados:

• Escalabilidade e Custo: A anotação manual de regiões de acessibilidade é proibitivamente cara e demorada.
• Escopo Limitado: Os conjuntos de dados existentes são restritos a um conjunto estreito de categorias pré-definidas de objetos e acessibilidades (vocabulário fechado), falhando em capturar a natureza aberta das interações do mundo real.
• Ambiguidade: As regiões de acessibilidade frequentemente possuem limites indistintos e variam significamente entre instâncias de objetos, tornando a localização precisa difícil sem supervisão diversificada.

Os conjuntos de dados 2D e 3D atuais dependem fortemente de rotulagem manual ou supervisão fraca proveniente de vídeos, o que introduz ruído e viés devido a oclusões e visões limitadas. Há uma falta crítica de conjuntos de dados de vocabulário aberto em larga escala que possam suportar a generalização para combinações de objeto-acessibilidade não vistas.

2. Metodologia

2.1 O Framework Affogato e o Pipeline Automatizado

Os autores apresentam o Affogato, um framework escalável centrado no Affogato-750K, um grande conjunto de dados gerado inteiramente sem rotulagem humana. A inovação central é um pipeline de anotação totalmente automatizado que orquestra múltiplos modelos de fundação para gerar 750 mil anotações de acessibilidade em 150 mil objetos 3D.

O pipeline opera em três estágios (Figura 2):

1. Geração de Consultas de Vocabulário Aberto: Usando o Gemma3 (um modelo de visão-linguagem), o sistema gera cinco consultas de acessibilidade em linguagem natural por objeto baseadas em renderizações multi-visão. Para garantir a relevância funcional, o pipeline utiliza Chain-of-Thought (CoT) (Cadeia de Pensamento), forçando o modelo a primeiro identificar a classe semântica do objeto e, em seguida, gerar consultas condicionadas à sua funcionalidade, em vez de depender apenas da forma.
2. Predição de Pontos de Interação: As consultas geradas são enviadas ao Molmo (um modelo multimodal) para prever coordenadas de pixels precisas que representam o ponto de interação mais provável em cada visão 2D.
3. Geração de Heatmap e Agregação: Os pontos preditos servem como prompts para o MobileSAM para gerar máscaras de segmentação 2D. O sistema adota uma estratégia de seleção de "menor máscara" para isolar estruturas de nível de parte (ex: alças, botões) em vez de silhuetas de todo o objeto. Essas máscaras 2D são projetadas na superfície do objeto 3D usando profundidade e parâmetros de câmera. Um mecanismo de votação multi-visão agrega as predições de 25 visões, reforçando regiões consistentes e suprimindo erros de visões individuais para produzir heatmaps de acessibilidade 3D robustos.

2.2 Os Modelos Espresso

Para isolar a contribuição do conjunto de dados das tendências arquiteturais, os autores propõem o Espresso-3D e o Espresso-2D. Estes são modelos mínimos e simétricos, projetados para nuvens de pontos 3D e imagens 2D, respectivamente.

• Arquitetura: Ambos consistem em um codificador visual específico da modalidade (PartField para 3D, DINOv2 para 2D), um codificador de texto (Recap-CLIP para 3D, CLIP para 2D) e um decodificador de heatmap condicionado a texto.
• Design: Ao contrário de métodos anteriores que utilizam embeddings de prompt aprendíveis, o Espresso usa embeddings de texto diretamente como queries no decodificador. Este design suporta inerentemente o grounding de vocabulário aberto sem categorias pré-definidas.

3. Principais Contribuições

1. Dataset Affogato-750K: Um grande conjunto de dados compreendendo 750 mil anotações de acessibilidade sobre 150 mil objetos 3D. Ele supera significativamente os datasets existentes em escala e diversidade, cobrindo mais de 450 classes de objetos e 350 tipos de acessibilidade (comparado a ~23 classes em datasets 3D anteriores). Inclui um split de teste de 5 mil itens verificados por humanos para avaliação confiável.
2. Pipeline de Geração de Dados Automatizado: Um novo pipeline que utiliza modelos de fundação (Gemma3, Molmo, MobileSAM) para gerar dados de acessabilidade de vocabulário aberto de alta qualidade em escala, eliminando a necessidade de anotação manual.
3. Modelos de Baseline Unificados (Espresso): Modelos simples, porém eficazes (Espresso-3D e Espresso-2D), que demonstram a eficácia do dataset. Os autores mostram que o pré-treinamento no Affogato-750K produz ganhos substanciais tanto para seus modelos quanto para métodos de estado da arte anteriores.

4. Resultados Experimentais

4.1 Grounding de Acessibilidade 3D

• Benchmark LASO: O pré-treinamento no Affogato-750K melhora consistentemente o desempenho no split de teste LASO, particularmente no cenário não visto (generalização zero-shot). Por exemplo, o PointRefer ganha +4.0% de aIoU em classes não vistas, e o Espresso-3D ganha +2.1% de aIoU.
• Split de Teste Affogato-750K: No próprio split de teste diversificado dos autores, o Espresso-3D supera o OpenAD e o PointRefer em configurações de domínio interno e cross-domain. Os resultados destacam a dificuldade de generalizar para a ampla distribuição do Affogato-750K, com lacunas de desempenho significativas permanecendo mesmo para os principais métodos.
• Transferência Cross-Domain: O treinamento em objetos "Daily-Used" (uso diário) transfere bem para "Furnitures" (móveis), mas o inverso é menos eficaz, atribuído ao maior volume e diversidade do conjunto de treinamento Daily-Used.

4.2 Grounding de Acessibilidade 2D

• Benchmark AGD20K: O Espresso-2D pré-treinado no Affogato-750K alcança resultados de estado da arte tanto em configurações zero-shot quanto totalmente supervisionadas no AGD20K.
• Generalização: Em avaliação zero-shot, o Espresso-2D alcança 40.2 SIM em splits vistos e 37.6 SIM em splits não vistos, superando significativamente baselines como LISA-7B e Molmo+SAM2.
• Ganhos Supervisionados: Mesmo quando ajustado (fine-tuned) no AGD20K, os modelos pré-treinados no Affogato-750K superam aqueles treinados do zero, confirmando a transferibilidade dos conceitos de acessibilidade aprendidos.

4.3 Análise

• Efeito de Escala: O desempenho melhora monotonicamente com o tamanho do subset de pré-treinamento (50K a 750K), confirmando que os ganhos são impulsionados pela escala e diversidade dos dados.
• Resolução: O treinamento em nuvens de pontos de alta resolução (16.384 pontos) produz melhores resultados do que baixa resolução (2.048 pontos), enfatizando a importância de detalhes geométricos finos.
• Synthetic-to-Real (Sintético para Real): Apesar de ser treinado em renderizações limpas do Objaverse, o Espresso-2D localiza acessibilidades com sucesso em imagens de espaços de trabalho robóticos reais e desordenados (Open X-Embodiment), demonstrando forte generalização de domínio.

5. Significância e Alegações

O artigo afirma que o Affogato fornece uma solução escalável para o gargalo de dados no grounding de acessibilidade. Ao automatizar a geração de anotações de vocabulário aberto, o framework permite a criação de datasets que são ordens de magnitude maiores e mais diversos do que o possível anteriormente.

Os autores enfatem que o Affogato-750K serve como uma fonte de supervisão amplamente transferível. As melhorias consistentes através de diferentes arquiteturas (Espresso, PointRefer, OpenAD) e modalidades (2D e 3D) sugerem que o dataset captura representações fundamentais e generalizáveis de funcionalidade de objetos. Embora o framework atualmente foque na localização de pontos de contato, os autores observam que a predição de dinâmicas mais granulares (ex: força, sequências temporais) permanece um desafio aberto para trabalhos futuros. O trabalho estabelece um novo benchmark para a IA incorporada, movendo o campo das restrições de vocabulário fechado em direção ao verdadeiro entendimento de vocabulário aberto.