Token-Based Affordance Grounding with Large Vision-Language Models

Resumo Técnico: Fundamentação de Acessibilidade Baseada em Tokens com Grandes Modelos de Visão-Linguagem (TokAG)

Definição do Problema
A fundamentação de acessibilidade (affordance grounding) visa localizar regiões específicas de imagens que suportam potenciais ações humanas, uma capacidade essencial para a inteligência física e percepção incorporada. Embora avanços recentes em aprendizado fracamente supervisionado tenham utilizado imagens exocêntricas com supervisão ao nível da ação, esses métodos enfrentam duas limitações primárias:

1. Ambiguidade Visual em Ações Coocorrentes: Imagens exocêntricas frequentemente contêm múltiplas ações simultâneas (ex: "segurar" e "escovar com" uma escova de dentes). Os métodos existentes têm dificuldade em isolar evidências visuais específicas de uma ação, levando a mapas de calor idênticos ou mal localizados para diferentes ações na mesma imagem.
2. Insuficiência Semântica: As abordagens atuais dependem de frases de ação breves (ex: "empurrar") que carecem do detalhamento semântico rico necessário para distinguir ações semanticamente semelhantes (ex: "empurrar" vs. "sentar em" uma motocicleta) que exigem fundamentação em partes funcionais distintas (manete vs. assento).

Embora os Grandes Modelos de Visão-Linguagem (LVLMs) codifiquem uma rica semântica de ação e seus outputs textuais contenham implicitamente pistas espaciais, eles são otimizados para geração de texto, não para localização espacial refinada. Consequentemente, os LVLMs não geram diretamente mapas espaciais específicos de ação, e seus mecanismos de atenção interna frequentemente exibem padrões difusos que atendem a regiões irrelevantes do plano de fundo em vez de áreas funcionais alvo.

Metodologia: TokAG
Os autores propõem o TokAG, um framework de fundamentação de acessibilidade zero-shot que aproveita os sinais semântico-espaciais latentes dentro de LVLMs pré-treinados sem supervisão externa ou treinamento específico para a tarefa. O pipeline opera da seguinte forma:

1. Entrada e Geração: Dada uma imagem egocêntrica e um prompt de texto (ex: "Quando as pessoas realizam [Ação] com [Objeto], qual parte do [Objeto] é utilizada?"), um LVLM congelado (ex: Qwen3-VL) gera uma sequência de tokens de saída.
2. Agregação de Atenção: O framework extrai mapas de atenção cross-modal entre os tokens de saída gerados e os patches visuais. Reconhecendo que as pistas de acessibilidade estão distribuídas por diferentes camadas e cabeças de atenção, o método agrega os pesos de atenção através de todas as camadas e cabeças para cada token de saída para capturar pistas semântico-espaciais distribuídas.
3. Seleção de Token com Consciência Espacial: Para abordar a difusão da atenção e o ruído de fundo, o método introduz uma restrição espacial. Usando uma máscara binária de objeto (gerada pelo CLIPSeg) para o objeto alvo, o sistema calcula uma "pontuação de sobreposição" para cada mapa de atenção agregado, medindo os valores de ativação estritamente dentro da região do objeto.
4. Seleção de Token e Geração de Mapa de Calor: O framework seleciona o único token de saída ($t^*$) que produz a maior pontuação de ativação sobre a área do objeto alvo. O mapa de atenção correspondente a este token selecionado é upsampled para as dimensões originais da imagem para produzir o mapa de calor de acessibilidade final.

Principais Contribuições

• Framework Zero-Shot: O TokAG é o primeiro framework de fundamentação de acessibilidade zero-shot que elimina a necessidade de supervisão específica de acessibilidade ao explorar sinais de nível de token em LVLMs.
• Seleção de Token com Consciência Espacial: Os autores propõem um mecanismo que avalia sistematicamente os tokens de saída com base em sua ativação focada no objeto, em vez de depender de mapas de atenção arbitrários ou poda estrutural. Isso transforma sinais semânticos implícitos em mapas espaciais precisos.
• Interpretabilidade e Análise: O artigo fornece uma análise empírica mostrando que os tokens selecionados frequentemente correspondem a partes funcionais significativas de objetos (ex: "lâmina", "assento", "manete"). Além disso, a análise indica que backbones de LVLM mais fortes (ex: 32B vs. 2B) selecionam tokens semanticamente mais relevantes, correlacionando-se com um melhor desempenho de fundamentação.

Resultados Experimentais
O TokAG foi avaliado em dois conjuntos de dados de referência: AGD20K e HICO-IIF. O método foi comparado contra abordagens fracamente supervisionadas de última geração e baselines baseados em modelos de fundação.

• Desempenho no AGD20K: No split não visto (Set 2), o TokAG (usando um modelo 2B) alcançou um NSS de 1.514, um melhoria de 10,7% sobre o método fracamente supervisionado anterior mais forte (Moon et al., 1.368). Também alcançou o menor KLD (1.060) e o maior SIM (0.455).
• Desempenho no HICO-IIF: O TokAG alcançou um NSS de 1.655 (com o modelo 32B), representando um aumento de 29,7% sobre os baselines fracamente supervisionados existentes (1.234).
• Comparação com Modelos de Fundação: O prompting direto de LVLMs para coordenadas ou a combinação de LVLMs com modelos de segmentação (ex: SAM 3, GroundingDINO) resultou em desempenho significativamente inferior. A abordagem do TokAG de extrair sinais espaciais diretamente dos mapas de atenção provou ser superior à previsão de coordenadas ingênua ou a pipelines de múltiplos estágios.
• Estudos de Ablação: Experimentos confirmaram que agregar a atenção em todas as camadas e cabeças supera a seleção de camadas ou cabeças específicas. Adicionalmente, a estratégia de seleção de Top-1 token com consciência espacial superou heurísticas como usar o primeiro/último token ou a média de todos os tokens.

Significância e Alegações
O artigo afirma que o TokAG estabelece um novo estado da arte para a fundamentação de acessibilidade zero-shot. Sua principal significância reside em demonstrar que os LVLMs, apesar de serem modelos de geração de texto, contêm conhecimento espacial implícito suficiente para realizar a localização precisa de ações quando acessados via análise de atenção ao nível de token.

Os autores observam que, embora o framework seja altamente eficaz, ele atualmente assume que as acessibilidades podem ser representadas por um único token semântico. Eles reconhecem limitações em lidar com acessibilidades composicionais (que exigem múltiplas regiões, ex: "derramar de") e interações bimanuais. No entanto, o trabalho fornece uma abordagem fundamental, livre de treinamento, que avança significativamente o campo ao preencher a lacuna entre a compreensão semântica de alto nível e a localização espacial de baixo nível sem exigir anotações de nível de pixel caras.