Resumo Técnico: EgoAfford – Grounding de Affordance Orientado a Tarefas via Segmentação de Referência Egocêntrica

Formulação do Problema

A pesquisa atual em grounding de affordance tem se concentrado amplamente em ações elementares, localizando partes funcionais (ex: uma lâmina para cortar) para objetos únicos ou instruções de etapa única. No entanto, estender isso para tarefas de mesa complexas e de múltiplas etapas revela duas limitações críticas nas formulações predominantes:

1. Foco em Alvo Único: Os métodos existentes tipicamente realizam o grounding de uma região condicionada à ação sem atribuir explicitamente papéis semânticos (objeto direto, instrumento, destino) a múltiplos objetos participantes.
2. Escopo de Etapa Única: Mesmo formulações recentes bimanuais ou de nível de cena preveem affordances para uma única ação dada, em vez de inferir um procedimento restante condicionado ao progresso da tarefa.

O EgoAfford aborda essas lacunas formulando o grounding de affordance orientado a tarefas como um problema conjunto: dado uma imagem egocêntrica de mesa e uma tarefa de linguagem natural de alto nível, um modelo deve (i) gerar o plano de ação restante e (ii) segmentar as partes funcionais da próxima etapa da ação em três papéis específicos:

• Objeto Direto ($M_o$): O objeto sendo manipulado.
• Instrumento ($M_s$): A ferramenta usada para agir sobre o objeto (ausente para ações com as mãos nuas).
• Destino ($M_d$): O local alvo ou recipiente para transferência (ausente para ações no mesmo lugar).

Crucialmente, estas máscaras devem ser de nível de parte (ex: o bico de um bule, não o bule inteiro) e lidar com componentes ausentes (anotados como máscaras de valor zero).

Metodologia

O Benchmark EgoAfford

Os autores introduzem um benchmark abrangente consistindo de um conjunto de dados e um modelo de referência.

• Construção do Dataset: O dataset contém aproximadamente 15.537 imagens egocêntricas verificadas por humanos, derivadas de 2.000 cenas geradas de múltiplas etapas. Um pipeline generativo usando VLMs comerciais (ex: GPT-5.5, Gemini 3) cria sementes de tarefas, as decompõe em etapas e sintetiza imagens semanticamente alinhadas. Seguem-se processos rigorosos de verificação humana e correção de máscaras.
• EgoAfford-Real: Para avaliar a generalização, um conjunto de teste capturado manualmente com 102 imagens abrangendo 26 tarefas está incluído, sendo disjunto das cenas geradas.
• Protocolo de Anotação: As anotações definem três máscaras específicas de papel por etapa. O dataset suporta tarefas de múltiplos ramos onde múltiplas próximas ações válidas existem, exigindo que os modelos selecionem a ação mais apropriada e realizem o grounding de seus componentes.

O Modelo de Referência EgoLens

Para estabelecer uma linha de base forte, os autores apresentam o EgoLens, um Multi-Modal Large Language Model (MLLM) de 3 bilhões de parâmetros projetado para esta tarefa conjunta.

• Arquitetura: Construído sobre a arquitetura LENS com um backbone Qwen2.5-VL 3B. Ele utiliza queries de grounding aprendíveis passadas através de três decodificadores de máscara paralelos e específicos por papel (um para cada componente: $M_o, M_s, M_d$). Este design arquitetural garante o vínculo semântico entre as máscaras e seus papéis sem depender exclusivamente de geração de texto.
• Estratégia de Treinamento: O modelo é treinado com um template de prompt unificado. Ele gera um traço de planejamento de Cadeia de Pensamento (CoT) (forçado pelo professor durante o treinamento) seguido por uma resposta estruturada contendo o plano restante e as três máscaras de componentes. A função de perda combina perda de modelagem de linguagem (supervisionando apenas os tokens da resposta estruturada) e perda de segmentação (BCE + Dice para máscaras não vazias, apenas BCE para máscaras vazias).
• Inferência: O modelo gera de forma autorregressiva o plano completo e as três máscaras de componentes em uma única passagem forward baseada na imagem e na descrição da tarefa.

Contribuições Principais

1. Formulação Orientada a Tarefas: O artigo define o grounding de affordance de múltiplas etapas orientado a tarefas como um problema conjunto de geração de plano restante e grounding de nível de parte, instanciando-o no benchmark EgoAfford.
2. Modelo EgoLens: Um MLLM de referência que simultaneamente gera o plano restante e prevê três máscaras de componentes específicas de papel, abordando o desafio de acoplar planejamento com grounding de grão fino.
3. Avaliação Abrangente: Avaliações extensas tanto em observações geradas quanto em mundo real, caracterizando os desafios específicos de inferência de próxima etapa e grounding de parte condicionado ao papel da ação.

Resultados Experimentais

O artigo avalia modelos de segmentação de referência recentes (Sa2VA, UniPixel, LENS, OMG-LLaVA), pipelines comerciais VLM–SAM2 e o EgoLens.

• Desempenho de Tarefa Completa: O EgoLens estabelece um forte desempenho de referência, alcançando 0.700 gIoU e 0.486 cIoU no conjunto de teste gerado. Isso supera significativamente o pipeline comercial mais forte (GPT-5.5 + SAM2, 0.476 gIoU) e baselines de código aberto, que frequentemente falham em retornar todas as três máscaras específicas de papel em uma única passagem.
• Generalização para o Mundo Real: No EgoAfford-Real (transferência zero-shot), o EgoLens atinge 0.666 gIoU e 0.455 cIoU, superando o pipeline GPT-5.5 + SAM2 em 9.7 pontos em gIoU. Isso sugere que o EgoLens fornece previsões de nível de amostra mais consistentes.
• Desmembramento de Inferência e Grounding: Quando fornecido com uma etapa de referência (removendo o fardo do planejamento), o EgoLens-Seg atinge 0.839 gIoU. A queda no desempenho quando a etapa de referência é removida destaca que a inferência da próxima etapa continua sendo uma fonte substancial de erro.
• Análise de Componentes: O EgoLens demonstra localização robusta para alvos não vazios (NE-mIoU de 0.668 para Objetos Diretos, 0.614 para Instrumentos e 0.568 para Destinos), confirmando que o desempenho não é impulsionado apenas pelo reconhecimento de componentes ausentes.

Significância e Alegações

O artigo postula que o EgoAfford e o EgoLens fornecem uma base para estudar conjuntamente percepção e planejamento em tarefas de mesa de múltiplas etapas. Os autores afirmam que:

• Desafios Complementares: O benchmark destaca as dificuldades complementares de inferência de próxima etapa (planejamento) e o grounding de parte condicionado ao papel da ação.
• Grounding Específico de Papel: Ir além das formulações de objeto único para modelar explicitamente objetos diretos, instrumentos e destinos captura como múltiplos objetos participam de uma tarefa.
• Direção Futura: O trabalho sugere um caminho para conectar o grounding estruturado por papéis com a execução incorporada, onde os componentes identificados servem como argumentos explícitos para habilidades de manipulação reutilizáveis (ex: derramar(origem, destino)), oferecendo uma alternativa agêntica aos Modelos de Ação de Mundo (World Action Models) de ponta a ponta.

Os autores reconhecem limitações, observando que o dataset é amplamente gerado (carecendo da fidelidade visual e desordem de ambientes naturais) e que a avaliação de imagem estática não captura a viabilidade de movimento ou o sucesso de loop fechado. Eles também observam que o EgoLens é treinado em um único caminho válido, o que pode limitar sua capacidade de lidar com soluções alternativas.