Resumo Técnico: PoseRefer

Declaração do Problema

O artigo aborda a resolução de referência exocêntrica em robótica: a tarefa de identificar um objeto específico em uma cena 3D com base em uma combinação de linguagem naturalista e gestos (por exemplo, um humano apontando e dizendo "coloque a xícara naquela ali"). Embora a ancoragem em imagens 2D seja bem estudada, a ancoragem em 3D em cenários de robótica doméstica permanece pouco explorada.

Os benchmarks 3D existentes sofrem de limitações significativas na captura de interação naturalista:

• ScanRefer, Sr3D/Nr3D: Utilizam descrições post-hoc em varreduras estáticas sem dados corporais do falante.
• Ges3ViG: Baseia-se em linguagem gerada por modelos e poses 2D sintéticas.
• YouRefIt: Captura apontamento de um único usuário encenado para uma câmera.

Esses conjuntos de dados sintéticos ou encenados falham em capturar o regime onde aproximadamente metade das referências ocorre sem gestos de apontamento claros. Além disso, arquiteturas existentes frequentemente entrelaçam embeddings de categoria com os caminhos de pose e texto através de parâmetros compartilhados, tornando difícil isolar a contribuição específica de cada modalidade ou o impacto das escolhas de representação de categoria no desempenho da fusão.

Metodologia: PoseRefer

Os autores propõem o PoseRefer, um sistema avaliado no conjunto de dados MM-Conv, que contém ~4.200 expressões de referência de interações VR diádicas com captura de movimento de corpo inteiro (SMPL-X) e grafos de cena 3D verdadeiros.

1. Arquitetura de Fusão Tardia Desacoplada

A contribuição metodológica central é uma arquitetura de fusão tardia desacoplada onde os caminhos de pose e texto operam independentemente, sem parâmetros aprendidos compartilhados (nem pesos de MLP nem tabelas de embedding de categoria).

• Caminho de Pose:
  • Calcula afordância angular temporal: Calcula o ângulo entre os centróides dos objetos e os canais do falante (braços, cabeça, corpo) ao longo de uma janela temporal alinhada com a fala.
  • Recursos: Um vetor de 6 dimensões derivado de pontuações de kernel Gaussiano desses ângulos.
  • Embedding: Concatenado com um embedding de categoria aprendido de 16 dimensões específico ao caminho de pose.
  • Processamento: Passado por um codificador e classificador de 2 camadas para produzir uma pontuação de pose ($s_{pose}$).
• Caminho de Texto:
  • Codifica a fala usando um modelo MiniLM-L6 congelado (384-D), projetado para 128-D.
  • Variação Crucial: O caminho incorpora informações de categoria por objeto de duas maneiras durante a ablação:
    1. Aprendido: Um embedding de categoria aprendido de 16 dimensões.
    2. Congelado (Padrão): Uma codificação MiniLM congelada de 384-D do nome da categoria canônica.
  • Processamento: Passado por um classificador de 2 camadas para produzir uma pontuação de texto ($s_{text}$).
• Fusão:
  • As pontuações são normalizadas-z e combinadas via um portão escalar aprendido ($\alpha$):
    $$s_n = \alpha \hat{s}_{pose} + (1 - \alpha) \hat{s}_{text}$$
  • $\alpha$ é um único escalar aprendido por execução de treinamento, inicializado em 0,5.

2. Configuração Experimental

• Conjunto de Dados: MM-Conv (5 cômodos, 42–61 objetos/cômodo). As referências são estratificadas em níveis de apontamento (T1, T2, T5) e não-apontamento (T3, T4).
• Treinamento: Validação cruzada Leave-One-Room-Out (LORO).
• Ablação: A arquitetura permite a ablação controlada das contribuições de categoria em cada caminho independentemente, isolando o efeito da representação de categoria (aprendida vs. congelada) na fusão.

Principais Contribuições

1. Posicionamento: Estabelece dados de gestos referenciais naturalistas como um campo de testes crítico, destacando que ~45% das referências carecem de apontamento claro, um regime largamente excluído por benchmarks sintéticos.
2. Método: Introduz uma arquitetura de fusão tardia desacoplada com embeddings de categoria locais ao caminho. Este design permite ablações controladas para distinguir entre ganhos de fusão e artefatos causados por escolhas de representação de categoria.
3. Descobertas Empíricas:
   • Sensibilidade do Portão: O portão de fusão $\alpha$ altera políticas baseando-se exclusivamente na disponibilidade de categoria. Sem categoria no caminho de texto, $\alpha \approx 0,84$ (confiando na pose); com categoria, $\alpha \approx 0,22$ (confiando no texto). Esta é uma resposta arquitetônica determinística, não ruído de treinamento.
   • Complementaridade Assimétrica: A pose domina referências de apontamento (T1/T2/T5), enquanto o texto domina referências de não-apontamento (T3/T4).
   • Desempenho: Com embeddings de categoria MiniLM congelados no caminho de texto, o modelo fundido alcança 31,9% de precisão top-1, superando as linhas de base apenas-pose (18,8%) e apenas-texto (25,0%) em todos os tipos de referência.
4. Implicação de Confiabilidade: Demonstra que ganhos de fusão em arquiteturas com codificadores compartilhados ou tabelas de categoria compartilhadas podem refletir a escolha da representação de categoria em vez do mecanismo de fusão em si.

Resultados

• Desempenho Agregado: A melhor configuração (PTminilm: Pose + Texto com categorias MiniLM congeladas) atinge 31,9% top-1 e 60,2% top-5.
• Ganhos: Isso representa um ganho de 13,1 pontos sobre a pose sozinha e um ganho de 6,9 pontos sobre a configuração apenas-texto mais forte.
• Comparação com Oráculo: O modelo fundido excede o "oráculo singleton" (que seleciona a melhor modalidade única por subconjunto) em 4,3 pontos, provando que o mecanismo de fusão combina efetivamente sinais complementares dentro das amostras em vez de apenas alternar subconjuntos.
• Impacto da Representação de Categoria: O uso de embeddings aprendidos de 16 dimensões para categorias no caminho de texto reduz o desempenho para 28,2% (uma queda de 3,7 pontos), apesar da arquitetura idêntica. Isso destaca que a qualidade da representação de categoria (espaço semântico congelado vs. vetores esparsos aprendidos) é um confundidor oculto na avaliação de fusão.

Significado e Alegações

O artigo argumenta que a representação de categoria é um confundidor oculto na avaliação de sistemas de ancoragem semântica.

• Valor Diagnóstico: A configuração desacoplada revela que alegações de precisão de fusão são frequentemente indistinguíveis de artefatos de representação de categoria, a menos que os caminhos sejam arquitetonicamente desacoplados.
• Padrão de Relatório: Os autores motivam que futuras avaliações de fusão multimodal para ancoragem semântica devem relatar tanto representações de categoria aprendidas quanto congeladas para garantir confiabilidade.
• Necessidade Naturalista: Benchmarks sintéticos que excluem referências de não-apontamento falham em capturar o sinal complementar (pose vs. texto) no qual os métodos de fusão dependem.

O trabalho conclui que, para que a seleção de ações a jusante em robótica seja confiável, a contribuição das representações de categoria deve ser isolada e variada, e dados naturalistas incluindo referências de não-apontamento são essenciais para uma avaliação válida.