Dynamic Graph Neural Network with Adaptive Features Selection for RGB-D Based Indoor Scene Recognition

1. Problema Abordado

O reconhecimento de cenas interiores é uma tarefa fundamental na visão computacional, mas enfrenta desafios significativos devido à diversidade de layouts espaciais, iluminação complexa e oclusão mútua entre objetos.

• Limitações dos Métodos Atuais: Trabalhos anteriores focaram predominantemente em características globais (extraídas via CNNs), que são insuficientes para representar cenas interiores desordenadas com layouts complexos. Embora métodos baseados em características locais tenham sido propostos, a seleção adaptativa e a exploração eficaz dessas características-chave em dados multimodais (RGB e Profundidade) permanecem como um problema aberto.
• Desafio Multimodal: A maioria dos métodos existentes não considera adequadamente as contribuições variáveis das modalidades de cor (RGB) e profundidade em diferentes cenas, nem modela dinamicamente as relações espaciais e semânticas entre os objetos locais.

2. Metodologia Proposta

Os autores propõem um Modelo de Grafos Dinâmicos com Mecanismo de Atenção que integra a extração de características globais e locais de forma adaptativa. A arquitetura é composta por quatro módulos principais:

A. Extração de Características

• Imagens RGB e mapas de profundidade são processados por duas redes ResNet (uma para cada modalidade) para extrair mapas de características globais e locais.
• A profundidade é codificada no formato HHA (Horizontal disparity, Height above ground, Angle with gravity) para melhor aproveitamento da informação geométrica.

B. Seleção Adaptativa de Nós (ANS - Adaptive Node Selection)

• Este é o núcleo da proposta. Um mecanismo de atenção (baseado em CBAM) é utilizado para gerar mapas de atenção que representam a importância de cada região local para o reconhecimento da cena.
• Seleção: Os $k$ locais com os maiores valores de atenção são selecionados como nós do grafo dinâmico. Isso permite focar apenas nas características discriminativas, ignorando ruído e informações irrelevantes.
• Hierarquia: Os nós selecionados são divididos em três níveis hierárquicos baseados na sua importância (valor de atenção):
  1. Nó Central Principal: O mais importante.
  2. Nós Centrais Secundários: Importância intermediária.
  3. Nós Folhas: Importância menor.

C. Construção e Atualização do Grafo Dinâmico

• Estrutura do Grafo: O grafo $G=(V, E)$ conecta os nós selecionados. As arestas são divididas em:
  • Intra-modalidade: Conexões dentro da mesma modalidade (RGB-RGB ou Profundidade-Profundidade).
  • Inter-modalidade: Conexões entre as modalidades (RGB-Profundidade).
• Conexões Esparsas: Em vez de um grafo totalmente conectado, o modelo utiliza conexões esparsas onde nós centrais se conectam a nós secundários, e nós secundários a folhas (baseado na distância euclidiana e importância).
• Atualização Dinâmica: Diferente de grafos estáticos, as conexões e os pesos são atualizados dinamicamente durante o treinamento. Um segundo mecanismo de atenção é aplicado na agregação e atualização dos nós para aprender automaticamente as contribuições variáveis de cada modalidade (RGB vs. Profundidade) em diferentes contextos de cena.

D. Fusão de Características

• As características locais otimizadas pelo grafo são concatenadas com as características globais de ambas as modalidades.
• Um classificador linear (com perda de entropia cruzada) é utilizado para a classificação final da cena.

3. Principais Contribuições

1. Seleção Adaptativa de Nós: Introdução de um módulo ANS baseado em atenção para selecionar automaticamente as características locais mais discriminativas de ambas as modalidades, evitando a necessidade de métodos de dois estágios complexos (como detecção de objetos prévia).
2. Modelo de Grafo Dinâmico: Proposta de um grafo que não apenas modela as relações entre objetos, mas também se atualiza dinamicamente. O modelo aprende automaticamente as contribuições distintas de cada modalidade (RGB e Profundidade) durante a atualização dos nós, superando a limitação de métodos que tratam as modalidades de forma estática.
3. Hierarquização de Nós: Divisão dos nós em três níveis (principal, secundário e folha) para capturar relações de proximidade e importância variada, permitindo uma representação mais rica da estrutura da cena.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois conjuntos de dados públicos padrão: SUN RGB-D e NYU Depth v2.

• Desempenho em SUN RGB-D:
  • O método proposto alcançou uma precisão média por classe (Mean-class Accuracy) de 57,7%.
  • Superou todos os métodos state-of-the-art (SOTA) comparados, incluindo abordagens baseadas em detecção de objetos e grafos estáticos (o próximo melhor foi 57,3%).
• Desempenho em NYU Depth v2:
  • O método alcançou 70,4% de precisão média por classe.
  • Novamente, superou todos os concorrentes, estabelecendo um novo estado da arte (o anterior era 69,3%).
• Estudos de Ablação:
  • Multimodalidade: A fusão de RGB e Profundidade superou significativamente o uso de modalidades únicas.
  • Estrutura do Grafo: A remoção do componente de grafo (apenas fusão simples) ou a remoção do mecanismo de atenção resultou em quedas significativas de desempenho (ex: queda de 6,4% no SUN RGB-D ao remover o grafo dinâmico).
  • Número de Nós ($k$): O valor $k=16$ foi o ótimo. Valores menores ($k=4, 9$) não capturavam a cena suficientemente, enquanto valores maiores ($k=25, 36$) introduziam ruído e informações distrativas.

5. Significância

Este trabalho é significativo por demonstrar que a seleção adaptativa de características locais combinada com a modelagem de relações via grafos dinâmicos é superior às abordagens baseadas apenas em características globais ou em grafos estáticos para reconhecimento de cenas interiores.

A principal inovação reside na capacidade do modelo de adaptar-se dinamicamente às características da cena, ponderando diferentemente as informações de cor e profundidade conforme o contexto, o que permite uma fusão mais eficaz e robusta. Isso abre caminho para sistemas de visão computacional mais inteligentes em robótica, parsing de cenas e recuperação de imagens, onde a compreensão da estrutura 3D e das relações espaciais é crítica.