MAPLE: Multi-Path Adaptive Propagation with Level-Aware Embeddings for Hierarchical Multi-Label Image Classification

Título: MAPLE: Propagação Adaptativa Multi-Caminho com Embeddings Conscientes de Nível para Classificação Hierárquica Multi-Rótulo de Imagens

1. O Problema

A classificação de imagens de sensoriamento remoto (RSI) exige métodos que respeitem a organização hierárquica dos tipos de cobertura do solo (ex: padrões CORINE). Embora a aprendizagem profunda moderna seja excelente na classificação multi-rótulo "plana" (flat), ela frequentemente ignora a estrutura taxonômica, limitando sua utilidade em monitoramento ambiental e planejamento urbano.

Os desafios principais identificados na Classificação Hierárquica Multi-Rótulo (HMLC) existente são:

• Limitação em Cenários Multi-Caminho: Muitas abordagens assumem hierarquias de caminho único, falhando quando uma imagem ativa múltiplos ramos taxonômicos simultaneamente.
• Ineficiência Computacional ou Perda de Dependências: Projetos baseados em redes são pesados computacionalmente, enquanto formulações baseadas apenas em perda (loss-based) falham em capturar dependências de longo alcance.
• Dependência de Dados Rotulados: A maioria dos métodos é puramente supervisionada, o que é problemático dado o cenário de baixo número de rótulos (few-shot) prevalente em imagens de satélite.

2. Metodologia: O Framework MAPLE

O MAPLE (Multi-Path Adaptive Propagation with Level-Aware Embeddings) é um framework projetado para codificar explicitamente estruturas multi-caminho em HMLC. A arquitetura integra três componentes principais:

A. Inicialização Semântica Hierárquica

Em vez de inicialização aleatória, os nós do grafo de rótulos são inicializados com embeddings semânticos derivados de descrições contextuais.

• Mecanismo: Gera-se uma descrição textual $\tau(\ell)$ para cada nó, combinando o nome do rótulo com suas relações de pai e filho.
• Processamento: Um sentence transformer pré-treinado codifica essa descrição, que é então projetada linearmente para a dimensão do modelo. Isso fornece embeddings que refletem a organização hierárquica da taxonomia antes mesmo do treinamento visual.

B. Representação Visual e Transformer Multi-Token

O modelo estende o Vision Transformer (ViT) padrão:

• Multi-Token: Introduz $M = |V|$ tokens de classe aprendíveis (um para cada nó da hierarquia), em vez de um único token global.
• Atenção: Cada token de classe aprende padrões específicos do rótulo, atendendo a regiões relevantes da imagem.
• Integração: As características visuais são projetadas em um espaço latente comum para fusão com os embeddings semânticos.

C. Refinamento Baseado em Grafos (GNN)

Para explorar explicitamente a hierarquia, utiliza-se uma Rede Neural de Grafos (GNN), especificamente estilo GraphSAGE.

• Propagação: Os tokens de saída do ViT servem como características iniciais para um processo de passagem de mensagens no grafo de rótulos $G$.
• Iteração: Através de $L_g$ camadas, os nós agregam informações de vizinhos (pais e filhos), criando embeddings robustos e conscientes da hierarquia. Isso permite que nós pais agreguem características de seus filhos e vice-versa.

D. Fusão Multimodal Adaptativa e Objetivo de Treinamento

• Fusão Adaptativa: Um mecanismo de gating (portão) adaptativo combina dinamicamente a representação visual ($z$) e o embedding refinado do token ($e_v$) para cada nó. O modelo decide, por rótulo, quanto confiar em pistas visuais versus contexto taxonômico aprendido.
• Objetivo de Perda Adaptativo: Utiliza uma função de perda unificada que se adapta ao nível da hierarquia:
  • Cross-Entropy (CE): Se o rótulo verdadeiro no nível for único.
  • Binary Cross-Entropy (BCE): Se houver múltiplos rótulos.
  • A perda total é a média sobre todos os níveis, permitindo supervisão simultânea em todas as resoluções sem ajuste manual de pesos.

3. Contribuições Principais

1. Arquitetura Multi-Token com Raciocínio Hierárquico: Introdução de um transformer com tokens de classe múltiplos e raciocínio baseado em grafos para HMLC multi-caminho em sensoriamento remoto.
2. Construção de Hierarquias e Generalização: Construção de hierarquias multi-caminho alinhadas com CORINE para conjuntos de dados de sensoriamento remoto (AID, DFC-15, MLRSNet) e avaliação em nove datasets abrangendo sensoriamento remoto, imagens médicas e categorização visual de alta granularidade.
3. Eficiência e Desempenho em Few-Shot: Demonstração de forte desempenho sob orçamentos de anotação limitados, alcançando ganhos significativos com sobrecarga mínima de parâmetros.

4. Resultados Experimentais

O MAPLE foi avaliado em três datasets de sensoriamento remoto e comparado com baselines planos e métodos state-of-the-art (SOTA).

• Comparação Hierárquica vs. Plana:

  • O MAPLE superou consistentemente a baseline plana (MLC) em todos os datasets.
  • Ganhos variaram de 0,56% (MLRSNet) a 3,61% (AID) na métrica AUPRC (Área sob a Curva de Precisão-Recall).
  • Melhorias foram mais pronunciadas em datasets com estruturas hierárquicas ricas e tamanhos moderados.

• Aprendizado Few-Shot (Poucos Exemplos):

  • O modelo demonstrou robustez extrema com poucos dados.
  • No cenário de 4 shots (4 exemplos por classe), o MAPLE obteve ganhos relativos massivos: +25,0% no AID, +18,5% no MLRSNet e +6,6% no DFC-15.
  • Isso confirma que a propagação hierárquica atua como um forte viés indutivo, melhorando a eficiência dos rótulos.

• Comparação com o Estado da Arte (SOTA):

  • O MAPLE superou métodos como C-HMCNN, HiMulConE e HMI em todos os três datasets de sensoriamento remoto, alcançando o melhor AUPRC na folha da hierarquia (ex: 0,872 no AID vs. 0,770 do HiMulConE).

• Generalização:

  • O modelo generalizou bem para domínios não relacionados a EO, como imagens médicas (PadChest: +21,9% de ganho) e categorização de alta granularidade (ETHEC).

• Eficiência Computacional:

  • O framework adicionou apenas 2,6% de sobrecarga de parâmetros e 0,7% de GFLOPs em relação à baseline plana, mantendo a latência de inferência quase inalterada.

5. Significado e Conclusão

O MAPLE demonstra que codificar explicitamente hierarquias de classes não apenas melhora a precisão preditiva, mas também aumenta a estabilidade e a robustez a ruídos nos rótulos.

• Regularização Estrutural: Ao restringir previsões a caminhos hierárquicos válidos, o modelo mitiga atribuições de rótulos inconsistentes e promove saídas semanticamente coerentes.
• Interpretabilidade: O framework oferece previsões interpretáveis, revelando como as decisões se propagam pela hierarquia, o que é crucial para aplicações de monitoramento e confiança.
• Viabilidade Operacional: A eficiência e a eficiência de rótulos tornam o MAPLE prático para cenários operacionais de grande escala onde as anotações são limitadas.

O trabalho sugere que a modelagem hierárquica é essencial para a previsão de saída estruturada, especialmente em regimes de dados escassos, e abre caminho para futuras pesquisas em aprendizado semi-supervisionado e descoberta automática de hierarquias.