MAPLE: Multi-Path Adaptive Propagation with Level-Aware Embeddings for Hierarchical Multi-Label Image Classification

Resumen Técnico: MAPLE para Clasificación Jerárquica Multi-Etiqueta

1. Planteamiento del Problema

La clasificación de imágenes de teledetección (RSI) requiere métodos que respeten la organización jerárquica de los tipos de cobertura terrestre (por ejemplo, el estándar CORINE). Aunque el aprendizaje profundo moderno es excelente para la clasificación multi-etiqueta plana (MLC), a menudo ignora la estructura taxonómica, lo que limita su utilidad en monitoreo ambiental y planificación urbana.

Los enfoques existentes de Clasificación Jerárquica Multi-Etiqueta (HMLC) enfrentan tres limitaciones principales:

1. Suposición de rutas únicas: Muchos asumen jerarquías de un solo camino, fallando cuando una imagen activa múltiples ramas taxonómicas (escenarios multi-path).
2. Ineficiencia o dependencia a corto plazo: Los diseños basados en redes son computacionalmente pesados, mientras que las formulaciones basadas en pérdidas a menudo pierden dependencias de largo alcance.
3. Falta de adaptación a datos escasos: La mayoría son puramente supervisados, lo que es problemático en escenarios de imágenes satelitales con pocas etiquetas (few-shot).

2. Metodología: El Framework MAPLE

Los autores proponen MAPLE (Multi-Path Adaptive Propagation with Level-Aware Embeddings), un marco que integra explícitamente la estructura multi-path y la semántica jerárquica. La arquitectura consta de cuatro componentes clave:

• Inicialización Semántica Jerárquica:
  En lugar de inicializar aleatoriamente los nodos de la etiqueta, MAPLE genera incrustaciones semánticas contextuales utilizando un transformador de oraciones pre-entrenado. Para cada nodo, se crea una descripción textual que combina el nombre de la etiqueta con sus relaciones de padre e hijo (ej. "La categoría 'barco' que es subcategoría de 'Áreas portuarias'..."). Estas descripciones se proyectan linealmente para inicializar los tokens de clase.

• Transformador Multi-Token y Representación Visual:
  Se extiende un Vision Transformer (ViT) estándar introduciendo $M$ tokens de clase aprendibles (uno por cada nodo en la jerarquía), en lugar de un solo token global. Estos tokens se prepone a los parches de la imagen, permitiendo que cada token aprenda patrones específicos de la etiqueta al atender a regiones relevantes de la imagen.

• Refinamiento Jerárquico Basado en Grafos (GNN):
  Para explotar explícitamente la jerarquía, se utiliza una red neuronal gráfica (GNN) tipo GraphSAGE sobre el grafo de etiquetas. Los tokens de salida del ViT se tratan como características iniciales de los nodos. A través de $L_g$ capas de paso de mensajes, la información se propaga entre nodos padres e hijos, permitiendo que las representaciones se enriquezcan con el contexto relacional de la taxonomía.

• Fusión Multimodal Adaptativa:
  Se emplea un mecanismo de "puerta" (gating) adaptativo para fusionar dinámicamente la información visual (del ViT) con la información semántica refinada (del GNN). Para cada nodo, se calculan pesos de fusión que determinan cuánto confiar en las señales visuales frente al contexto taxonómico aprendido, adaptándose a cada nivel de la jerarquía.

• Objetivo de Entrenamiento Unificado y Adaptativo:
  La cabecera de predicción genera logits para todos los nodos simultáneamente. Se utiliza una función de pérdida adaptativa por nivel:

  • Cross-Entropy (CE): Si el nivel es de etiqueta única.
  • Binary Cross-Entropy (BCE): Si el nivel es multi-etiqueta.
    Esto permite la supervisión simultánea en todas las resoluciones semánticas sin necesidad de ajuste manual de pesos de pérdida.

3. Contribuciones Clave

1. Arquitectura Multi-Token con Razonamiento Gráfico: Introducción de un transformador con tokens múltiples combinado con razonamiento jerárquico basado en grafos para HMLC multi-path en imágenes de teledetección.
2. Construcción de Jerarquías y Evaluación Amplia: Se construyeron jerarquías alineadas con CORINE para conjuntos de datos de teledetección (AID, DFC-15, MLRSNet) y se evaluó el modelo en 9 conjuntos de datos que abarcan teledetección, imágenes médicas y categorización visual de granularidad fina, demostrando generalización más allá de la observación terrestre (EO).
3. Eficiencia y Rendimiento en Escenarios Few-Shot: Demostración de un alto rendimiento con presupuestos de anotación limitados, logrando mejoras significativas con un sobrecosto paramétrico mínimo.

4. Resultados Experimentales

El modelo se evaluó principalmente en conjuntos de datos de teledetección (AID, DFC-15, MLRSNet) utilizando la métrica AUPRC (Área bajo la curva de Precisión-Recall).

• Comparación con Baselines Planos: MAPLE superó consistentemente a la clasificación multi-etiqueta plana (MLC) en todos los conjuntos de datos, con mejoras que van desde +0.56% (MLRSNet) hasta +3.61% (AID).
• Aprendizaje Few-Shot: En escenarios con muy pocas etiquetas (4 ejemplos por clase), MAPLE mostró mejoras relativas masivas:
  • AID: +25.0%
  • MLRSNet: +18.5%
  • DFC-15: +6.6%
  • En el régimen de 16 shots, la mejora en AID alcanzó un +41.9%.
• Estado del Arte (SOTA): MAPLE superó a métodos HMLC avanzados como C-HMCNN, HiMulConE y HMI, logrando el mejor AUPRC en los tres conjuntos de datos principales.
• Generalización: El modelo también mostró mejoras significativas en dominios no relacionados con la EO, como imágenes médicas (PadChest: +21.9%) y categorización de granularidad fina (Stanford Cars: +10.4%).
• Eficiencia: La arquitectura añade solo un 2.6% de sobrecarga de parámetros y un 0.7% de GFLOPs adicionales en comparación con la baseline plana, manteniendo una latencia de inferencia casi idéntica.

5. Significado e Impacto

El trabajo demuestra que codificar explícitamente las jerarquías de clases no solo mejora la precisión predictiva, sino que también aumenta la estabilidad y la robustez frente al ruido en las etiquetas.

• Regularización Estructural: Al restringir las predicciones a caminos jerárquicos válidos, MAPLE mitiga asignaciones de etiquetas inconsistentes y promueve salidas semánticamente coherentes.
• Interpretabilidad: El modelo ofrece predicciones interpretables al revelar cómo se propagan las decisiones a través de la jerarquía, lo cual es crucial para aplicaciones de alto riesgo como el monitoreo ambiental y el análisis médico.
• Viabilidad Operativa: Su equilibrio entre precisión y eficiencia lo hace práctico para escenarios operativos de observación terrestre a gran escala donde las anotaciones son limitadas.

En conclusión, MAPLE establece un nuevo estándar para la clasificación jerárquica multi-etiqueta, demostrando que la integración de conocimientos semánticos textuales, estructuras de grafos y visión por computadora puede resolver eficazmente los desafíos de la clasificación de imágenes en entornos con datos limitados y estructuras complejas.