Resumen Técnico: Elecciones de Diseño que Importan en la Clasificación Multietiqueta de Teledetección

Planteamiento del Problema

La evaluación comparativa (benchmarking) de modelos de aprendizaje profundo (DL) para la clasificación multietiqueta (MLC) de imágenes de teledetección (RSI) suele producir clasificaciones del rendimiento de los modelos. Sin embargo, estas clasificaciones a menudo no se generalizan más allá de los conjuntos de datos específicos en los que fueron evaluadas. El rendimiento de los modelos de DL está influenciado por una compleja interacción de factores, incluyendo la arquitectura de la red, las estrategias de entrenamiento (por ejemplo, ajuste fino frente a pre-entrenado) y la inicialización. Además, las propiedades intrínsecas del conjunto de datos —como la escala, la resolución espacial y la complejidad del espacio de etiquetas— afectan significativamente qué elecciones de diseño son efectivas. Los enfoques actuales de benchmarking, que dependen de simples clasificaciones de rendimiento, no proporcionan información procesable sobre por qué ciertas elecciones funcionan para conjuntos de datos específicos o cómo estas elecciones interactúan. Existe la necesidad de pasar de las clasificaciones estáticas hacia una comprensión sistemática de cómo las elecciones de diseño y sus interacciones contribuyen a la variabilidad del rendimiento en diferentes regímenes de datos.

Metodología

Los autores emplean el Análisis de Varianza Funcional (fANOVA) para descomponer la varianza en el rendimiento del modelo en contribuciones de las elecciones de diseño individuales y sus interacciones. El estudio utiliza un marco fANOVA extendido aplicado a dos escenarios de benchmarking distintos a través de siete conjuntos de datos de RSI.

Escenarios Experimentales

1. Escenario 1 (Extremo a Extremo vs. Extracción de Características): Basado en Stoimchev et al. [9], este escenario evalúa 48 modelos de DL. Investiga si las CNN utilizadas como predictores de extremo a extremo superan a aquellas utilizadas como extractores de características combinados con modelos basados en árboles (Random Forest, Extra Trees). Las elecciones de diseño analizadas son:
   • Arquitectura de Red: Variantes de VGG, ResNet y EfficientNet.
   • Estrategia de Ajuste Fino (Fine-tuning): Pre-entrenado (capas congeladas) vs. Ajuste fino (todas las capas actualizadas).
   • Estrategia de Aprendizaje: Extremo a extremo vs. Extracción de características con clasificadores posteriores.
2. Escenario 2 (Arquitectura e Inicialización): Basado en Dimitrovski et al. [8], este escenario evalúa 20 modelos de DL, incluyendo CNN y Transformers (ViT, SwinT, etc.). Las elecciones de diseño son:
   • Arquitectura de Red: AlexNet, VGG, ResNet, DenseNet, EfficientNet, ViT, MLP-Mixer, ConvNeXt, SwinT.
   • Estrategia de Inicialización: Desde cero vs. Pre-entrenado.

Pipeline de Análisis

1. Meta-representaciones de los Conjuntos de Datos: Para cada conjunto de datos, se aplica fANOVA a las puntuaciones de rendimiento de los modelos evaluados. Esto genera un vector de meta-representación que captura la importancia de los efectos principales (módulos individuales) y los efectos de interacción (pareados y de orden superior).
2. Clustering: Se aplica clustering jerárquico a estas meta-representaciones para agrupar los conjuntos de datos basándose en sus "perfiles de sensibilidad a las elecciones de diseño" en lugar de en sus niveles de rendimiento bruto.
3. Correlación con Meta-características: Los clusters resultantes se analizan frente a las meta-características intrínsecas del conjunto de datos (por ejemplo, número de muestras, resolución espacial, cardinalidad de etiquetas) para identificar patrones.

Contribuciones Clave

El artículo realiza cuatro contribuciones principales:

1. Cuantificación del Impacto de las Elecciones de Diseño: Aplica fANOVA a dos escenarios de benchmarking de MLC (48 y 20 modelos) a través de siete conjuntos de datos de RSI, cuantificando la contribución específica de las elecciones de diseño individuales y sus interacciones a la variabilidad del rendimiento.
2. Meta-representaciones de los Conjuntos de Datos: Construye meta-representaciones a partir de las puntuaciones de importancia de fANOVA. El clustering jerárquico de estas representaciones revela que los conjuntos de datos se agrupan naturalmente por su sensibilidad a las elecciones de diseño, en lugar de por la magnitud de su rendimiento general.
3. Identificación de Regímenes de Rendimiento: El estudio demuestra que el factor dominante que gobierna el rendimiento cambia según el régimen del conjunto de datos:
   • Gran Escala: Impulsado por la estrategia de ajuste fino y la arquitectura.
   • Datos Limitados: Gobernado por la estrategia de inicialización.
   • Intermedio: Caracterizado por interacciones entre la arquitectura y las estrategias de aprendizaje/inicialización.
4. Reinterpretación de las Conclusiones de Benchmarking: Reinterpreta las conclusiones de estudios establecidos [8, 9] como condicionales al conjunto de datos en lugar de universales, proporcionando directrices conscientes del conjunto de datos para la selección de modelos.

Resultados

El análisis revela patrones distintos en cómo las elecciones de diseño influyen en el rendimiento a través de diferentes escalas de conjuntos de datos:

• Variabilidad del Rendimiento Bruto: Conjuntos de datos como Ankara y AID mostraron distribuciones de rendimiento ajustadas (baja sensibilidad a las elecciones de diseño), mientras que conjuntos de datos como BigEarthNet y MLRSNet mostraron distribas amplias (alta sensibilidad).
• Descomposición de la Varianza:
  • En el Escenario 1, los efectos individuales dominaron, con elecciones únicas explicando más del 80% de la varianza en algunos casos. Las interacciones pareadas fueron sustanciales pero menores; las interacciones de tres vías fueron insignificantes.
  • En el Escenario 2, los efectos individuales también dominaron, pero las interacciones pareadas siguieron siendo no despreciables (8–20%), lo que indica que la combinación de arquitectura e inicialización impacta significativamente el rendimiento.
• Clustering y Análisis de Regímenes:
  • Cluster 1 (Gran Escala: BigEarthNet-19/43, MLRSNet): El rendimiento es impulsado principalmente por la estrategia de ajuste fino (Escenario 1) y la elección de arquitectura (Escenario 2). Adaptar los pesos pre-entrenados es crucial, y el ajuste fino mejora el rendimiento de manera uniforme en todas las arquitecturas en este régimen.
  • Cluster 2 (Datos Limitados: Ankara, UCM, AID): En conjuntos de datos pequeños, la inicialización (pre-entrenamiento) es decisiva. Aprender representaciones fuertes desde cero es difícil; el pre-entrenamiento reduce significativamente el sobreajuste y mejora la generalización. En el Escenario 1, la arquitectura se vuelve más influyente aquí, con modelos más simples (por ejemplo, VGG) superando a veces a los más profundos en datos de baja resolución y pocos datos.
  • Cluster 3 (Intermedio: DFC-15, PlanetUAS): Tanto la arquitectura como las estrategias de inicialización/aprendizaje son importantes, y sus interacciones se vuelven no despreciables. Por ejemplo, ciertas arquitecturas (por ejemplo, ConvNeXt, VGG16) se benefician más del pre-entrenamiento que otras (por ejemplo, ResNet152), lo que requiere una configuración conjunta cuidadosa.

Significación y Afirmaciones

El artículo afirma que sus hallazgos proporcionan información accionable y consciente del conjunto de datos que va más allá de las clasificaciones tradicionales de benchmarking. Al identificar que la importancia de las elecciones de diseño no es universal sino que depende de las propiedades intrínsecas del conjunto de datos (escala, resolución, complejidad), el estudio argumenta que:

• Las conclusiones de benchmarking deben reformularse como condicionales al régimen del conjunto de datos.
• Los profesionales deben priorizar el ajuste fino y la capacidad arquitectónica para conjuntos de datos a gran escala.
• Para los regímenes de datos limitados, la elección de la inicialización (pre-entrenamiento) es el factor más crítico.
• Para los regímenes intermedios, se debe considerar la interacción entre los módulos.

Los autores señalan limitaciones, incluyendo la restricción a CNN y Transformers tempranos, la exclusión de modelos de fundación visual recientes, y la dependencia de elementos de entrenamiento fijos (por ejemplo, aumentación, optimizadores) de estudios previos. Sugieren que el trabajo futuro debería centrarse en predecir los perfiles de sensibilidad directamente desde las meta-características del conjunto de datos y extender el análisis a los modelos de fundación modernos.