Class-Specific Branch Attention for Mitigating Gradient Interference under Class Imbalance

Resumen Técnico: Atención de Rama Específica de Clase para Mitigar la Interferencia de Gradientes bajo Desequilibrio de Clases

Planteamiento del Problema
Las redes neuronales profundas entrenadas en conjuntos de datos severamente desequilibrados suelen sufrir una degradación en el rendimiento de las clases minoritarias. Mientras que la literatura existente atribuye predominantemente este fallo al sesgo estadístico —abordado mediante el sobremuestreo de datos o funciones de pérdida modificadas—, este trabajo identifica una patología complementaria a nivel de optimización: la interferencia de gradientes inter-clase dentro de las representaciones compartidas. En las arquitectes de múltiples ramas, que están diseñadas para aprender características diversas a través de vías paralelas, el mecanismo estándar de fusión basado en la suma provoca que las señales de gradiente de las clases mayoritarias se acumulen y dominen la representación compartida. Este dominio suprime el aprendizaje de las características de las clases minoritarias, un problema estructural que las intervenciones a nivel de datos y de pérdida no resuelven directamente.

Metodología
Los autores proponen un enfoque sistemático para diagnosticar y mitigar esta interferencia, validado en un conjunto de datos de detección de fallos fotovoltaicos (PV) (desequilibrio severo) y en el benchmark CIFAR-10-LT.

1. Marco de Diagnóstico:
   Los autores introducen una Matriz de Conflicto de Gradientes para cuantificar la interferencia. Al calcular la similitud de coseno entre los vectores de gradiente específicos de cada clase ($g_i$ y $g_j$) a través de los parámetros de la red, miden el grado de interferencia destructiva. Una similitud negativa indica que la optimización para una clase degrada activamente la representación de otra. El análisis de la arquitectura de referencia de múltiples ramas reveló una interferencia destructiva significativa, particularmente entre pares de clases mayoritarias y minoritarias (por ejemplo, una similitud media por pares de $-0.236$ para pares críticos).

2. Solución Propuesta: Atención de Rama Específica de Clase (CSBA):
   Para mitigar esto sin abandonar la eficiencia de las representaciones compartidas, los autores introducen CSBA, una modificación arquitectónica ligera aplicada antes del enrutamiento de múltiples ramas.

   • Mecanismo: CSBA aplica bloques de Squeeze-and-Excitation (SE) independientes a cada rama paralela. Calcula un descriptor de canal global a partir del mapa de características compartido y genera un vector de atención específico de la rama ($a_k$) mediante un cuello de botella de dos capas libre de sesgo (bias-free).
   • Reponderación de Características: Este vector se utiliza para realizar una reponderación por canales (producto de Hadamard) en las características compartidas antes de que entren en la rama específica.
   • Desacoplamiento de Gradientes: Teóricamente, esto induce Jacobianos específicos de la rama. Si las ramas aprenden a atender a subconjuntos de canales disjuntos, los gradientes de las clases minoritarias pueden actualizar subespacios de canales específicos sin ser abrumados por los gradientes de las clases mayoritarias que actualizan todo el espacio de características simultáneamente.
   • Restricciones: Las matrices de proyección carecen de sesgo para asegurar que el mecanismo responda a las diferencias relativas de activación de los canales en lugar de aprender desplazos (offsets) independientes de la clase.

3. Variantes Comparativas:
   El estudio evalúa CSBA frente a tres variantes de ablación para aislar la contribución de los cambios estructurales:

   • Cabezales Específicos de Clase: Aislamiento completo de las ramas (desacoplamiento duro), lo que elimina la interferencia pero incurre en un coste de parámetros prohibitivo ($\approx 7.5M$ frente a $1.35M$).
   • Focal Loss: Un enfoque de reponderación a nivel de pérdida que ajusta las magnitudes de los gradientes pero no altera las direcciones del flujo de gradiente.
   • GradNorm: Un mecanismo de reponderación de ramas escalar que ajusta las contribuciones de las ramas sin diferenciación espacial o de canales.

Resultos Clave
La evaluación empírica demuestra que CSBA equilibra eficazmente la reducción del conflicto de gradientes con la eficiencia de parámetros:

• Detección de Fallos PV: Bajo un desequilibrio severo, CSBA mejoró la puntuación F1 para la clase minoritaria crítica Physical-Damage de 0.261 a 0.522 (una ganancia relativa del 100%). La precisión global total se mantuvo comparable a la de la referencia (0.648 frente a 0.654).
• Geometría de Gradientes: El conflicto de gradiente promedio por pares para los pares mayoría-minoría más adversos se redujo de $-0.236$ (referencia) a $-0.174$ (CSBA). La desviación estándar de los conflictos también disminuyó, indicando una contracción de la interferencia extrema.
• Generalización CIFAR-10-LT: El marco se generalizó al conjunto de datos de cola larga CIFAR-10-LT (ratio de desequilibrio 100). El Macro-F1 mejoró de 0.595 a 0.655, con ganancias significativas en las clases minoritarias (por ejemplo, el F1 de la clase Truck aumentó de 0.258 a 0.451) manteniendo un rendimiento estable en las clases mayoritarias.
• Eficiencia de Parámetros: CSBA aumentó el tamaño del modelo solo en un 32.6% (de 1.35M a 1.79M de parámetros), ofreciendo un compromiso favorable en comparación con los Cabezales Específicos de Clase, que requerían un aumento del 455% en los parámetros y sufrían de sobreajuste en regímenes de pocos datos.

Significancia y Reivindicaciones
El artículo sostiene que mitigar la interferencia de gradientes es un paso distinto y necesario en el aprendizaje desequilibrado, separado del reequilibrio estadístico. Los autores argumentan que:

1. La Dinámica de Optimización Importa: Los enfoques estándar tratan el desequilibrio como un problema de distribución estadística, ignorando cómo interactúan las señales de gradiente dentro de las capas compartidas de la red.
2. La Intervención Estructural es Complementaria: CSBA proporciona un mecanismo estructural para desacoplar los flujos de gradiente, complementando los métodos existentes a nivel de pérdida (como Focal Loss) que solo modulan las magnitudes de los gradientes.
3. Eficiencia vs. Aislamiento: El aislamiento completo de gradientes (mediante cabezales separados) no siempre es óptimo debido a los riesgos de sobreajuste en entornos con pocos datos. CSBA logra un desacoplamiento "suave", preservando los beneficios de las representaciones compartidas mientras protege el aprendizaje de las clases minoritarias.

El trabajo concluye que considerar la dinámica de optimización junto con los métodos estadísticos es crucial para diseñar arquitecturas robustas para el reconocimiento visual desequilibrado, particularmente en aplicaciones industriales con recursos limitados como la inspección de PV.