PI-H2T: Enhancing Long-Tailed Visual Recognition with Permutation-Invariant and Head-to-Tail Feature Fusion

Resumen Técnico de PI-H2T: Mejora del Reconocimiento Visual de Cola Larga mediante la Fusión de Características Invariante a la Permutación y de Cabeza a Cola

Declaración del Problema
El reconocimiento visual de cola larga se ve obstaculizado por el severo desequilibrio de clases presente en los datos del mundo real, donde unas pocas clases "cabeza" (head) dominan el conjunto de datos mientras que las clases "cola" (tail) sufren de escasez de muestras. Este desequilibrio conduce a dos desafíos primarios: un espacio de representación deformado, donde las características de las clases de cola son dispersas y propensas al sobreajuste de patrones espurios, y un clasificador sesgado que favorece a las clases cabeza debido al predominio de su información semántica durante el entrenamiento. Los métodos existentes suelen optimizar el aprendizaje de representaciones y la calibración del clasificador de forma separada, dejando uno de los aspectos subóptimo. Además, aunque el ajuste fino eficiente en parámetros (PEFT) aprovecha modelos preentrenados, los límites de decisión permanecen sin calibrar y los sesgos hacia las clases cabeza persisten.

Metodología
Los autores proponen PI-H2T (Fusión de Características Invariante a la Permutación y de Cabeza a Cola), un marco de trabajo plug-and-play, agnóstico a la arquitectura, diseñado para optimizar conjuntamente el espacio de representación y el clasificador. El método opera en dos etapas progresivas:

1. Fusión de Características Invariante a la Permutación (PIF):

   • Objetivo: Mejorar la robustez de las características y establecer automáticamente márgenes interclase apropiados sin alterar significativamente la arquitectura del backbone.
   • Mecanismo: PIF introduce una operación invariante a la permutación (PI) en los mapas de características antes de la capa de agrupación (pooling) final. Específicamente, reestructura los mapas de características en una matriz 2D y aplica una operación de media a través de los canales (probado como invariante a la permutación). Estas características PI se fusionan con las características originales utilizando una estructura residual ligera modelada por una convolución 1D con solo dos parámetros aprendibles ($a$ y $b$).
   • Efecto: Este proceso reduce la redundancia de características y los artefactos dependientes del orden. Teóricamente, se demuestra que es equivalente a asignar automáticamente márgenes de clasificación positivos, creando así un espacio de características más agrupado que facilita la posterior calibración del clasificador.

2. Fusión de Cabeza a Cola (H2TF):

   • Objetivo: Corregir el límite de decisión sesgado mediante el aumento de las representaciones de las clases de cola con información semántica de las clases de cabeza durante la fase de ajuste del clasificador (Etapa 2).
   • Mecanismo: H2TF fusiona características de una rama de muestreo equilibrada por clase (dirigida a clases de cola) con características de una rama de muestreo por instancia (sesgada hacia clases de cabeza). La fusión se define como $\tilde{f} = r \cdot f_t + (1-r) \cdot f_h$, donde $f_t$ es la característica de la cola y $f_h$ es la característica de la cabeza.
   • Ratio de Fusión Adaptativo: A diferencia de versiones anteriores que dependían del ajuste manual de hiperparámetros, el ratio de fusión $r$ se determina automáticamente basándose en la distancia ($d_x$) de una muestra desde su centro de clase. Las muestras que están más lejos del centro (cerca del límite de decisión) reciben un ratio de fusión más alto para llenar los vacíos semánticos, mientras que aquellas más cerca del centro conservan más su representación original.
   • Estrategia de Entrenamiento: H2TF se aplica exclusivamente durante el entrenamiento de la Etapa 2 para calibrar el clasificador. El backbone permanece congelado durante esta etapa, y H2TF se omite durante la inferencia para evitar la confusión semántica.

Contribuciones Clave

• Módulo PIF: Un mecanismo ligero que añade solo dos parámetros y que mejora la representación de las características e implícitamente crea márgenes de decisión óptimos, abordando la deformación del espacio de representación.
• Mecanismo H2TF: Una estrategia que transfiere información semántica de las clases de cabeza a las de cola sin requerir datos adicionales ni parámetros de red, aprovechando eficazmente la capacidad de un backbone bien entrenado para aprender límites discriminativos.
• Fusión Automatizada: La introducción de un ratio de fusión adaptativo en H2TF, determinado por la distancia de la característica a los centros de clase, eliminando la necesidad de ajuste manual de hiperparámetros.
• Versatilidad: Se demuestra que el marco es efectivo en diversas arquitecturas, incluyendo CNNs de modelo único, marcos de múltiples expertos y Vision Transformers (ViT) basados en Atención de Múltiples Cabezas (MHSA).

Resultados Experimentales
Se realizaron experimentos extensos en cuatro referentes (benchmarks) estándar de cola larga: CIFAR100-LT, ImageNet-LT, iNaturalist 2018 y Places-LT.

• Rendimiento: PI-H2T supera consistentemente a los métodos de vanguardia, incluyendo el desacoplamiento de representación (DR), MisLAS, GCL y varios enfoques de PEFT (por ejemplo, LPT, LIFT).
  • En CIFAR100-LT (Factor de Desequilibrio 100), PI-H2T combinado con DR alcanzó un 49.22% de precisión, superando al anterior mejor resultado (H2T + DR) por más de un 1.5% y excediendo a GCL+H2T.
  • En ImageNet-LT, GCL+PI-H2T logró un 55.08% de precisión top-1, superando modelos de múltiples expertos como RIDE.
  • En iNaturalist 2018, GCL+PI-H2T alcanzó el 75.02%, mejorando significativamente respecto a los modelos base de modelo único.
• Adaptación a MHSA: Al aplicarse a modelos basados en ViT (por ejemplo, LPT), PI-H2T mejoró el rendimiento aproximadamente un 1% (por ejemplo, del 89.00% al 90.05% en CIFAR100-LT).
• Estudios de Ablación: Las visualizaciones (t-SNE) confirmaron que PIF crea cúmulos intra-clase más compactos y márgenes inter-clase más claros. Se demostró que el ratio de fusión adaptativo converge de manera estable, y la determinación automática de $r$ resultó ser robusta a través de los conjuntos de datos.

Significancia y Reivindicaciones
El artículo afirma que PI-H2T ofrece un marco de optimización continuo y unificado que aborda simultáneamente el aprendizaje de la representación y la calibración del clasificador. Su principal significancia radica en su eficiencia y adaptabilidad:

• Introduce una carga computacional y parámetros despreciables (solo dos pesos aprendibles para PIF).
• Es "plug-and-play", lo que permite una integración fluida en procesos existentes de modelo único, de múltiples expertos y de modelos fundacionales sin necesidad de reentrenar el backbone.
• Demuestra teórica y empíricamente que refinar el espacio de representación (vía PIF) es un prerrequisito para una calibración de clasificador efectiva (vía H2TF), resolviendo el problema del rendimiento subóptimo en los enfoques de optimización separada existentes.

Los autores reconocen que, si bien PI-H2T mejora la precisión, ocasionalmente exhibe un Error de Calibración Esperada (ECE) ligeramente superior, lo que sugiere un área para trabajos futuros en la calibración de la confianza. Además, la interacción teórica entre la fusión de representación y la calibración del clasificador sigue siendo una pregunta abierta para un estudio más profundo.