Resumen Técnico: Un Sólido Baseline de Reentrenamiento de Clasificador con Balanced-Softmax para el Reconocimiento de Larga Cola

1. Planteamiento del Problema

El reconocimiento de larga cola aborda el desafío donde las categorías visuales siguen una distribución de frecuencia sesgada: un pequeño número de clases "cabeza" (head) dominan el conjunto de entrenamiento, mientras que muchas clases "cola" (tail) aparecen con poca frecuencia. El error de minimización del riesgo empírico estándar provoca que los modelos asignen un espacio de decisión excesivo a las clases cabeza, lo que resulta en una alta precisión general pero un rendimiento deficiente en categorías raras y, a menudo, críticas.

Si bien los métodos existentes abordan esto mediante el reponderado de la pérdida, ajustes de margen o entrenamiento desacoplado (separando el aprendizaje de la representación del aprendizaje del clasificador), persiste una brecha específica: ¿cuánta pérdida residual de la cola persiste tras entrenar una representación con una pérdida fuerte y consciente de los priors, como Balanced Softmax? Además, ¿puede reducirse este error reentrenando únicamente el clasificador bajo una exposición equilibrada, y puede la supervisión de fronteras sintéticas (por ejemplo, sondas cerca de las fronteras de decisión) mejorar aún más el rendimiento de la cola?

2. Metodología

El artículo propone BS-cRT (Classifier Retraining con Balanced Softmax), un procedimiento de dos etapas de mínima complejidad, y evalúa CBRM (Counterfactual Boundary Risk Minimization) como una extensión diagnóstica.

2.1 BS-cRT: El Baseline Central

BS-cRT aisla el efecto del reentrenamiento del clasificador del aprendizaje de la representación.

• Etapa 1 (Aprendizaje de Representación): Una red de base (backbone) ($f_\theta$) y un clasificador de coseno se entrenan de extremo a extremo utilizando la pérdida Balanced Softmax sobre el flujo de datos desbalanceados originales. Esta pérdida incorpora el prior de clase empírico ($\pi_c = n_c / \sum n_{c'}$) en el denominador del softmax para corregir el desplazamiento de etiquetas (label shift).
• Etapa 2 (Reentrenamiento del Clasificador): La red de base queda congelada. Solo se reentrenan los pesos del clasificador de coseno.
  • Muestreo: El entrenamiento utiliza lotes episódicos balanceados. Cada lote muestrea $P$ clases uniformemente sin reemplazo, con $K$ muestras por clase.
  • Pérdida: Se mantiene la pérdida Balanced Softmax, utilizando los priors de entrenamiento empíricos originales ($\pi_c$), no un prior uniforme. Esto asegura que el objetivo sea consciente de los priors mientras que la exposición a las clases es balanceada.
  • Inferencia: Las predicciones utilizan logits de coseno crudos ($\ell_c(z) = s \cdot \hat{w}_c^\top z$) sin añadir el término de log-prior utilizado durante el entrenamiento.

2.2 CBRM: Supervisión de Frontera Diagnóstica

Se evalúa CBRM para probar si las sondas sintéticas cerca de las fronteras de decisión pueden mejorar el rendimiento de la cola más allá de BS-cRT.

• Mecanismo: Mantiene memorias de prototipos de clase múltiples. Para una muestra, identifica la clase negativa más difícil, construye una sonda en el espacio de características entre los prototipos positivo y negativo, y engrosa esta sonda con ruido ortogonal.
• Corrección: Los autores identificaron un modo de fallo crítico en la implementación original de CBRM: un desajuste de margen/escala. El método original aplicaba un objetivo de margen de coseno a logits escalados, causando gradientes aproximadamente 30 veces más grandes que el ancla de Balanced Softmax. La versión corregida calcula las violaciones directamente en el espacio de margen de coseno.
• Análisis de Modo de Fallo: Incluso con la pérdida corregida, CBRM utilizando minería del negativo más difícil (hardest-negative mining) no logra mejorar sobre BS-cRT. El análisis sugiere que, para las muestras de la cola, el "negativo más difícil" es a menudo una clase cabeza. En consecuencia, las sondas sintéticas se vuelven ancladas a las clases cabeza, atrayendo las direcciones del clasificador de la cola de nuevo hacia las regiones de las clases cabeza, anulando efectivamente los beneficios del reentrenamiento balanceado.

3. Contribuciones Clave

1. Evaluación de Checkpoint Emparejado: El artículo proporciona una evaluación rigurosa del reentrenamiento del clasificador tras Balanced Softmax, aislando el efecto de la actualización de la segunda etapa del aprendizaje de la representación mediante el uso de checkpoints idénticos de la Etapa 1.
2. Demostración de Sesgo Residual: Demuestra que incluso con una pérdida fuerte y consciente de los priors en la Etapa 1, las direcciones del clasificador permanecen sesgadas por el flujo de entrenamiento desbalanceado. El reentrenamiento del clasificador bajo exposición balanceada recupera consistentemente la precisión de la cola.
3. Diagnósticos de CBRM: El artículo identifica y corrige una inestabilidad numérica en los métodos de sonda de frontera (desajuste de margen/escala) y revela un modo de fallo geométrico donde las sondas de negativos más difíciles en entornos de larga cola refuerzan el sesgo de la clase cabeza en lugar de aliviarlo.

la 4. Resultados Experimentales

El método fue evaluado en CIFAR-100-LT, CIFAR-10-LT, ImageNet-LT y Places-LT a través de factores de desbalance (IF) de 50, 100 y 200.

4.1 Ganancias de Rendimiento

BS-cRT mejora consistentemente la precisión de pocos disparos (Tail/Cola) sobre el checkpoint de Balanced Softmax emparejado:

• CIFAR-100-LT (IF=100): La precisión de pocos disparos aumentó en +5.15 puntos (19.91% $\to$ 25.06%), con la precisión Top-1 preservada/mejorada (40.73% $\to$ 41.07%).
• CIFAR-10-LT (IF=100): La precisión de pocos disparos aumentó en +5.83 puntos (64.34% $\to$ 70.17%), con el Top-1 mejorando en +2.17 puntos.
• ImageNet-LT: La precisión de pocos disparos aumentó en +6.92 puntos (38.21% $\to$ 45.13%), aunque esto conllevó un compromiso en el Top-1 (-1.64 puntos).
• Places-LT: La precisión de pocos disparos aumentó en +9.78 puntos (18.61% $\to$ 28.39%), con el Top-1 mejorando en +0.74 puntos.

4.2 Resultados de CBRM

• CBRM Original: Causó inestabilidad en el entrenamiento (picos de pérdida) y colapso de la precisión debido al desajuste de margen/escala.
• CBRM Corregido (Negativo más Difícil): Estabilizó el entrenamiento pero redujo la precisión de pocos disparos en aproximadamente 4 puntos comparado con BS-cRT en CIFAR-100-LT (25.06% $\to$ 20.70%).
• Negativo Aleatorio: Una variante diagnóstica utilizando muestreo de negativos aleatorios no mostró la misma degradación de la cola, lo que respalda la hipótesis de que la minería de negativos más difíciles causa un anclaje de la clase cabeza.

5. Significancia y Afirmaciones

El artículo posiciona a BS-cRT no como un reemplazo para los métodos complejos de aprendizaje de representación, sino como un baseline necesario y de baja complejidad para el campo.

• Implicación Metodológica: Los autores argumentan que cualquier método de larga cola que reclame mejoras en la cola (vía prototipos, aprendizaje contrastivo o datos sintéticos) debe compararse primero contra un baseline de reentrenamiento de clasificador con Balanced-Softmax emparejado. Sin este control, las ganancias atribuidas a mecanismos complejos pueden ser simplemente el resultado de reestimar el clasificador final bajo exposición balanceada.
• Utilidad Práctica: BS-cRT ofrece una forma de mejorar la precisión de la cola que es amigable para el despliegue, sin necesidad de reentrenar la red de base o añadir módulos en tiempo de inferencia (sobrecarga de latencia/memoria). Es particularmente relevante en escenarios donde la red de base es fija o costosa de reentrenar.
• Perspectiva de la Supervisión de Fronteras: El artículo concluye que la supervisión de fronteras sintéticas no es automáticamente beneficiosa. En entornos de larga cola, la selección de los anclajes negativos es crítica; usar negativos "más difíciles" a menudo refuerza inadvertidamente el mismo sesgo (dominancia de la clase cabeza) que el reentrenamiento pretende corregir.

En resumen, el artículo afirma que el reentrenamiento del clasificador es un lever poderoso y a menudo pasado por alto para el reconocimiento de larga cola, y que BS-cRT sirve como el punto de referencia estándar para evaluar intervenciones más elaboradas.