Structured Proper Loss Geometries for Multiclass Classification: Theory and Controlled Empirical Evaluation

Resumen Técnico: Geometrías de Pérdida de Propiedad Estructurada para Clasificación Multiclase

Planteamiento del Problema
Las reglas de puntuación estrictamente propias garantizan que la verdadera distribución de clases condicional minimiza la pérdida esperada a nivel de población. Sin embargo, la curvatura de estas puntuaciones influye en la dinámica de optimización, el comportamiento en muestras finitas, la calibración y la robustez ante etiquetas corruptas o cambios en la distribución previa de las clases. Aunque la entropía cruzada (puntuación logarítmica) es el estándar de referencia, puede conducir a una mala calibración y al sobreajuste de etiquetas ruidosas. La literatura existente ha propuesto diversos objetivos para modos de fallo específicos (por ejemplo, focal loss para desequilibrio, entropía cruzada generalizada para ruido), pero existe la necesidad de analizar rigurosamente cómo las modificaciones estructuradas a las reglas de puntuación propia —específicamente mediante la curvatura y el modelado de márgenes— afectan el rendimiento sin pretender una superioridad general sobre los métodos especializados.

Metodología
El artículo investiga tres objetivos multiclase, tratándolos como construcciones específicas dentro del marco de las divergencias de Bregman y las pérdidas compuestas:

1. Pérdida de Mahalanobis con Conciencia de Clase (CAPM): Una puntuación de Bregman cuadrática estructurada definida por un generador $F_C(p) = \frac{1}{2}(p-u)^\top A (p-u)$. La matriz $A$ incorpora estructuras conscientes de la clase, incluyendo un Laplaciano de grafo ($L_G$) derivado de las similitudes de los centroides de clase y un término diagonal ($D_{tail}$) basado en los conteos de clase.
2. Pérdida de Generador Hiperbólico Propio (HPG): Una pérdida estrictamente propia utilizando un generador $F_H(p)$ que combina un término cuadrático con términos de regularización log-cosh restringidos. Esto introduce una curvatura acotada y suavidad, manteniendo la propiedad estricta.
3. Modelado de Margen de Probabilidad con Recocido (APMS): Un aumento de HPG que añade una penalización de margen acotada $r(p, y)$ con un coeficiente $\beta_t$ que se recoce hacia cero durante el entrenamiento. Esto permite un modelado de margen temporal mientras se busca converger al objetivo de la HPG propia.

Contribuciones Teóricas
Los autores proporcionan un análisis matemático riguroso que establece las propiedades de estas pérdidas:

• Límites para CAPM y HPG: Derivación de los límites de arrepentimiento condicional (conditional-regret), curvatura, rango y gradiente de logit. Se demuestra que ambas son estrictamente propias, con el exceso de riesgo condicional controlado por la distancia euclidiana al cuadrado entre los vectores de probabilidad predichos y reales.
• Análisis de APMS: Demostración del rango exacto de la penalización de margen en el simplex de probabilidad. Los autores establecen tanto límites de raíz cuadrada como lineales sobre el desplazamiento del minimizador condicional respecto al vector de probabilidad real como función del coeficiente de margen $\beta$. Esto confirma que, si bien el objetivo no es estrictamente propio para $\beta > 0$, el minimizador converge a la distribución real cuando $\beta \to 0$.
• Límites de Gradiente: Derivación de límites en el gradiente de la pérdida con respecto a los logits, mostrando que la curvatura del generador controla la magnitud de los gradientes.

Diseño Experimental
El estudio emplea una evaluación empírica descriptiva y controlada utilizando cinco semillas aleatorias en varios regímenes:

• Conjuntos de Datos: Datasets del mundo real (Digits, Wisconsin Breast Cancer) y problemas sintéticos (matriz de confusión, distribución de cola larga).
• Condiciones: Etiquetas limpias, ruido de etiqueta simétrico (20%, 40%), ruido de inversión de pares (pair-flip noise) (40%), desequilibrio de clases (ratio 30:1) y corrupciones de entrada (ruido Gaussiano, sal y pimienta, FGSM, PGD).
• Líneas Base: La entropía cruzada (CE) sirve como referencia principal. Las comparaciones se realizan contra métodos establecidos para etiquetas ruidosas (por ejemplo, Generalized Cross-Entropy, Symmetric Cross-Entropy, Active-Passive Loss) y métodos de cola larga (por ejemplo, Balanced Softmax, Logit Adjustment).
• Métricas: Precisión (Accuracy), Precisión Balanceada, Log-Verosimilitud Negativa (NLL), Puntuación de Brier y Error de Calibración Esperado (ECE).
• Rigor Estadístico: El estudio evita explícitamente declarar significancia estadística debido al número limitado de semillas (cinco), señalando que el valor p de Wilcoxon más pequeño alcanzable es 0.0625. Los resultados se interpretan de forma descriptiva basándose en patrones de efecto.

Resultos Clave

• Datos Limpios: CAPM, HPG y APMS se comportan de manera comparable a la entropía cruzada en datos limpios en todos los conjuntos de datos.
• Etiquetas Ruidosas: En el dataset Digits con 40% de ruido de etiqueta simétrico, las pérdidas estructidas propuestas muestran mejoras modestas sobre la entropía cruzada, pero son superadas por las líneas base especializadas en etiquetas ruidosas (SCE, GCE, APL, MAE) en términos de precisión, NLL y puntuación de Brier.
• Aprendizaje de Cola Larga: En el experimento sintético de cola larga 30:1, los métodos propuestos no abordan eficazmente el cambio de prioridad, logrando una precisión balanceada cercana a 0.16 (similar a la entropía cruzada). En contraste, los métodos de ajuste de prioridad explícito (Balanced Softman, Logit Adjustment) logran una precisión balanceada superior a 0.62.
• Ablaciones: Eliminar los componentes estructurales específicos (términos de grafo en CAPM, términos de regularización en HPG o coeficientes de margen en APMS) no degrada consistentemente el rendimiento, lo que sugiere que estas adiciones específicas no proporcionaron un beneficio claro en los escenarios evaluados.
• Calibración y Robustez: El escalado de temperatura post-hoc mejora la calibración para todos los métodos. Las corrupciones de entrada y los ataques adversarios muestran solo pequeñas diferencias descriptivas entre los modelos entrenados con datos limpios.

Significado y Reivindicaciones
El artículo reclama modestamente que sus formulaciones son matemáticamente válidas y ejemplos empíricamente testeables de cómo se pueden construir la curvatura de una puntuación propia y el modelado de márgenes.

• Validez Teórica: Las demostraciones establecen con éxito que las pérdidas propuestas son estrictamente propias (o convergen a la propiedad) y satisfacen límites específicos de curvatura y gradiente.
• Limitaciones Empíricas: Los experimentos no respaldan una afirmación de superioridad general. Los objetivos estructurados no superan consistentemente a los métodos especializados para etiquetas ruidosas o aprendizaje de cola larga.
• Contribución Principal: El trabajo sirve como un estudio controlado para distinguir entre la identificación de la población (garantizada por la propiedad) y la robustez de muestra finita (que depende de la geometría de la pérdida específica y no mejora automáticamente mediante la modificación de la curvatura). Los autores concluyen que, si bien las formulaciones son sólidas, su utilidad para reemplazar las pérdidas establecidas requiere una mayor validación en conjuntos de datos más grandes, arquitecturas más fuertes y modelos de ruido realistas.