Structured Proper Loss Geometries for Multiclass Classification: Theory and Controlled Empirical Evaluation

Resumo Técnico: Geometrias de Perda Próprias Estruturadas para Classificação Multiclasse

Definição do Problema
Regras de pontuação estritamente próprias garantem que a verdadeira distribuição de classes condicional minimiza a perda esperada no nível da população. No entanto, a curvatura dessas pontuações influencia a dinâmica de otimização, o comportamento em amostras finitas, a calibração e a robustez a rótulos corrompidos ou desvios de prioridade de classe. Embora a entropia cruzada (escore logarítmico) seja o padrão de referência, ela pode levar à má calibração e ao sobreajuste (overfitting) a rótulos ruidosos. A literatura existente propôs vários objetivos para modos de falha específicos (ex: focal loss para desbalanceamento, entropia cruzada generalizada para ruído), mas há uma necessidade de analisar rigorosamente como modificações estruturadas em regras de pontuação próprias — especificamente através de curvatura e modelagem de margem — afetam o desempenho sem reivindicar superioridade ampla sobre métodos especializados.

Metodologia
O artigo investiga três objetivos multiclasse, tratando-os como construções específicas dentro do framework de divergências de Bregman e perdas compostas:

1. Perda de Mahalanobis Própria com Consciência de Classe (CAPM): Um escore de Bregman quadrático estruturado definido por um gerador $F_C(p) = \frac{1}{2}(p-u)^\top A (p-u)$. A matriz $A$ incorpora estruturas conscientes de classe, incluindo um Laplaciano de grafo ($L_G$) derivado das similaridades de centroides de classe e um termo diagonal ($D_{tail}$) baseado nas contagens de classe.
2. Perda de Gerador Hiperbólico Própria (HPG): Uma perda estritamente própria utilizando um gerador $F_H(p)$ que combina um termo quadrático com termos de regularização log-cosh restritos. Isso introduz curvatura limitada e suavidade, mantendo a propriedade estrita.
3. Modelagem de Margem de Probabilidade com Recozimento (APMS): Um aumento da HPG que adiciona uma penalidade de margem limitada $r(p, y)$ com um coeficiente $\beta_t$ que recozce (anneals) em direção a zero durante o treinamento. Isso permite uma modelagem de margem temporária visando convergir para o objetivo HPG próprio.

Contribuições Teóricas
Os autores fornecem uma análise matemática rigorosa estabelecendo as propriedades dessas perdas:

• Limites para CAPM e HPG: Derivação de limites de arrependimento condicional (conditional-regret), curvatura, alcance e gradiente de logit. É provado que ambos são estritamente próprios, com o risco condicional excessivo controlado pela distância euclidiana ao quadrado entre os vetores de probabilidade previstos e verdadeiros.
• Análise de APMS: Prova do alcance exato da penalidade de margem no simplex de probabilidade. Os autores estabelecem tanto limites de raiz quadrada quanto lineares para o deslocamento do minimizador condicional em relação ao vetor de probabilidade verdadeiro como uma função do coeficiente de margem $\beta$. Isso confirma que, embora o objetivo não seja estritamente próprio para $\beta > 0$, o minimizador converge para a distribuição verdadeira conforme $\beta \to 0$.
• Limites de Gradiente: Derivação de limites no gradiente da perda em relação aos logits, mostrando que a curvatura do gerador controla a magnitude dos gradientes.

Desenho Experimental
O estudo emprega uma avaliação empírica descritiva controlada usando cinco sementes aleatórias em vários regimes:

• Datasets: Datasets do mundo real (Digits, Wisconsin Breast Cancer) e problemas sintéticos (matriz de confusão, distribuição de cauda longa).
• Condições: Rótulos limpos, ruído de rótulo simétrico (20%, 40%), ruído de inversão de par (pair-flip noise) (40%), desbalanceamento de classe (razão 30:1) e corrupções de entrada (ruído Gaussiano, sal e pimenta, FGSM, PGD).
• Baselines: A entropia cruzada (CE) serve como a principal referência. Comparações são feitas contra métodos estabelecidos para rótulos ruidosos (ex: Generalized Cross-Entropy, Symmetric Cross-Entropy, Active-Passive Loss) e métodos de cauda longa (ex: Balanced Softmax, Logit Adjustment).
• Métricas: Acurácia, Acurácia Balanceada, Log-Likelihood Negativa (NLL), Brier Score e Erro de Calibração Esperada (ECE).
• Rigor Estatístico: O estudo explicitamente evita reivindicar significância estatística devido ao número limitado de sementes (cinco), observando que o menor valor de p de Wilcoxon attainable é 0.0625. Os resultados são interpretados descritivamente com base em padrões de efeito.

Resultos Principais

• Dados Limpos: CAPM, HPG e APMS performam de forma comparável à entropia cruzada em dados limpos em todos os datasets.
• Rótulos Ruidosos: No dataset Digits com 40% de ruído de rótulo simétrico, as perdas estruturadas propostas mostram melhorias modestas sobre a entropia cruzada, mas são superadas por baselines especializados em rótulos ruidosos (SCE, GCE, APL, MAE) em termos de acurácia, NLL e Brier score.
• Aprendizado de Cauda Longa: No experimento sintético de cauda longa 30:1, os métodos propostos falham em abordar o desvio de prioridade de forma eficaz, alcançando uma acurácia balanceada próxima de 0.16 (similar à entropia cruzada). Em contraste, métodos explícitos de ajuste de prioridade (Balanced Softmax, Logit Adjustment) alcançam acurácia balanceada acima de 0.62.
• Ablações: A remoção dos componentes estruturais específicos (termos de grafo em CAPM, termos de regularização em HPG ou coeficientes de margem em APMS) não degrada consistentemente o desempenho, sugerindo que essas adições específicas não forneceram um benefício claro nos cenários avaliados.
• Calibração e Robustez: O escalonamento de temperatura post-hoc melhora a calibração para todos os métodos. Corrupções de entrada e ataques adversários mostram apenas pequenas diferenças descritivas entre os modelos treinados em dados limpos.

Significância e Alegações
O artigo reivindica modestamente que suas formulações são matematicamente válidas e exemplos empiricamente testáveis de como a curvatura de pontuação própria e a modelagem de margem podem ser construídas.

• Validade Teórica: As provas estabelecem com sucesso que as perdas propostas são estritamente próprias (ou convergem para a propriedade) e satisfazem limites específicos de curvatura e gradiente.
• Limitações Empíricas: Os experimentos não sustentam uma reivindicação de superioridade geral. Os objetivos estruturados não superam consistentemente métodos especializados para rótulos ruidosos ou aprendizado de cauda longa.
• Contribuição Primária: O trabalho serve como um estudo controlado para distinguir entre identificação populacional (garantida pela propriedade) e robustez de amostra finita (que depende da geometria da perda específica e não é automaticamente melhorada apenas por modificações de curvatura). Os autores concluem que, embora as formulações sejam sólidas, sua utilidade para substituir perdas estabelecidas requer validação adicional em datasets maiores, arquiteturas mais fortes e modelos de ruído realistas.