Convex losses and their applications to SVM, SVR, and Shallow Neural Networks

Resumo Técnico: Perdas Convexas e suas Aplicações em SVM, SVR e Redes Neurais Rasas

Definição do Problema
O artigo aborda o desempenho de generalização de algoritmos de aprendizado de máquina em tarefas de classificação binária. O problema central é o desenvolvimento e a avaliação de novas funções de perda convexas que incorporam correlações de padrões por meio de uma matriz de similaridade $F$. Enquanto as perdas padrão (como a Entropia Cruzada Binária) tratam os erros de forma independente, a abordagem proposta visa generalizar essas perdas considerando as relações entre as amostras de treinamento. Um desafio significativo identificado é que, embora essas novas perdas possam ser formuladas teoricamente para Máquinas de Vetores de Suporte (SVM) e Regressão de Vetores de Suporte (SVR) em suas formas duais, os problemas duais resultantes dependem de variáveis primais ($\xi$), tornando-os analiticamente consistentes, mas numericamente difíceis de resolver com solvers duais padrão.

Metodologia
O autor propõe um conjunto de novas funções de perda ($L_1$ a $L_6$) que generalizam a perda padrão ao introduzir termos envolvendo $\sqrt{\xi}$ e uma matriz de correlação de padrões $F$. A matriz $F$ é construída utilizando várias Funções de Base Radial (RBF) e métricas de distância (Euclidiana, Manhattan) parametrizadas por um hiperparâmetro $\gamma_F$.

• Formulação SVM e SVR: O autor deriva os objetivos duais para SVM e SVR usando as condições KKT. No entanto, eles observam que os problemas duais permanecem dependentes das variáveis de folga primais $\xi$, impedindo uma solução direta via programação quadrática padrão.
• Estratégia de Otimização: Para superar a intratabilidade numérica da formulação dual do SVM, o autor emprega a Otimização por Enxame de Partículas (PSO) para resolver o problema primal do SVM. O algoritmo PSO é inicializado com uma solução de um solver dual de SVM padrão e, em seguida, otimiza as variáveis $\vec{\alpha}$ e $b$ utilizando as novas funções de perda.
• Redes Neurais: Para Redes Neurais Rasas (até 4 camadas), as perdas são implementadas usando PyTorch. A matriz $F$ é pré-computada para o conjunto de treinamento. Os modelos utilizam arquiteturas padrão com Dropout e Normalização de Lote (Batch Normalization), otimizados via otimizador Adam.
• Protocolo de Avaliação: O desempenho é avaliado usando Validação Cruzada Aninhada (NCV) com 5 loops externos e 3 loops internos. Para Redes Neurais, a NCV é repetida 10 vezes para mitigar efeitos de inicialização aleatória. O estudo utiliza sete pequenos conjuntos de dados de classificação binária do UCI (Sonar, Haberman, Heart, Iono, WDBC, Breast, German).

Principais Contribuições

1. Novas Funções de Perda: A introdução de múltiplas perdas convexas ($L_1$–$L_6$) que integram correlações de padrões no termo de erro, generalizando teoricamente as perdas padrão.
2. Solução Primal de SVM via PSO: Uma abordagem prática para resolver o problema modificado do primal SVM usando Otimização por Enxame de Partículas, contornando as dificuldades da formulação dual dependente.
3. Validação Empírica: Um estudo experimental abrangente comparando estas novas perdas contra baselines padrão (SVM Padrão, Adaboost e Redes Neurais com perda BCE padrão) através de múltiplos conjuntos de dados e configurações de hiperparâmetros.

Resultos
Os resultados experimentais nos pequenos conjuntos de dados geram as seguintes observações:

• Desempenho de Generalização: Os resultados indicam que as medidas de generalização (acurácia média) com as novas perdas são comparáveis às baselines padrão nos conjuntos de dados testados. Embora o autor conclua no resumo que as medidas são "as mesmas com ou sem as novas perdas", os dados específicos revelam variações sutis: no conjunto de dados Sonar, o melhor modelo de nova perda (NN L5 L y) alcançou 0,826 de acurácia versus 0,800 para a baseline; no WDBC, modelos de nova perda (ex: NN L6 L n) alcançaram ~0,977 de acurácia comparado a 0,975 para a baseline. Por outro lado, no conjunto de dados Iono, a perda BCE padrão produziu o melhor resultado. Assim, embora a tendência geral sugira que não há uma reformulação universal e estatisticamente significativa de desempenho, configurações específicas demonstraram melhorias marginais sobre as baselines em certos conjuntos de dados.
• Comparação de Algoritmos: O SVM padrão geralmente alcançou melhor generalização do que as Redes Neurais em três dos sete conjuntos de dados em menos tempo. O Adaboost superou outros métodos no conjunto de dados Breast com tempo de treinamento negligenciável em comparação às Redes Neurais.
• Custo Computacional: As novas perdas, particularmente para Redes Neurais, incorrem em custos computacionais mais altos devido à complexidade $O(b^2 d)$ do cálculo do critério (onde $b$ é o tamanho do lote e $d$ são as características) e à necessidade de calcular a matriz $F$. Os tempos de treinamento para os modelos de nova perda foram significativamente mais longos do que as baselines.
• Achados Específicos: Apesar dos ganhos numéricos marginais observados em conjuntos de dados como Sonar e WDBC, o autor enfatiza que as medidas de generalização são efetivamente semelhantes ao caso padrão em todos os casos, com a exceção notável do conjunto de dados Iono, onde a baseline prevaleceu.

Significância e Alegações
O artigo alega modestamente que as perdas propostas são uma generalização da perda padrão, teoricamente capazes de performar igual ou melhor que as perdas padrão. O estudo demonstra que incorporar correlações de padrões dentro da função de perda poderia teoricamente aumentar a generalização em alguns conjuntos de dados, como evidenciado pelos ganhos de acurácia específicos em Sonar e WDBC.

No entanto, o autor conclui que os resultados empíricos mostram que as medidas de generalização são amplamente comparáveis com ou sem as novas perdas nos pequenos conjuntos de dados testados, em vez de serem universalmente superiores. A significância do trabalho reside na estrutura teórica e na evidência preliminar sugerindo potenciais benefícios em cenários específicos, em vez de uma melhoria definitiva e universal sobre os métodos padrão. O autor sugere que trabalhos futuros investiguem matrizes $F$ mais eficientes para redes profundas, utilizem otimizadores de segunda ordem (como Muon) e explorem kernels anisotrópicos para refinar as matrizes de similaridade.