Is the Statistical Advantage Worth the Cost? An Empirical Comparison of KANs and MLPs for Structured Data Classification

Resumo Técnico: Uma Comparação Empírica de KANs e MLPs para Classificação de Dados Estruturados

Definição do Problema
Dados tabulares estruturados permanecem como um formato de entrada dominante em sistemas de aprendizado de máquina em produção nos domínios da saúde, finanças e outros setores. Embora métodos de conjunto tradicionais (ex: Florestas Aleatórias, Árvores de Boosting de Gradiente) sejam frequentemente preferidos para essas tarefas, há um interesse crescente em arquiteturas de aprendizado profundo. O Perceptron Multicamadas (MLP) serve como o padrão de referência (baseline), mas sua dependência de funções de ativação fixas e pesos escalares pode limitar sua capacidade de capturar efeitos não lineares localizados sem aumentar a profundidade ou a largura da rede. Recentemente, as Redes Kolmogorov-Arnold (KANs) emergiram como uma alternativa teoricamente motivada, substituindo as ativações de nós fixos por funções univariadas aprendíveis (splines) nas arestas da rede. No entanto, permanece uma questão empírica aberta se essa mudança arquitetural se traduz em uma vantagem de desempenho significativa e computacionalmente justificada em tarefas tabulares do mundo real, particularmente dada a falta de comparações padronizadas entre diversos paradigmas de classificação (binária, multiclasse, multilabel e ordinal).

Metodologia
Este estudo conduziu um benchmarking rigoroso e padronizado de KANs contra MLPs em doze conjuntos de dados publicamente disponíveis. O design experimental priorizou a justiça e a reprodutibilidade ao aderir aos seguintes protocolos:

• Conjuntos de Dados: Doze conjuntos de dados foram selecionados do UCI, Kaggle e da biblioteca MULAN, cobrindo quatro tipos de tarefas: classificação binária, multiclasse, multilabel e ordinal.
• Pré-processamento: Um pipeline uniforme foi aplicado, incluindo o tratamento de valores ausentes (imputação ou exclusão), codificação one-hot para atributos nominais e padronização de atributos numéricos. Os dados foram divididos em conjuntos de treinamento, validação e teste usando amostragem estratificada.
• Configuração do Modelo: Ambos os modelos utilizaram configurações "vanilla" com hiperparâmetros fixos e não ajustados para isolar as diferenças arquiteturais. Os MLPs utilizaram ativações ReLU, enquanto as KANs empregaram funções de spline aprendíveis (B-splines). As arquiteturas foram pareadas em termos de profundidade e largura de camadas, com ajustes específicos para tarefas multilabel para gerenciar a complexidade computacional.
• Métricas de Avaliação: O desempenho foi avaliado usando Acurácia de Teste e F1-Score (ponderado para desequilíbrio de classes). Para garantir a robustez, os modelos passaram por cinco execuções independentes.
• Análise Estatística: Testes de hipótese pareados (testes t ou testes de Wilcoxon signed-rank) foram conduzidos a $\alpha = 0,05$ para determinar a significância estatística. Tamanhos de efeito foram calculados usando Cohen's $d$ e correlação de rank-biserial ($r_{rb}$).

Principais Resultados
Os resultados empíricos revelam um compromisso (trade-off) matizado entre desempenho preditivo e custo computacional:

1. Superioridade de Desempenho:

   • Agregado: As KANs superaram estatisticamente os MLPs em todos os conjuntos de dados combinados ($p=0,001$), alcançando maior acurácia de teste em 9 de 12 conjuntos de dados e maiores F1-Scores em 10 de 12.
   • Específico por Tarefa: As KANs demonstraram superioridade significativa nos domínios binário ($p=0,001$, $d=-1,09$) e multiclasse ($p=0,001$, $r_{rb}=-1,00$). No entanto, para tarefas multilabel e ordinais, as diferenças de desempenho não foram estatisticamente significativas, com tamanhos de efeito variando de pequenos a médios.
   • Convergência: As KANs geralmente atingiram os limites de desempenho mais rapidamente e se estabilizaram mais cedo que os MLPs na maioria dos conjuntos de dados, exceto nos conjuntos de dados multilabel Emotions, Birds e Enron.

2. Custo Computacional:

   • Parâmetros: As KANs requerem substancialmente mais parâmetros do que os MLPs. Devido à substituição de pesos escalares por funções de spline (tamanho da grade $G$ e ordem $k$), as KANs exigiram consistentemente aproximadamente 16 vezes mais parâmetros do que seus equivalentes MLP em tarefas padrão.
   • Eficiência: O overhead computacional é significativo. Os tempos de treinamento das KANs frequentemente excederam 30 segundos (muitas vezes chegando a minutos), enquanto o treinamento de MLP raramente excedeu cinco segundos. Da mesma forma, a latência de inferência das KANs frequentemente excedeu 100 ms, comparado a ~3 ms para os MLPs.

Principais Contribuições

• Benchmarking Padronizado: Este estudo fornece uma das primeiras comparações abrangentes de KANs e MLPs através de um espectro diversificado de tarefas de classificação tabular (incluindo configurações multilabel e ordinais subexploradas) sob condições estritamente controladas e não ajustadas.
• Rigor Estatístico: Além da acurácia bruta, o artigo estabelece a significância estatística das vantagens das KANs e quantifica a magnitude desses ganhos através da análise de tamanho de efeito.
• Estrutura de Custo-Benefício: O trabalho pesa explicitamente os ganhos preditivos contra as penalidades computacionais, oferecendo uma estrutura baseada em dados para seleção arquitetural.

Significância e Alegações
O artigo conclui que, embora as KANs ofereçam uma abordagem estatisticamente significativa e teoricamente superior para a aproximação de funções em dados estruturados, a utilidade prática dessa vantagem é dependente de contexto.

• Aplicações de Alta Precisão: Para cenários onde a precisão preditiva é crítica e os recursos computacionais são abundantes (ex: diagnóstico médico, previsão financeira), a vantagem estatística das KANs justifica o custo computacional adicional.
• Ambientes com Recursos Limitados: Para computação de borda (edge computing) de tempo real ou sistemas de baixa latência, o efeito de magnitude "médio" ($d = -0,46$) da melhoria agregada não compensa as perdas de eficiência. Nesses casos, os MLPs permanecem a escolha robusta e eficiente.

Os autores enfatizam que a decisão de adotar KANs deve ser impulsionada por requisitos operacionais específicos em relação à tolerância para o overhead computacional versus a necessidade de ganhos marginais de acurácia. O estudo reconhece limitações, incluindo o uso de hiperparâmetros fixos (que podem não refletir o desempenho ideal ajustado) e a redução de épocas de treinamento para tarefas multilabel, sugerindo que trabalhos futuros explorem modalidades de dados adicionais e otimização de hiperparâmetros mais profunda.