TorchKM: A GPU-Oriented Library for Kernel Learning and Model Selection

Resumo Técnico do TorchKM: Uma Biblioteca Orientada a GPU para Aprendizado de Kernel e Seleção de Modelos

Definição do Problema
Máquinas de kernel, incluindo Máquinas de Vetores de Suporte (SVM), regressão logística de kernel e regressão quantílica de kernel, são algoritmos fundamentais conhecidos por seu forte desempenho preditivo e fundamentos teóricos rigorosos. No entanto, sua adoção na prática moderna é frequentemente limitada pelos altos custos computacionais, particularmente durante a fase de seleção de modelos. Os fluxos de trabalho tradicionais tratam o treinamento e a seleção de modelos (por exemplo, ajuste de hiperparâmetros via validação cruzada) como estágios separados. Isso exige o ajuste repetido de modelos através de uma grade de parâmetros de ajuste e dobras de validação cruzada. Para métodos de kernel, que envolvem a resolução de sistemas lineares com complexidade $O(n^3)$, esse reajuste repetido cria um gargalo computacional proibitivo. Embora a aceleração por hardware via Unidades de Processamento Gráfico (GPUs) tenha sido explorada (ex: ThunderSVM), a simples portabilidade de solvers de CPU existentes para GPUs frequentemente resulta apenas em melhorias modestas, pois as operações de matriz repetidas entre parâmetros de ajuste e dobras ainda dominam o custo computacional.

Metodologia
O TorchKM aborda essas limitações por meio de uma abordagem de "co-design algoritmo-hardware". Em vez de apenas portar um solver de CPU diretamente para a GPU, a biblioteca é construída do zero para explorar a álgebra linear amigável à GPU. A metodologia central baseia-se em duas inovações algorítmicas fundamentais que permitem a solução exata do pipeline de treinamento e ajuste sem aproximações:

1. Fórmula de Validação Cruzada Exata: Para evitar o custo computacional de retreinar modelos para cada dobra de validação cruzada, o TorchKM utiliza uma reformulação onde a matriz de kernel permanece inalterada. Em vez de retreinar, o método modifica o vetor de resposta para cada dobra. Isso permite o reuso da mesma matriz de kernel e suas decomposções associadas, reduzindo significativamente o overhead da validação cruzada.
2. Algoritmo Espectral: Para lidar com o ajuste de parâmetros de regularização (o caminho da solução), o TorchKM emprega uma abordagem espectral. Ele calcula uma única autodecomposição da matriz de kernel ($K = U\Lambda U^\top$). Atualizações subsequentes para diferentes parâmetros de ajuste são realizadas via multiplicações matriz-vetor ($O(n^2)$) em vez de inversões de matriz repetidas ($O(n^3)$). Essa estrutura é inerentemente paralelizável e bem adequada à arquitetura de GPU.

Esses algoritmos são integrados em um pipeline unificado que suporta uma API "estilo scikit-learn". A biblioteca suporta vários métodos, incluindo SVM, Discriminação Ponderada por Distância (DWD), regressão logística de kernel e regressão quantílica de kernel. Ela também oferece uma aproximação de Nyström para conjuntos de dados de grande escala onde soluções exatas são inviáveis, e inclui o escalonamento de Platt para calibração de probabilidade.

Principais Contribuições

• Pipeline Integrado: Ao contrário das bibliotecas que separam treinamento e ajuste, o TorchKM integra ambos os processos em um único passo algorítmico, eliminando a necessidade de retreinamentos externos repetidos.
• Soluções Exatas: A biblioteca fornece soluções exatas (não aproximações) para o pipeline completo de treinamento-e-ajuste, distinguindo-se de métodos que dependem de aproximações heurísticas para velocidade.
• Amplo Suporte a Métodos: Além de SVM, a biblioteca implementa regressão logística de kernel, regressão quantílica de kernel e DWD, todos compartilhando uma API consistente.
• Implementação de Código Aberto: A biblioteca é lançada sob a licença MIT, disponível via PyPI e GitHub, e inclui documentação abrangente, tutoriais e benchmarks.

Resultados
Os benchmarks apresentados no artigo demonstram que o TorchKM alcança um desempenho preditivo competitivo com acelerações substanciais sobre as linhas de base padrão:

• Comparação com scikit-learn: O TorchKM supera significativamente as implementações baseadas em CPU. Em um cenário com $n=20.000$ amostras e $p=1.000$ características, o scikit-learn não conseguiu completar a tarefa de treinamento-e-ajuste dentro de um limite de 8 horas, enquanto o TorchKM completou a tarefa em 129,3 segundos.
• Comparação com ThunderSVM: Embora o ThunderSVM acelere o ajuste de um único modelo em GPUs, o TorchKM melhora ainda mais o desempenho ao acelerar todo o pipeline de ajuste. No mesmo cenário de $n=20.000, p=1.000$, o TorchKM (129,3s) foi mais rápido que o ThunderSVM (580,8s).
• Escalabilidade: O artigo observa que, para $n=10.000$, o TorchKM é mais de duas ordens de magnitude mais rápido que as implementações padrão de CPU e quase duas ordens de magnitude mais rápido que as implementações padrão de GPU que não utilizam as estratégias integradas espectrais e de validação cruzada.
• Calibração: A biblioteca produz estimativas de probabilidade bem calibradas, com um Erro de Calibração Esperada (ECE) de 0,044 e um escore de Brier de 0,130 nos cenários testados.

Significância
O artigo postula que a principal barreira para o uso generalizado de máquinas de kernel é o custo computacional do ajuste de hiperparâmetros. Ao redesenhar o algoritmo para deslocar o fardo de custo cúbico para operações de matriz-vetor que aproveitam o paralelismo da GPU, o TorchKM torna o pipeline completo de treinamento-e-ajuste viável para dados estruturados de grande escala. Os autores argumentam que essa abordagem permite que os métodos de kernel alcancem seu pleno potencial preditivo ao possibilitar um ajuste de modelo minucioso que antes era computacionalmente proibitivo. A biblioteca representa um passo para tornar o aprendizado de kernel exato prático para conjuntos de dados modernos através da sinergia entre inovação algorítmica e aceleração de hardware.