🤖 machine learning

Improving Improved Kernel PLS

Este artigo introduz estratégias otimizadas para o cálculo de rotações $\mathbf{X}$ e carregamentos $\mathbf{Y}$ em algoritmos de Improved Kernel Partial Least Squares (IKPLS) que aproveitam o paralelismo de hardware moderno e equivalências matemáticas para alcançar acelerações significativas enquanto preservam resultados numéricos exatos, tudo implementado no pacote Python de código aberto `ikpls`.

Autores originais: Ole-Christian Galbo Engstrøm

Publicado 2026-07-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ole-Christian Galbo Engstrøm

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério enorme, mas em vez de impressões digitais, você tem milhares de pistas todas misturadas. No mundo da ciência de dados, especificamente em um campo chamado quimiometria, os cientistas frequentemente enfrentam exatamente esse problema. Eles têm uma planilha gigante de pistas "preditoras" (como a composição química de uma substância) e um conjunto menor de respostas "respostas" (como a força de um medicamento). Para encontrar a conexão entre os dois, eles usam uma ferramenta matemática chamada Mínimos Quadrados Parciais (PLS). Pense no PLS como uma máquina de classificação superinteligente que tenta alinhar as pistas bagunçadas com as respostas para encontrar o padrão oculto.

No entanto, vasculhar milhões de pistas leva muito tempo. A forma mais antiga e original de fazer essa classificação é como tentar organizar uma biblioteca pegando cada livro um por um e perguntando: "Isso vai aqui?". É preciso, mas é dolorosamente lento. Alguns anos atrás, os cientistas inventaram uma versão mais rápida chamada "Improved Kernel PLS" (IKPLS), que é como usar uma esteira de transporte para mover os livros em vez de carregá-los. Mas até as esteiras podem ter gargalos. Este artigo pergunta: "Podemos fazer a esteira se mover ainda mais rápido sem mudar os livros ou o arranjo final?". A resposta é sim, e os autores encontraram dois truques engenhosos para acelerar as coisas significativamente, especialmente ao usar chips de computador modernos e super rápidos.

O artigo foca em duas etapas específicas do processo IKPLS que atuam como o motor da máquina de classificação. A primeira etapa envolve calcular "rotações de X" (vamos chamar de etapa-R), que é essencialmente descobrir o melhor ângulo para inclinar os dados para que as pistas se alinhem. A segunda etapa calcula "carregamentos de Y" (a etapa-Q), que determina quanto peso dar a cada resposta. Os autores perceberam que a maneira antiga de realizar essas etapas era como uma única pessoa tentando empilhar uma torre de blocos um por um, esperando que cada bloco se assentasse antes de adicionar o próximo. Eles provaram que você pode, na verdade, empilhar a torre inteira em um único movimento sincronizado, sem alterar a forma final da torre de forma alguma.

Para a etapa-R, os autores mostraram que, em vez de somar números um por um (um processo sequencial lento), você pode usar uma estratégia de "avaliação direta". Imagine uma equipe de trabalhadores onde, em vez de passar uma caixa pesada em uma linha, todos agarram sua parte da caixa e a levantam ao mesmo tempo. O artigo prova matematicamente que este novo método faz exatamente a mesma quantidade de trabalho matemático que o método antigo, mas porque permite que os processadores de computador modernos (como os do seu telefone ou de um PC gamer) trabalhem em paralelo, ele termina muito mais rápido. Em um processador de computador padrão, isso tornou a etapa cerca de 2 vezes mais rápida, mas em uma placa de vídeo (GPU) poderosa, acelerou por um fator de até 100 vezes em alguns casos!

A etapa-Q é onde a mágica fica ainda mais interessante. Os autores descobriram um atalho secreto que permite ao computador pular uma quantidade enorme de trabalho, mas apenas sob certas condições. Se o número de respostas (Y) for pequeno em comparação ao número de pistas (X), ou se houver apenas uma resposta para encontrar, o método antigo estava realizando muitos cálculos desnecessários. Era como um chef cortando vegetais para uma sopa que só precisa de dois cenouras, mas cortando um jardim inteiro assim mesmo. Os autores provaram que o chef pode simplesmente pegar as duas cenouras que já cortou anteriormente no processo e pular o resto. Isso reduz o trabalho de uma quantidade massiva para uma quantidade minúscula, tornando o cálculo até 100 vezes mais rápido para esses casos específicos. No entanto, eles também mostraram que, se o número de respostas for enorme (maior que o número de pistas), esse atalho não se aplica e o computador tem que fazer todo o trabalho de qualquer maneira.

Os autores não apenas adivinharam essas melhorias; eles as provaram com matemática rigorosa e depois as testaram em computadores reais. Eles construíram um pacote de software gratuito e de código aberto chamado ikpls que inclui esses novos truques. Quando rodaram os testes de desempenho, os resultados foram claros: os novos algoritmos produziram exatamente os mesmos resultados que os antigos (sem erros, sem perda de precisão), mas terminaram o trabalho muito mais rápido. Para uma análise de dados completa, o novo método tornou o processo cerca de 2 vezes mais rápido em um computador padrão e até 6 vezes mais rápido em uma placa de vídeo. O artigo conclui que, enquanto a melhoria da "etapa-R" é um aumento de velocidade prático para todos, a melhoria da "etapa-Q" é um divisor de águas para tipos específicos de problemas de dados, oferecendo uma redução massiva no trabalho total necessário.

Em resumo, este artigo trata de pegar um algoritmo rápido e torná-lo ainda mais rápido ao reorganizar a forma como o computador pensa sobre a matemática. É um lembrete de que, às vezes, a melhor maneira de ir mais rápido não é construir um motor melhor, mas sim mudar a forma como você dirige o carro. Ao provar que esses novos métodos são matematicamente idênticos aos antigos, mas computacionalmente superiores, os autores deram aos cientistas uma nova ferramenta poderosa para analisar dados complexos sem ter que esperar o computador alcançar o ritmo.

Problema
Os algoritmos de Improved Kernel Partial Least Squares (IKPLS) 1 e 2 são estabelecidos como estando entre os métodos de calibração PLS mais rápidos, amplamente utilizados em quimiometria para analisar espectros de infravermelho próximo (NIR) tanto em regressão quanto em classificação. Embora o algoritmo NIPALS original seja numericamente estável, porém lento, o IKPLS oferece velocidade. No entanto, este artigo identifica que dois passos computacionais específicos dentro de ambos os algoritmos IKPLS — o cálculo das rotações de X ( $R$ ) e dos loadings de Y ( $Q$ ) — podem ser ainda mais otimizados. O objetivo é acelerar esses passos sem alterar o resultado matemático, melhorando assim o tempo total de execução do ajuste de PLS em hardware moderno.

Metodologia
O artigo propõe duas melhorias algorítmicas distintas, ambas comprovadamente equivalentes aos passos originais do IKPLS:

Cálculo Melhorado de $R$ (Rotações de X):
O cálculo original do vetor de rotação $r_a$ baseia-se em uma relação de recorrência (Equação 1) que acumula termos sequencialmente. O autor substitui isso por uma estratégia de avaliação direta (Equação 2) utilizando um produto matriz-vetor envolvendo as matrizes previamente acumuladas $R_{a-1}$ e $P_{a-1}$ .
- Complexidade: Tanto o método original quanto o novo exigem o mesmo número de multiplicações ( $\Theta(K(a-1))$ ).
- Otimização: A nova estratégia é projetada para paralelizar melhor em hardware multi-processador moderno, evitando as dependências sequenciais da acumulação termo a termo.
Cálculo Melhorado de $Q$ (Loadings de Y):
O cálculo original do vetor de loading $q_a$ (Algoritmo 2, linha 8) envolve um produto vetor-matriz com complexidade $\Theta(KM)$ . O autor identifica equivalências matemáticas mostrando que $q_a$ pode ser derivado de quantidades já computadas em passos anteriores (especificamente da decomposição em autovalores ou operações vetoriais no Passo 2 do algoritmo IKPLS).
- Aplicabilidade: Esta melhoria aplica-se quando $M=1$ (PLS1) ou quando $2 \le M < K$ (PLS2 onde a matriz de resposta possui menos colunas que a matriz de preditores). Não se aplica quando $2 \le M$ e $K \le M$ .
- Complexidade: Para os casos aplicáveis, a complexidade é reduzida de $\Theta(KM$ para $\Theta(M)$ . Isso representa uma redução por um fator de $\Theta(K)$ .
- Prova: O Teorema 1 prova que o novo cálculo (Algoritmo 3) produz exatamente os mesmos valores de $q_a$ que o original, garantindo que os passos de deflação subsequentes e os parâmetros finais do modelo ( $W, P, Q, R, T$ ) permaneçam idênticos.

Principais Contribuições

Reformulação Algorítmica: O artigo fornece uma estratégia de avaliação direta para $R$ que, embora assintoticamente idêntica em contagem de operações, é melhor adequada para execução paralela.
Redução de Complexidade: Apresenta uma nova derivação para $Q$ que reduz a complexidade computacional de $\Theta(KM$ para $\Theta(M)$ para casos comuns específicos (PLS1 e PLS2 "largo"). Tanto quanto o conhecimento do autor, esta equivalência é identificada pela primeira vez.
Provas de Correção: Provas rigorosas (Proposições 1–4 e Teorema 1) demonstram que os passos melhorados produzem exatamente os mesmos resultados que os algoritmos IKPLS originais.
Implementação: Ambas as melhorias estão implementadas no pacote Python gratuito e de código aberto ikpls, que também suporta PLS ponderado por amostra e validação cruzada rápida.

Resultados
Testes de desempenho (benchmarks) foram conduzidos usando NumPy (CPU) e JAX (GPU) através de variados tamanhos de conjuntos de dados ( $N$ ), contagens de preditores ( $K$ ), contagens de respostas ( $M$ ) e contagens de componentes ( $A$ ).

Passos Isolados:
- O cálculo melhorado de $R$ mostrou acelerações de até duas ordens de magnitude (ex: 147x em GPU) em comparação com a acumulação termo a termo, com ganhos aumentando conforme $A$ cresce.
- O cálculo melhorado de $Q$ mostrou acelerações proporcionais a $K$ quando $M=1$ ou $M < K$ . Por exemplo, na CPU, as acelerações atingiram 346x quando $K=10^4$ e $M=1$ . Quando $M \ge K$ , o desempenho igualou-se ao algoritmo original.
Ajustes Completos (Full Fits):
- Para ajustes de modelos completos, as melhorias renderam acelerações de aproximadamente 2x na CPU e 6x na GPU.
- A melhoria de $R$ contribuiu com a maior parte da aceleração nos ajustes completos, apesar de o passo de $Q$ possuir uma complexidade assintótica menor, porque o passo de $R$ é executado para cada componente e beneficia-se significativamente da paralelização.
- A aceleração relativa diminui conforme $N$ aumenta (já que outras partes do ajuste dominam) ou quando $M \ge K$ (onde a melhoria de $Q$ não é aplicável).

Significância
O artigo afirma que estas melhorias tornam o IKPLS uma escolha ainda mais forte para quimiometristas que requerem tanto precisão de calibração quanto velocidade.

Impacto Prático: As melhorias são substituições diretas ("drop-in") que produzem resultados idênticos, permitindo a adoção imediata em implementações existentes.
Contexto Histórico: A melhoria de $R$ valida uma estratégia já utilizada (sem prova) no pacote pls de R. A melhoria de $Q$ responde a uma questão colocada no código-fonte do pls desde 2006 sobre a proporcionalidade dos loadings em PLS2, fornecendo uma prova formal e estendendo a solução para o caso PLS1.
Eficiência de Hardware: Os resultados destacam a importância do design de algoritmos que se alinhem com as capacidades do hardware moderno (paralelismo), demonstrando ganhos significativos tanto em CPUs multi-core quanto em GPUs.

Mais como este