Improving Improved Kernel PLS

Stel je voor dat je een detective bent die een enorme puzzel probeert op te lossen, maar in plaats van vingerafdrukken heb je duizenden aanwijzingen die allemaal door elkaar zijn gehusseld. In de wereld van de data science, specifiek in een vakgebied genaamd chemometrie, worden wetenschappers vaak met exact dit probleem geconfronteerd. Ze hebben een gigantische spreadsheet met "voorspellende" aanwijzingen (zoals de chemische samenstelling van een stof) en een kleinere set "respons"-antwoorden (zoals hoe sterk een medicijn is). Om de verbinding tussen deze twee te vinden, gebruiken ze een wiskundig hulpmiddel genaamd Partial Least Squares (PLS). Zie PLS als een super slim sorteermachine die probeert de rommelige aanwijzingen uit te lijnen met de antwoorden om het verborgen patroon te vinden.

Echter, het doorzoeken van miljoens aanwijzingen kost veel tijd. De oudere, originele manier om dit te sorteren is als het organiseren van een bibliotheek door elk boek één voor één op te pakken en te vragen: "Hoort dit hier?" Het is accuraat, maar het is pijnlijk traag. Een paar jaar geleden hebben wetenschappers een snellere versie hiervan uitgevonden, genaamd "Improved Kernel PLS" (IKPLS), wat is als het gebruik van een lopende band om boeken te verplaatsen in plaats van ze te dragen. Maar zelfs lopende banden kunnen knelpunten hebben. Dit artikel vraagt zich af: "Kunnen we de lopende band nog sneller laten bewegen zonder de boeken of de uiteindelijke ordening te veranderen?" Het antwoord is ja, en de auteurs hebben twee slimme trucs gevonden om de snelheid aanzienlijk te verhogen, vooral bij het gebruik van moderne, supersnelle computerchips.

Het papier richt zich op twee specifieke stappen in het IKPLS-proces die fungeren als de motor van de sorteermachine. De eerste stap omvat het berekenen van "X-rotaties" (laten we dit de R-stap noemen), wat in essentie het bepalen is van de beste hoek om de data te kantelen zodat de aanwijzingen op één lijn liggen. De tweede stap berekent de "Y-loadings" (de Q-stap), die bepaalt hoeveel gewicht aan elk antwoord wordt toegekend. De auteurs realiseerden zich dat de oude manier van deze stappen uitvoeren leek op een enkele persoon die probeert een toren van blokken één voor één op te stapelen, waarbij hij wacht tot elk blokje is gaan staan voordat hij het volgende toevoegt. Ze bewezen dat je de hele toren eigenlijk in één grote, gesynchroniseerde beweging kunt stapelen zonder de uiteindelijke vorm van de toren te veranderen.

Voor de R-stap lieten de auteurs zien dat je, in plaats van getallen één voor één op te tellen (een traag, sequentieel proces), een "directe evaluatie"-strategie kunt gebruiken. Stel je een team van arbeiders voor waarbij, in plaats van een zware doos door een lijn door te geven, iedereen zijn deel van de doos grijpt en tegelijkertijd optilt. Het papier bewijst wiskundig dat deze nieuwe methode precies dezelfde hoeveelheid wiskundige arbeid verricht als de oude methode, maar omdat het moderne computerprocessors (zoals die in je telefoon of een gaming PC) in staat stelt om parallel te werken, wordt het veel sneller voltooid. Op een standaard computerprocessor maakte dit de stap ongeveer 2 keer sneller, maar op een krachtige grafische kaart (GPU) versnelde het in sommige gevallen met een factor tot wel 100!

De Q-stap is waar de magie nog interessanter wordt. De auteurs ontdekten een geheime afkorting waarmee de computer een enorme hoeveelheid werk kan overslaan, maar alleen onder bepaalde omstandigheden. Als het aantal antwoorden (Y) klein is in vergelijking met het aantal aanwijzingen (X), of als er slechts één antwoord te vinden is, deed de oude methode een grote hoeveelheid onnodige berekeningen. Het was alsof een chef groenten hakte voor een soep die slechts twee wortels nodig heeft, maar toch een hele tuin aan het hakken was. De auteurs bewezen dat de chef gewoon de twee wortels kan pakken die hij eerder in het proces al heeft gesneden en de rest kan overslaan. Dit vermindert de arbeid van een enorme hoeveelheid naar een piepkleine hoeveelheid, waardoor de berekening tot wel 100 keer sneller wordt. Echter, ze toonden ook aan dat als het aantal antwoorden enorm groot is (groter dan het aantal aanwijzingen), deze afkorting niet van toepassing is en de computer het volledige werk alsnog moet doen.

De auteurs hebben niet alleen gegokt aan deze verbeteringen; ze hebben ze bewezen met rigoureuze wiskunde en vervolgens getest op echte computers. Ze hebben een gratis, open-source softwarepakket genaamd ikpls gebouwd dat deze nieuwe trucs bevat. Toen ze benchmarks uitvoerden, waren de resultaten duidelijk: de nieuwe algoritmen produceerden exact dezelfde resultaten als de oude (geen fouten, geen verlies van nauwkeurigheid), maar ze voltooiden de taak veel sneller. Voor een volledige data-analyse maakte de nieuwe methode het proces ongeveer 2 keer sneller op een standaard computer en tot wel 6 keer sneller op een grafische kaart. Het papier concludeert dat terwijl de verbetering van de "R-stap" een praktische snelheidsboost is voor iedereen, de verbetering van de "Q-stap" een game-changer is voor specifieke typen dataproblemen, waarbij een enorme reductie in de totale benodigde arbeid wordt geboden.

Kortom, dit artikel gaat over het nemen van een snel algoritme en het nóg sneller maken door de manier waarop de computer over de wiskunde denkt te reorganiseren. Het is een herinnering dat de beste manier om sneller te gaan soms niet is om een betere motor te bouwen, maar om de manier waarop je de auto bestuurt te veranderen. Door te bewijzen dat deze nieuwe methoden wiskundig identiek zijn aan de oude maar computationeel superieur zijn, hebben de auteurs wetenschappers een krachtig nieuw instrument gegeven om complexe data te analyseren zonder te hoeven wachten tot de computer bij blijft.