Probabilistic Block Term Decomposition for the Modelling of Higher-Order Arrays

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van één enkele plaats delict, heb je een enorme, gelaagde bibliotheek aan aanwijzingen. Sommige aanwijzingen zijn eenvoudige lijsten (zoals een boodschappenlijstje), sommige zijn spreadsheets (zoals een budget), maar de meest interessante zijn 3D-kubussen of zelfs hogere dimensies "hyperkubussen" van data. In de wereld van de wetenschap worden deze tensoren genoemd. Je vindt ze overal: in de chemie, waar ze bijhouden hoe chemicaliën oplichten onder verschillende lichten; in de biologie, waar ze in kaart brengen hoe genen veranderen over tijd en onder verschillende omstandigheden; of in de psychologie, om bij te houden hoe mensen reageren op verschillende objecten.

Om deze gigantische, rommelige datacubussen begrijpelijk te maken, gebruiken wetenschappers een techniek genaamd tensordecompositie. Denk eraan als het uit elkaar halen van een complex Lego-kasteel om de individuele steentjes te zien en hoe ze aan elkaar geklikt zijn. Het doel is om de data af te breken tot eenvoudigere, begrijpelijke patronen. Lange tijd hebben wetenschappers twee hoofdzakelijke manieren gebruikt om dit te doen: één waarbij elk patroon als een volledig afzonderlijke, onafhankelijke lijn wordt behandeld (zoals een stapel losse Lego-steentjes), en een andere waarbij de patronen een groot, onderling verbonden web vormen waarin alles met alles in contact staat. Maar wat als de waarheid ergens in het midden ligt? Wat als je data bestaat uit verschillende afzonderlijke "blokken", waarbij elk blok een klein, onderling verbonden web is, maar de blokken zelf niet met elkaar communiceren? Dit is de "Block-Term Decomposition" (BTD), een methode die probeert dat perfecte middenpad te vinden.

Er is echter een addertje onder het gras: traditionele manieren om deze puzzels op te lossen vertrouwen op het vinden van slechts één "beste gok". Als je data ruisachtig of rommelig is (zoals een foto die in het donker is genomen), kan die enkele gok er gemakkelijk in worden gefopt, wat leidt tot een verkeerde conclusie. Hier komt het nieuwe artikel om de hoek kijken. In plaats van alleen één antwoord te zoeken, stellen de auteurs een slimmere, "probabilistische" benadering voor. Stel je voor dat je in plaats van te vragen: "Wat is de ene ware vorm van dit Lego-kasteel?", vraagt: "Wat zijn alle mogelijke vormen die dit kasteel zou kunnen hebben, en hoe waarschijnlijk is die elk?" Door een methode te gebruiken die Bayesiaanse inferentie wordt genoemd, zoeken ze niet alleen naar één antwoord; ze brengen een landschap van mogelijkheden in kaart, waardoor ze kunnen zien hoe onzeker ze zijn en automatisch de delen van de data te kunnen negeren die slechts willekeurige ruis zijn.

Het Nieuwe Gereedschap van het Papier: De "Slimme" Lego-bouwer

In dit artikel introduceren Jesper Løve Hinrich en Morten Mørup een nieuwe, zeer efficiënte versie van deze probabilistische methode, specifiek voor de Block-Term Decomposition (BTD). Ze noemen het pBTD (probabilistic Block Term Decomposition). Hun grote idee is het bouwen van een model dat de rommelige realiteit van echte data kan aanpakken door de onbekende delen van de puzzel te behandelen als distributies (bereiken van mogelijkheden) in plaats van vaste getallen.

Om dit werkend te krijgen, moesten ze een lastig wiskundig probleem oplossen: hoe de verschillende "blokken" van de data strikt gescheiden te houden en te voorkomen dat ze in elkaar overvloeien. Dit deden ze door gebruik te maken van een speciale wiskundige regel (de von Mises-Fisher distributie) die de bouwstenen dwingt om "orthogonaal" te blijven. In alledaagse termen: denk aan orthogonaliteit als het zorgen dat je Lego-steentjes perfect loodrecht op elkaar staan, zoals de hoek van een kamer. Dit voorkomt dat de verschillende patronen in de knoop raken, wat een veelvoorkomend probleem is bij andere methoden.

Wat Ze Hebben Gevonden: Slimmer Gokken en Ruisfiltering

De auteurs hebben hun nieuwe pBTD-tool op twee manieren getest: eerst met computergegenereerde "nepdata" waarbij ze het exacte antwoord kenden, en daarna met twee real-world datasets: één uit een industrieel chemisch proces en een andere uit hersengolf-opnames (EEG).

Toen ze de tool testten op de nepdata, ontdekten ze iets fascinerends. Wanneer de data erg ruisachtig was (zoals proberen een fluistering te horen in een orkaan), bleven de traditionele methoden (genoemd Maximum Likelihood Estimation of MLE) proberen de ruis in hun patronen te passen, wat in feite leidde tot "overfitting" en het creëren van een rommelig, foutief model. In contrast hiermee was de nieuwe pBTD-tool slim genoeg om te beseffen: "Hé, dit deel is gewoon ruis," en het schakelde effectief de delen van het model uit die geen zin hadden. Het vond niet alleen het antwoord; het wist ook wanneer het geen antwoord moest zoeken.

Ze gebruikten de tool ook om de "juiste" structuur van de data te bepalen. Stel je voor dat je een doos met Lego hebt en niet weet of je één grote toren moet bouwen, een paar kleine torens, of een platte muur. De pBTD-tool gebruikt een score genaamd de Evidence Lower Bound (ELBO) om als een rechter te fungeren, die hen vertelt welke structuur het beste bij de data past. In hun simulaties identificeerde de tool succesvol de juiste hoeveelheid blokken en hun grootte in de meeste gevallen. Het was in staat om de extra, onnodige stukken te "snoeien", waardoor ze tot bijna nul werden verkleind, vergelijkbaar met een tuinman die dode takken wegknipt om de gezonde boom te onthullen.

Resultaten in de Praktijk: Van Chemie tot Hersenen

Wanneer ze de pBTD toepasten op echte data, waren de resultaten even veelbelovend.

• De Chemische Data: In een dataset van een industrieel injectiegietproces suggereerde de tool dat een volledig "Tucker"-model (waarbij alles met elkaar verbonden is) de beste fit was. Het toonde echter ook aan dat veel van de verbindingen in dat model erg zwak of onzeker waren, waardoor ze effectief werden weggesnoeid om de kernstructuur te tonen.
• De Breindata: In de EEG-dataset, die hersenactiviteit tijdens handstimulatie mat, gaf de tool opnieuw de voorkeur aan het volledige, onderling verbonden model. Hier merkten de auteurs echter een afweging op. Hoewel het volledere model statistisch gezien de "beste" fit was, waren de simpelere, meer gescheiden modellen (zoals het CPD-model) in de praktijk makkelijker te begrijpen voor mensen. Zo toonde het simpelere model bijvoorbeeld duidelijk aan dat één specifiek patroon van hersenactiviteit optrad bij stimulatie van de linkerhand en een ander patroon bij de rechterhand. Het complexe, volledig verbonden model was moeilijker te interpreteren, ook al was het wiskundig robuust.

De Kern van het Verhaal

Het artikel concludeert dat deze nieuwe probabilistische benadering een verenigde manier biedt om alle soorten tensordecomposities aan te pakken, van de eenvoudigste tot de meest complexe. Het biedt een "vangnet" tegen overfitting, waardoor wetenschappers meer vertrouwen kunnen hebben in hun resultaten, zelfs wanneer de data ruis bevat. Hoewel de wiskunde erachter zwaar is, is het resultaat een tool die niet alleen getallen verwerkt, maar het verschil begrijpt tussen een signaal en een foutje. De auteurs suggereren dat deze methode net zo snel is als de oude manieren van doen, maar je een veel rijker en betrouwbaarder beeld geeft van wat je data je werkelijk vertelt. Ze merken ook op dat hoewel ze een specifieke wiskundige truc genaamd "variational inference" gebruikten om het snel te maken, het framework flexibel genoeg is om in de toekomst met andere, nog gedetailleerdere methoden te worden gebruikt. Uiteindelijk hebben ze wetenschappers een betere manier gegeven om naar de meerdimensionale wereld te kijken, waardoor ze patronen kunnen zien zonder in de ruis te verdwalen.