SIGMA: SHAP-Guided Implicit-Trajectory Generation for Metadata-Free LLM-Based AutoFE

In de wereld van data science krijgen computers vaak enorme spreadsheets vol met getallen om problemen op te lossen, van het voorspellen van leningen die niet kunnen worden terugbetaald tot het diagnosticeren van ziekten. Deze ruwe getallen zijn echter zelden voldoende op zichzelf. Om de beste resultaten te behalen, moeten experts een proces uitvoeren dat automatische feature engineering wordt genoemd, wat inhoudt dat er nieuwe, slimmere kolommen met gegevens worden gecreëerd door de bestaande kolommen te combineren of te transformeren. Stel je een chefkok voor die niet alleen de ingrediënten uit de voorraadkast gebruikt, maar nieuwe smaakcombinaties bedenkt om een gerecht beter te laten smaken. Decennialang hebben computers geprobeerd dit te doen door willekeurig getallen te mengen en te matchen, maar deze aanpak is traag en levert vaak verwarrende resultaten op. Onlangs begonnen wetenschappers grote taalmodellen te gebruiken — krachtige kunstmatige intelligentiesystemen die kunnen redeneren en leren van context — om als deze creatieve chefkoks te fungeren. Men dacht dat deze AI-systemen de sleutel waren tot het ontsluiten van betere voorspellingen, maar ze liepen tegen een grote hindernis aan: ze hadden meestal gedetailleerde beschrijvingen nodig van wat elk getal betekende om goed te kunnen werken. In de echte wereld ontbreken dergelijke beschrijvingen vaak vanwege privacyregels of simpelweg omdat de gegevens afkomstig zijn van sensoren die geen menselijke taal spreken. Bovendien, wanneer deze AI-systemen probeerden te leren van hun eerdere pogingen om de gegevens te verbeteren, groeide de lijst met hun geschiedenis zo lang dat het het geheugen van de computer overbelastte, waardoor het systeem in een lus terechtkwam waarin dezelfde fouten werden herhaald.

Een team onderzoekers aan de Yokohama National University heeft een nieuwe methode ontwikkeld genaamd SIGMA om deze problemen op te lossen, waardoor kunstmatige intelligentie betere gegevens kan creëren zonder dat daar beschrijvingen van nodig zijn over wat de getallen vertegenwoordigen. In plaats van te vertrouwen op menselijke taal om de gegevens te begrijpen, gebruikt SIGMA een wiskundig hulpmiddel genaamd SHAP om te meten hoeveel elk stukje informatie er werkelijk toe doet voor de uiteindelijke voorspelling. Zie dit hulpmiddel als een spotlight die de belangrijkste getallen accentueert en de minder nuttige getallen dimt, waardoor de AI een duidelijke richting krijgt zonder te hoeven weten wat de getallen worden genoemd. De onderzoekers deelden deze getallen vervolgens in drie categorieën in: de meest belangrijke, de matig nuttige en de zwakke. Ze vroegen de AI om nieuwe gegevenskolommen te creëren door getallen binnen deze groepen te mengen of door de sterke getallen met de zwakke te verbinden, wat het systeem effectief leerde om zijn creativiteit te richten waar het er echt toe doet.

De meest significante innovatie in dit werk is een techniek die de onderzoekers een "exposed-feature implicit trajectory" noemen. Bij eerdere pogingen hielden AI-systemen een geschreven lijst bij van elke feature die ze ooit hadden gecreëerd om duplicaten te voorkomen, maar deze lijst werd snel te lang om in het geheugen van de computer te passen. SIGMA hanteert een andere aanpak. In plaats van een geschiedenis op te schrijven, verbergt het de features die al zijn gebruikt simpelweg tijdelijk voor het zicht van de AI. Als de AI probeert een feature te creëren met een getal dat momenteel verborgen is, wordt het gedwongen elders te kijken. Deze eenvoudige handeling van verbergen en onthullen werkt als een stille gids, die de AI wegstuurt van het herhalen van zichzelf zonder ooit een lange geschiedenislog bij te houden. Dit stelt het systeem in staat om veel langer te draaien, waarbij het zijn werk over vele stappen verfijnt zonder vast te lopen door geheugenlimieten of vast te komen zitten in een cyclus van het genereren van dezelfde nutteloze features.

De resultaten van deze nieuwe aanpak zijn opmerkelijk. Wanneer getest op zestien verschillende real-world datasets, presteerde SIGMA net zo goed als de beste bestaande AI-methoden die vertrouwen op gedetailleerde beschrijvingen, wat bewijst dat het systeem geen menselijke labels nodig heeft om effectief te zijn. Belangrijker nog, het loste het probleem van herhaling op. In eerdere systemen waren bijna zevenendertig procent van de gegenereerde features duplicaten, wat waardevolle rekenkracht verspilde. Met de methode van SIGMA om gebruikte features te verbergen, daalde dit duplicatiepercentage drastisch tot minder dan zeven procent. Het systeem bleek ook ongelooflijk efficiënt te zijn. Terwijl traditionele methoden vaak honderden nieuwe features genereren om een paar goede te vinden, bereikte SIGMA topprestaties met gemiddeld slechts vijf nieuwe features per dataset. Dit betekent dat het systeem de meest waardevolle verbeteringen snel vindt, waardoor de rest van de gegevens schoon en beheersbaar blijft.

De onderzoekers ontdekten ook dat deze methode de AI in staat stelt om complexe, meerlagige structuren van gegevens te bouwen die voorheen buiten bereik lagen. In sommige tests slaagde het systeem erin om features in een keten te combineren, waarbij de output van één stap als de input voor de volgende werd gebruikt, waardoor een diep netwerk van relaties ontstond dat de voorspellingen aanzienlijk verbeterde. Deze capaciteit stelde SIGMA in staat om oudere, niet-AI-methoden die vertrouwen op rigide, vooraf gedefinieerde regels, te overtreffen. De studie bevestigt dat door de noodzaak van menselijke taal te vervangen door wiskundige belangrijkheidssignalen en door een slim systeem van verbergen en onthullen te gebruiken, kunstmatige intelligentie een krachtiger en praktischer hulpmiddel kan worden voor het verbeteren van data-analyse, zelfs in situaties waarin geen menselijke beschrijvingen beschikbaar zijn.