POSSE-kNN: Pathwise Out-of-Bag Selected Subspace Ensembles for Binary Classification

Stel je voor dat je de beste route probeert te vinden door een dicht, mistig bos om een specifieke bestemming te bereiken. In de wereld van de informatica is dit een beetje als "machine learning", waarbij algoritmen slimme gissingen proberen te doen op basis van data. Eén populaire manier om dit te doen is "k-nearest neighbors" (kNN). Denk aan kNN als een toerist die de vijf dichtstbijzijnde mensen die hij ziet, om de weg vraagt. Als de meeste van die vijf zeggen "sla linksaf", dan slaat de toerist linksaf. Het is simpel en werkt goed in open velden, maar het kan in de war raken in een bos met kronkelende paden. Als de "linksaf-mensen" in een lange, gebogen lijn staan, kan een toerist die alleen naar de mensen kijkt die in een rechte lijn het dichtstbij staan, de hele groep missen en verdwaald raken.

Dit artikel pakt precies dat probleem aan: hoe helpen we onze digitale toerist om door kronkelige, lastige paden in het dataforest te navigeren zonder vast te lopen? De onderzoekers bouwen een betere versie van de "vraag de buren"-strategie. Ze kijken niet alleen naar de dichtstbijzijnde mensen; ze zoeken naar de mensen die verbonden zijn in een logische keten, zoals stapstenen over een beekje. Ze gebruiken ook een slimme truc genaamd "Out-of-Bag" (OOB) screening, wat lijkt op een groep verkenners die hun eigen kaarten testen tijdens een oefenronde voordat de echte reis begint, waarbij ze alleen de kaarten houden die hen niet hebben doen verdwalen.

Het Verhaal van het Papier: Een Betere Manier om het Pad te Vinden

De onderzoekers, Zardad Khan en zijn team, introduceerden een nieuwe methode genaamd POSSE-kNN. Je kunt dit zien als een superteam van ontdekkingsreizigers die een puzzel proberen op te lossen. In plaats van één ontdekkingsreiziger die naar de kaart kijkt, creëren ze 500 verschillende "kandidaat"-ontdekkingsreizigers. Elke eenheid is een beetje anders: ze bekijken het bos door een licht andere lens (random feature subspaces) en ze nemen een uniek pad om hun buren te vinden.

Zo werkt hun speciale "Pathwise"-methode. Stel je voor dat jij de ontdekkingsreiziger bent die op een query-punt staat (de plek waar je een beslissing moet nemen).

1. De Eerste Stap: Je kijkt om je heen en vindt de enkelvoudig dichtstbijzijnde persoon bij jou.
2. De Kettingreactie: In plaats van te zoeken naar de volgende dichtstbijzijnde persoon bij jou, zoek je naar de persoon die het dichtst bij de eerste persoon die je net vond, staat. Daarna zoek je de persoon die het dichtst bij die persoon staat.
3. Het Pad: Je blijft dit doen totdat je een keten van $k$ mensen hebt. Dit creëert een "pad" dat de lokale vorm van de menigte volgt, zelfs als die menigte gebogen of gedraaid is. Dit is veel slimmer dan alleen de vijf mensen te kiezen die in een rechte lijn het dichtst bij je staan, die misschien wel allemaal in een vreemde, onhandige cluster staan.

Maar wacht, 500 ontdekkingsreizigers is veel ruis. Sommigen zijn slecht in navigeren. Daarom gebruikt het team de Out-of-Bag (OOB) screening. Voordat de definitieve race begint, sturen ze elke van de 500 ontdekkingsreizigers op een oefenronde met een set data waarop ze niet getraind zijn. Als een ontdekkingsreiziger tijdens de oefenronde verdwaalt, wordt hij uit het team gezet. De onderzoekers hielden de top 25% van de ontdekkingsreizigers over (de beste 125 van de 500) en lieten hen stemmen over het definitieve antwoord. Het is als een realityshow waarbij de jury de kandidaten elimineert die de uitdaging niet halen, waardoor alleen de kampioenen overblijven om de winnaar te bepalen.

Wat Ze Hebben Gevonden

Het team heeft deze nieuwe POSSE-kNN methode getest op tien verschillende datasets (die zijn als tien verschillende soorten bossen, variërend van kleine medische dossiers tot grotere engineering-data). Ze vergeleken het met zes andere gevestigde methoden, waaronder standaard kNN, Random Forests en Support Vector Machines (SVM).

De resultaten waren zeer veelbelovend. Over de hele linie kwam POSSE-kNN bovenaan te staan in de algemene ranglijsten.

• Nauwkeurigheid: Het kreeg gemiddeld 0.740 van de tijd het juiste antwoord. Dit was de hoogste score van alle geteste methoden.
• Betrouwbaarheid: Het scoorde ook het best op Cohen's kappa (0.412), een maatstaf voor hoe goed de methode overeenkomt met de waarheid, en de Brier score (0.175), die meet hoe confident en correct de waarschijnlijkheidsvoorspellingen waren.

De methode won of deelde de eerste plaats op acht van de tien datasets. De paper is echter voorzichtig om niet te zeggen dat het een wondermiddel is voor alles. Op twee specifieke datasets (één genaamd ILPD en een andere genaamd Chscase Vine) presteerden andere methoden iets beter. Bijvoorbeeld, op de Chscase Vine data was een lineaire methode genaamd SVM beter, wat suggereert dat het "bos" soms eigenlijk een rechte lijn is en een complex pad niet nodig is.

De "Hoeveel Buren?" Vraag

De onderzoekers hebben ook gespeeld met de grootte van de groep door het aantal buren ($k$) te veranderen naar 3, 5 of 7. Ze ontdekten dat de methode voor sommige bossen (zoals de "Heart" dataset) geweldig werkte, ongeacht welk aantal ze kozen. Maar voor anderen (zoals "ILPD") hielp het veranderen van het aantal niet veel, en was soms een andere strategie beter. Dit suggereert dat hoewel de pathwise methode krachtig is, je nog steeds je instellingen moet afstemmen op het specifieke probleem dat je oplost.

De Kern van het Verhaal

Het artikel concludeert dat POSSE-kNN een sterke, concurrerende tool is. Het suggereert dat door de "stapsteen"-manier van buren vinden te combineren met een strikte "oefenronde"-filter, we betere classificaties kunnen bouwen voor lastige data. Het beweert niet elk probleem in de wereld van machine learning te hebben opgelost, maar het laat zien dat wanneer de data gebogen en complex is, het volgen van een pad vaak een beter idee is dan alleen kijken naar wie er in een rechte lijn het dichtstbij staat. De auteurs merken op dat toekomstig werk zich moet richten op het sneller maken van de methode en het automatisch fijn afstemmen van de instellingen, maar voor nu is het een solide stap voorwaarts in het helpen van computers om door de rommelige, kronkelende bossen van real-world data te navigeren.