Towards Truly Unsupervised Evaluation of Feature Selection
Dit artikel bekritiseert de ontwerpfouten van bestaande vermeend ongesuperviseerde technieken voor de evaluatie van kenmerkselectie, door aan te tonen dat deze effectief gesuperviseerd zijn, en stelt een nieuw, werkelijk ongesuperviseerd raamwerk voor dat hoofdanalyse en optimale transport gebruikt om de kwaliteit van kenmerkselectie te beoordelen zonder enige labelinformatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je bewijsbord zit ondergetekend met duizenden plaknotities. De meeste zijn leeg, sommige zijn duplicaten, en een paar bevatten de cruciale aanwijzingen. Als je ze allemaal tegelijk probeert te lezen, raakt je brein overweldigd en mis je het echte verhaal. In de wereld van data science wordt dit de "vloek van dimensionaliteit" genoemd. Wanneer data te veel kenmerken heeft (zoals die plaknotities), wordt het ijl en verwarrend, waardoor het voor computers moeilijk wordt om te leren of patronen te vinden. Om dit op te lossen, gebruiken wetenschappers "feature selection" (kenmerkselectie), een proces waarbij de belangrijkste notities worden uitgekozen en de rest wordt weggegooid. Het doel is om het verhaal helder te houden en de computer snel te laten werken zonder de betekenis van de oorspronkelijke aanwijzingen te verliezen.
Maar hier komt het lastige deel bij: hoe weet je of je de juiste notities hebt gekozen? Normaal gesproken controleer je je antwoord tegen een uitwerking ("ground truth" of labels). Maar wat als je geen uitwerking hebt? Dit is het domein van "unsupervised" (ongesuperviseerd) leren, waarbij de computer zelf de dingen moet uitzoeken. Lange tijd hebben wetenschappers geprobeerd hun ongesuperviseerde methoden te testen door stiekem toch naar de uitwerking te gluren, terwijl ze deden alsojd ze dat niet deden. Deze paper betoogt dat dit is alsof je een toets aflegt met het antwoordenblad erbij en vervolgens beweert dat je een genie bent in het maken van openboekexamens. De auteurs willen weten: kunnen we een detective echt beoordelen zonder ooit de uitwerking te zien?
De auteurs van deze paper, Hafiz Saud Arshad, Muhammad Rajabinasab en Arthur Zimek, zeggen dat de huidige manier van het testen van "unsupervised" kenmerkselectie eigenlijk een beetje een trucje is. Ze wijzen erop dat de meeste methoden beweren ongesuperviseerd te zijn (werken zonder labels), maar wanneer het tijd is om ze te beoordelen, gebruiken ze stiekem de labels om te zien of de gekozen kenmerken helpen om de data in de juiste groepen te sorteren. Het is alsof een leraar tegen een leerling zegt: "Je hebt een geweldig werk geleverd bij het kiezen van de beste ingrediënten voor een taart," maar alleen omdat de leerling toevallig de ingrediënten koos die de taart naar de favoriete smaak van de leraar lieten smaken. De paper betoogt dat dit niet echt ongesuperviseerd is; het is gewoon supervised learning in een vermomming.
Om dit op te lossen, stelt het team een gloednieuwe, echt ongesuperviseerde manier voor om deze methoden te beoordelen. In plaats van te controleren tegen een geheime uitwerking, vergelijken ze de door de detective gekozen notities met een "gouden standaard"-kaart die is gemaakt met een techniek genaamd Principal Component Analysis (PCA). Denk aan PCA als een super slimme organisator die alle plaknotities opnieuw rangschikt om de meest efficiënte manier te vinden om het hele plaatje te beschrijven, zelfs als hij de notities op een manier mengt die moeilijk uit te leggen is. De auteurs suggereren dat een goede methode voor kenmerkselectie kenmerken moet kiezen die, wanneer je ernaar kijkt, erg lijken op deze efficiënte PCA-kaart.
Om deze gelijkenis te meten, gebruiken ze een wiskundig hulpmiddel genaamd "optimal transport" (optimaal transport). Stel je voor dat je twee bergen zand hebt (de ene berg is de door de detective geselecteerde data, de andere de PCA-kaart). Optimal transport berekent de minimale inspanning die nodig is om het zand van de ene berg te verplaatsen zodat de vorm van de andere berg wordt aangenomen. Als de detective de juiste notities heeft gekozen, zullen de bergen bijna identiek zijn en is de inspanning om het zand te verplaatsen laag. Als de detective willekeurige notities heeft gekozen, lijken de bergen totaal niet op elkaar en is de inspanning enorm.
De onderzoekers testten dit idee op acht verschillende hoogdimensionele datasets, variërend van biomedische data tot afbeeldingen van gezichten en objecten. Ze vergeleken hun nieuwe "zandverplaatsingsmethode" met de oude, op labels gebaseerde methoden. Ze ontdekten dat hun nieuwe methode in staat was om de verschillende algoritmen voor kenmerkselectie op een manier te rangschikken die vaak overeenkwam met de oude methoden, zelfs zonder de labels te bekijken. Dit suggereert dat hun nieuwe benadering een geldige manier is om kenmerkselectie te beoordelen zonder labels te gebruiken.
De auteurs zijn echter voorzichtig om niet te beweren dat dit een perfecte, voltooide oplossing is. Ze geven toe dat hun methode enkele beperkingen heeft. Ten eerste kan de "zandverplaatsingswiskunde" erg traag en duur zijn voor enorme datasets. Ook leunt hun methode op PCA, dat zijn eigen regels heeft over hoeveel data het kan verwerken. Als een dataset meer kenmerken heeft dan datapunten, loopt de methode tegen een muur aan. Ze merkten ook op dat verschillende soorten "zandverplaatsingswiskunde" licht afwijkende resultaten gaven, en dat de rangschikkingen soms niet perfect overeenkwamen met de oude methoden. Ze suggereren dat dit niet noodzakelijkerwijs een slecht ding is; het kan simpelweg betekenen dat hun methode een ander aspect van de data ziet dat de oude methoden hebben gemist.
Uiteindelijk claimt deze paper niet het mysterie van kenmerkselectie voor altijd op te lossen. In plaats daarvan biedt het een nieuw, eerlijk instrument voor de gereedschapskist van de detective. Het bewijst dat je kunt beoordelen hoe goed een computer belangrijke data selecteert zonder de uitwerking in je zak te hebben. De auteurs hopen dat dit meer onderzoek zal stimuleren naar echt ongesuperviseerde manieren om data te beoordelen, weg van de gewoonte om labels te gebruiken om huiswerk te nakijken. Het is een eerste stap naar een toekomst waarin we onze data-detectives kunnen vertrouwen, zelfs wanneer we de oplossing niet in onze zakken hebben.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.