Towards Truly Unsupervised Evaluation of Feature Selection
Dieses Paper kritisiert die Designfehler bestehender, angeblich unüberwachter Techniken zur Evaluierung der Merkmalsauswahl, indem es aufzeigt, dass diese effektiv überwacht sind, und schlägt ein neuartiges, wahrhaft unüberwachtes Framework vor, das Hauptkomponentenanalyse und Optimal Transport nutzt, um die Qualität der Merkmalsauswahl ohne jegliche Label-Informationen zu bewerten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Ihr Beweisboard ist mit tausenden von Klebezetteln bedeckt. Die meisten davon sind leer, einige sind Duplikate und nur wenige enthalten die entscheidenden Hinweise. Wenn Sie versuchen, sie alle auf einmal zu lesen, wird Ihr Gehirn überfordert und Sie übersehen die eigentliche Geschichte. In der Welt der Datenwissenschaft wird dies als „Fluch der Dimensionalität“ bezeichnet. Wenn Daten zu viele Merkmale haben (wie diese Klebezettel), werden sie spärlich und verwirrend, was es für Computer schwierig macht, zu lernen oder Muster zu finden. Um dies zu beheben, nutzen Wissenschaftler die „Merkmalsauswahl“ (Feature Selection) – einen Prozess, bei dem man die wichtigsten Notizen auswählt und den Rest wegwirft. Das Ziel ist es, die Geschichte klar zu halten und den Computer schnell zu machen, ohne die Bedeutung der ursprünglichen Hinweise zu verlieren.
Aber hier liegt der knifflige Teil: Woher wissen Sie, ob Sie die richtigen Notizen ausgewählt haben? Normalerweise würde man seine Antwort gegen einen Lösungsschlüssel (die „Ground Truth“ oder Labels) überprüfen. Aber was ist, wenn Sie keinen Lösungsschlüssel haben? Dies ist das Gebiet des „unüberwachten“ Lernens (Unsupervised Learning), bei dem der Computer die Dinge selbst herausfinden muss. Lange Zeit haben Wissenschaftler versucht, ihre unüberwachten Methoden zu testen, indem sie heimlich trotzdem einen Blick auf den Lösungsschlüssel warfen, während sie vorgaben, es nicht zu tun. Dieses Paper argumentiert, dass das so ist, als würde man eine Prüfung mit dem Lösungsschlüssel machen und dann behaupten, man sei ein Genie im Ablegen von Klausuren mit offenem Buch. Die Autoren wollen wissen: Können wir einen Detektiv wirklich danach beurteilen, wie gut er ist, ohne jemals den Lösungsschlüssel gesehen zu haben?
Die Autoren dieses Papers, Hafiz Saud Arshad, Muhammad Rajabinasab und Arthur Zimek, sagen, dass die aktuelle Art und Weise, unüberwachte Merkmalsauswahl zu testen, eigentlich ein wenig ein Trick ist. Sie weisen darauf hin, dass die meisten Methoden behaupten, unüberwacht zu sein (also ohne Labels zu arbeiten), aber wenn es darum geht, sie zu bewerten, nutzen sie heimlich die Labels, um zu sehen, ob die gewählten Merkmale helfen, die Daten in die richtigen Gruppen zu sortieren. Es ist, als würde ein Lehrer zu einem Schüler sagen: „Du hast eine tolle Arbeit geleistet, die besten Zutaten für einen Kuchen auszuwählen“, aber nur, weil der Schüler zufällig genau die ausgewählt hat, die den Kuchen so schmecken lassen, wie der Lehrer ihn am liebsten mag. Das Paper argumentiert, dass dies nicht wirklich unüberwacht ist; es ist nur überwachtes Lernen in einem Kostüm.
Um dies zu beheben, schlägt das Team eine brandneue, wahrhaft unüberwachte Methode vor, um diese Verfahren zu bewerten. Anstatt die Ergebnisse gegen einen geheimen Lösungsschlüssel zu prüfen, vergleichen sie die vom Detektiv gewählten Notizen mit einer „Goldstandard“-Karte, die durch eine Technik namens Hauptkomponentenanalyse (Principal Component Analysis, PCA) erstellt wurde. Denken Sie an die PCA als einen superintelligenten Organisator, der alle Klebezettel neu anordnet, um den effizientesten Weg zu finden, das gesamte Bild zu beschreiben, auch wenn er die Notizen dabei auf eine Weise vermischt, die schwer zu erklären ist. Die Autoren schlagen vor, dass eine gute Methode zur Merkmalsauswahl Notizen wählen sollte, die, wenn man sie betrachtet, der effizienten PCA-Karte sehr ähnlich sehen.
Um diese Ähnlichkeit zu messen, verwenden sie ein mathematisches Werkzeug namens „Optimal Transport“ (Optimaler Transport). Stellen Sie sich vor, Sie haben zwei Haufen Sand (einen Haufen aus den vom Detektiv ausgewählten Daten, den anderen aus der PCA-Karte). Der optimale Transport berechnet den minimalen Aufwand, der erforderlich ist, um den Sand von einem Haufen zu bewegen, damit er die Form des anderen Haufens annimmt. Wenn der Detektiv die richtigen Notizen ausgewählt hat, werden die Haufen fast identisch aussehen und der Aufwand, den Sand zu bewegen, wird gering sein. Wenn der Detektiv zufällige Notizen ausgewählt hat, werden die Haufen überhaupt nicht zueinander passen und der Aufwand wird riesig sein.
Die Forscher testeten diese Idee an acht verschiedenen hochdimensionalen Datensätzen, die von biomedizinischen Daten bis hin zu Bildern von Gesichtern und Objekten reichten. Sie verglichen ihre neue „Sand-Bewegungs“-Methode mit den alten, label-basierten Methoden. Sie fanden heraus, dass ihre neue Methode in der Lage war, die verschiedenen Algorithmen zur Merkmalsauswahl in einer Weise zu ranken, die oft mit den alten Methoden übereinstimmte, obwohl sie nie die Labels betrachtete. Dies deutet darauf hin, dass ihr neuer Ansatz eine gültige Methode ist, um Merkmalsauswahl ohne Labels zu bewerten.
Dennoch sind die Autoren vorsichtig, ihre Methode nicht als perfekte, fertige Lösung zu bezeichnen. Sie geben zu, dass ihre Methode einige Grenzen hat. Für den einen Punkt ist die „Sand-Bewegungs“-Mathematik sehr langsam und teuer für riesige Datensätze. Außerdem stützt sich ihre Methode auf die PCA, die ihre eigenen Regeln darüber hat, wie viel Daten sie verarbeiten kann. Wenn ein Datensatz mehr Merkmale als Datenpunkte hat, stößt die Methode an eine Wand. Sie stellten auch fest, dass verschiedene Arten der „Sand-Bewegungs“-Mathematik leicht unterschiedliche Ergebnisse lieferten und die Rankings manchmal nicht perfekt mit den alten Methoden übereinstimmten. Sie deuten an, dass dies nicht unbedingt etwas Schlechtes sein muss; es könnte einfach bedeuten, dass ihre Methode einen anderen Aspekt der Daten sieht, den die alten Methoden übersehen haben.
Am Ende behauptet dieses Paper nicht, das Rätsel der Merkmalsauswahl für immer gelöst zu haben. Stattdessen bietet es ein neues, ehrliches Werkzeug für das Arsenal des Detektivs. Es beweist, dass man bewerten kann, wie gut ein Computer wichtige Daten auswählt, ohne in die Antworten zu schauen. Die Autoren hoffen, dass dies mehr Forschung zu wahrhaft unüberwachten Wegen der Bewertung anregen wird und weg von der Gewohnheit führt, Labels zu benutzen, um Hausaufgaben zu benoten. Es ist ein erster Schritt in Richtung einer Zukunft, in der wir unseren Daten-Detektiven vertrauen können, selbst wenn wir den Lösungsschlüssel nicht in der Tasche haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.