SSLfmm: An R Package for Semi-Supervised Learning with Mixed Missingness
Das R-Paket SSLfmm führt ein auf Likelihood basierendes Gaußsches Finite-Mischung-Framework für semi-überwachtes Lernen ein, das Klassenverteilungen und Label-Missingness-Mechanismen (einschließlich MCAR, MAR und gemischten Szenarien) gemeinsam modelliert, um die Klassifizierungsleistung zu verbessern, wenn die Verfügbarkeit von Labels selbst informative Signale enthält.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Datenwissenschaft stehen Forscher oft vor einer frustrierenden Lücke zwischen dem, was sie wissen, und dem, was sie messen können. Stellen Sie sich eine medizinische Studie vor, in der Ärzte die Symptome jedes Patienten aufgezeichnet haben, aber nur für einen Teil von ihnen die endgültige Diagnose bestätigen konnten. Der Rest bleibt ein Rätsel, nicht weil die Daten verloren gegangen sind, sondern weil der Bestätigungsprozess für bestimmte Fälle zu teuer, zu langsam oder schlichtweg unmöglich war. Dies ist das Gebiet des semi-überwachten Lernens (Semi-supervised Learning), eines Fachbereichs, der sich darauf konzentriert, Computern beizubringen, Muster mithilfe einer Mischung aus bekannten und unbekannten Antworten zu erkennen. Traditionell haben Statistiker diese fehlenden Antworten als zufällige Unfälle behandelt und davon ausgegangen, dass der Grund für ein fehlendes Label nichts mit den Daten selbst zu tun hat. In vielen realen Situationen ist der Grund, warum ein Label fehlt, jedoch tatsächlich ein Hinweis. Ein Patient könnte schwieriger präzise zu diagnostizieren sein, weil seine Symptome verwirrend sind, oder ein Umfrageteilnehmer könnte eine Frage überspringen, weil die Antwort unangenehm ist. Wenn der Computer diese Verbindung ignoriert, verpasst er ein entscheidendes Puzzleteil.
Ein Team von Forschern der University of Queensland hat ein neues Werkzeug entwickelt, um Computern bei der Lösung dieses spezifischen Problems zu helfen. Sie haben ein Softwarepaket namens SSLfmm entwickelt, das es Maschinen ermöglicht, aus Daten zu lernen, bei denen die Labels auf zwei verschiedene Arten fehlen: entweder völlig zufällig oder weil die Daten selbst es schwierig gemacht haben, das Label zu erhalten. Die Software basiert auf einem Framework, das das fehlende Label nicht nur als eine Leerstelle betrachtet, sondern als das Ergebnis eines spezifischen Prozesses. Indem das System diesen Prozess parallel zu den Daten modelliert, kann es zwischen einem fehlenden Label, das durch Zufall entstand, und einem unterscheiden, das auftrat, weil der Datenpunkt mehrdeutig oder schwer zu klassifizieren war. Dieser Ansatz ermöglicht es dem Computer, genau die Tatsache, dass ein Label fehlt, zu nutzen, um sein Verständnis der Gruppen, die er zu identifizieren versucht, zu verbessern.
Das Forschungsteam testete seine neue Software, indem es eine simulierte Welt von Daten erschuf, in der sie genau wussten, wie die Labels fehlten. Sie generierten tausend Datenpunkte, die zwei überlappende Gruppen darstellten, und entfernten dann gezielt die Labels für etwa zweiunddreißig Prozent von ihnen. Sie unterteilten diese fehlenden Labels in zwei Kategorien: Einige wurden zufällig entfernt, während andere gezielt entfernt wurden, weil die Datenpunkte schwer voneinander zu unterscheiden waren. Dann ließen sie ihre Software die Gruppen unter Verwendung zweier unterschiedlicher Strategien bestimmen. In der ersten Strategie wurde der Software genau gesagt, welche fehlenden Labels zufällig und welche schwierig waren. In der zweiten Strategie wurde der Software lediglich mitgeteilt, dass ein Label fehlte, ohne den Grund zu kennen. Die Ergebnisse zeigten, dass die Software selbst ohne Kenntnis des spezifischen Grundes für die fehlenden Labels immer noch effektiv lernen konnte. Als sie auf den Datenpunkten getestet wurde, deren Labels verborgen waren, erreichte die Version, die die Gründe kannte, eine Genauigkeit von etwa einundachtzig Prozent, während die Version, die die Gründe erraten musste, eine nahezu identische Genauigkeit von etwa einundachtzig Prozent erreichte. Dies demonstrierte, dass die interne Logik der Software für den Umgang mit fehlenden Informationen robust war, selbst wenn die Quelle des Fehlens verborgen blieb.
Um zu sehen, wie dies in einem realistischeren Umfeld funktioniert, wandte das Team die Software auf einen Datensatz zum Thema Bluttransfusionen an. Sie nahmen eine vollständige Aufzeichnung von siebenhundertachtundvierzig Spendern und entfernten künstlich die Labels für einige von ihnen. Sie behielten die Labels für Spender, die leicht zu klassifizieren waren, entfernten die Labels für eine zufällige Auswahl anderer und entfernten die Labels für eine dritte Gruppe, die speziell ausgewählt wurde, weil sie schwer zu klassifizieren war. Dies schuf ein Szenario, in dem die fehlenden Labels eine Mischung aus Zufallsereignissen und schwierigen Fällen waren. Die Forscher ließen die Software dann unter drei verschiedenen Annahmen laufen: dass alle fehlenden Labels zufällig waren, dass alle auf Schwierigkeiten zurückzuführen waren und dass sie eine Mischung aus beidem waren. Die Software, die eine Mischung aus beiden Ursachen annahm, schnitt am besten ab. Sie identifizierte die Blutspendergruppen mit einer Genauigkeit von etwa einundsechzig Prozent für die schwierigen Fälle korrekt und übertraf damit die Modelle, die nur eine Art des Fehlens annahmen. Die Software schätzte zudem, dass etwa zehn Prozent der fehlenden Labels zufällig waren, eine Zahl, die eng mit dem tatsächlichen Aufbau des Experiments übereinstimmte.
Über das bloße Liefern der richtigen Antwort hinaus bietet die Software eine Möglichkeit, die eigene Arbeit zu überprüfen. Sie berechnet ein Maß der Unsicherheit für jede Vorhersage und fragt im Wesentlichen den Computer, wie sicher er sich bei jeder Klassifizierung fühlt. Als die Forscher diese Konfidenzwerte untersuchten, fanden sie ein klares Muster: Die Datenpunkte, die ursprünglich schwierig zu labeln waren, wiesen wesentlich höhere Unsicherheitswerte auf als jene, die einfach oder zufällig waren. Dies bestätigte, dass die Software erfolgreich gelernt hatte, die fehlenden Labels mit der Schwierigkeit der Daten zu assoziieren. Das Werkzeug steht nun als kostenloses Paket für die Programmiersprache R zur Verfügung, eine Standardumgebung für statistische Berechnungen. Es ermöglicht Forschern, Modelle anzupassen, Vorhersagen zu treffen und Diagnosen durchzuführen, ohne komplexe Codes von Grund auf neu schreiben zu müssen. Das Paket enthält Funktionen, um Daten zu simulieren, zu prüfen, wie gut das Modell arbeitet, und die Beziehung zwischen fehlenden Labels und Klassifizierungsunsicherheit zu visualisieren.
Die Bedeutung dieser Arbeit liegt in ihrer Fähigkeit, mit der unordentlichen Realität der Datenerhebung umzugehen. In vielen Bereichen, von der Medizin bis zur Sozialwissenschaft, ist der Prozess, ein Label zu erhalten, selten zufällig. Indem sie anerkennt, dass das Fehlen von Daten selbst Informationen trägt, bietet das SSLfmm-Paket eine ehrlichere und genauere Methode, um aus unvollständigen Daten zu lernen. Es behauptet nicht, jedes Problem mit fehlenden Informationen zu lösen, noch suggeriert es, dass alle fehlenden Daten informativ sind. Stattdessen bietet es ein flexibles Framework, in dem Forscher verschiedene Annahmen darüber testen können, warum Daten fehlen, und sehen können, welche Annahme zu den besten Ergebnissen führt. Die Autoren betonen, dass die spezifischen Zahlen zwar von den analysierten Daten abhängen, die Software jedoch in ihren Tests gut abschnitt. Der wahre Wert des Werkzeugs besteht darin, dass es Wissenschaftlern eine Möglichkeit gibt, die Frage zu stellen: „Sagt mir die Tatsache, dass ich diese Antwort nicht kenne, etwas über die Antwort selbst?“, und eine datengestützte Antwort zu erhalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.