DeGLIF for Label Noise Robust Node Classification using GNNs

In der Welt der künstlichen Intelligenz lernen Maschinen durch das Studium von Beispielen, ganz so, wie ein Schüler aus einem Lehrbuch lernt. Doch was passiert, wenn das Lehrbuch voller Tippfehler ist oder, noch schlimmer, wenn die Antworten im Anhang falsch sind? Dies ist das Problem der verrauschten Labels (noisy labels). In vielen realen Szenarien, von der Kartierung sozialer Netzwerke bis hin zur Diagnose von Krankheiten aus medizinischen Scans, werden Daten billig und schnell gesammelt, oft durch Menschenmengen oder automatisierte Systeme, die Fehler machen. Diese Fehler sind nicht nur kleine Unregelmäßigkeiten; in Systemen, die auf Verbindungen zwischen Informationseinheiten beruhen, kann ein einziges falsches Label wie ein Gerücht verbreitet werden, das das Verständnis seiner Nachbarn korrumpiert und das gesamte System versagen lässt. Jahrelang haben Forscher versucht, Maschinen zu bauen, die trotz dieser Fehler effektiv lernen können, indem sie oft versuchten, die schlechten Daten zu ignorieren oder darauf hofften, dass die guten Daten ausreichen, um das Rauschen zu übertönen.

Ein Team von Forschern am Indian Institute of Technology Bombay hat einen neuen Weg vorgeschlagen, um dieses Problem zu bewältigen, speziell für Daten, die als Netzwerk verbundener Punkte existieren, wie etwa Social-Media-Nutzer oder chemische Moleküle. Sie nennen ihre Methode DeGLIF. Anstatt zu versuchen, basierend auf komplexen Mustern zu erraten, welche Labels falsch sind, oder davon auszugehen, dass eine bestimmte Art von Fehler vorliegt, stellt ihr Ansatz eine einfache, kontraintuitive Frage: „Was würde mit der Leistung unseres Modells passieren, wenn wir einfach diesen spezifischen Teil der Trainingsdaten entfernen würden?“ Durch die Simulation des Entfernens eines einzelnen Datenpunkts und die Messung, wie sehr sich die Genauigkeit des Modells an einem kleinen, vertrauenswürdigen Satz sauberer Beispiele verbessert, können sie identifizieren, welche Labels wahrscheinlich fehlerhaft sind. Wenn das Entfernen eines Knotens das Modell intelligenter macht, hat dieser Knoten ihm wahrscheinlich die falsche Lektion erteilt.

Die Forscher entwickelten eine mathematische Abkürzung, um diese Frage zu beantworten, ohne die unmögliche Aufgabe bewältigen zu müssen, ihr Modell tausende Male neu zu trainieren – einmal für jeden einzelnen Datenpunkt. Sie verwendeten ein Konzept, das als „Leave-one-out Influence Function“ bekannt ist, welches die Auswirkung eines Datenpunkts abschätzt, indem es den aktuellen Zustand des Modells betrachtet. Im Kontext verbundener Netzwerke ist dies besonders schwierig, da das Entfernen eines Punktes auch die Verbindungen zu seinen Nachbarn unterbricht, was den Informationsfluss für alle anderen verändert. Das Team erweiterte bestehende Methoden, um diese strukturellen Veränderungen zu berücksichtigen, wodurch sie berechnen konnten, wie stark ein spezifischer Knoten die Vorhersagen des Modells auf den sauberen, vertrauenswürdigen Daten beeinflusst. Wenn die Anwesenheit eines Knotens dazu führt, dass das Modell bei den sauberen Daten schlechter abschneidet, markiert das System diesen als verrauscht.

Sobeder ein verrauschter Knoten identifiziert wurde, wirft das System ihn nicht einfach weg, was wertvolle Informationen verschwenden würde. Stattdessen versucht es, den Fehler zu korrigieren. Für einen Knoten mit einem falschen Label prüft das System, was das Modell aktuell für diesen Knoten vorhersagt, und ändert das Label in die wahrscheinlichste korrekte Klasse. Die Forscher haben theoretisch bewiesen, dass dieser Prozess der Korrektur des Labels mathematisch überlegen ist als das bloße Löschen des Knotens, da er den strukturellen Wert des Knotens im Netzwerk beibehält, während er seine Identität korrigiert. Sie testeten diesen Ansatz auf mehreren Standard-Datensätzen, einschließlich großer Sammlungen wissenschaftlicher Arbeiten und Produktrezensionen, wobei sie verschiedene Ebenen von zufälligen Fehlern in die Labels einführten. In diesen Tests übertraf ihre Methode konsistent bestehende State-of-the-Art-Techniken und verbesserte die Genauigkeit in einigen Fällen um fast 18 Prozent.

Die Studie untersuchte auch, wie sich die Methode unter verschiedenen Bedingungen verhält. Sie fanden heraus, dass das System selbst dann gut funktioniert, wenn der vertrauenswürdige Satz an sauberen Daten sehr klein ist und weniger als zwei Prozent des gesamten Datensatzes ausmacht. Sie beobachteten, dass die Methode über verschiedene Arten von Netzwerkstrukturen hinweg robust ist, unabhängig davon, ob die Verbindungen spärlich oder dicht sind, und dass sie kein Vorwissen darüber erfordert, wie viele Fehler existieren oder um welche Art von Fehlern es sich handelt. Tatsächlich demonstrierten die Forscher, dass sie die Methode wiederholt anwenden können; nach der ersten Runde der Reinigung wurden die Daten sauberer, und ein zweiter Durchgang konnte sogar noch mehr Fehler identifizieren und beheben. Während die initiale Berechnung aufgrund der Analyse der Netzwerkstruktur eine erhebliche Rechenleistung erforderte, zeigten die Forscher, dass die Methode dennoch auf groß angelegten Datensätzen laufen kann, an denen andere konkurrierende Algorithmen aufgrund von Speicherbeschränkungen scheiterten.

Die Ergebnisse legen nahe, dass dieser Ansatz ein vielseitiges Werkzeug zur Bereinigung unordentlicher Daten bietet, ohne die Quelle des Chaos kennen zu müssen. Indem er sich auf die tatsächliche Auswirkung jedes Datenpunkts auf den Erfolg des Modells konzentriert, anstatt zu versuchen, das Rauschen selbst zu modellieren, kann das System effektiv Signal von Statik trennen. Die Forscher merkten an, dass die Methode zwar rechenintensiv ist, sie jedoch als ein leistungsstarker Vorverarbeitungsschritt dient, der mit anderen Lerntechniken kombiniert werden kann, um die Leistung weiter zu steigen. In einer Landschaft, in der qualitativ hochwertige Daten teuer und selten sind, stellt diese Fähigkeit, einen verrauschten, unzuverlässigen Datensatz in einen sauberen, vertrauenswürdigen zu verwandeln, einen bedeutenden Schritt nach vorn für das maschinelle Lernen auf vernetzten Daten dar. Die Arbeit ist ein praktischer Beweis dafür, dass das Verständnis des Einflusses einzelner Datenpunkte zu resilienteren und genaueren Systemen der künstlichen Intelligenz führen kann.