Perturbation Sensitivity at Convergence: A Simple Signal for Identifying Spuriously Correlated Samples

Stellen Sie sich vor, Sie bringen einem Roboter bei, Tiere auf Fotos zu erkennen. Sie zeigen ihm tausende Bilder von Kühen, die auf grünen Wiesen grasen, und Kamelen, die durch Sandwüsten laufen. Der Roboter ist ein sehr schneller Lerner, aber er ist auch ein wenig effizient. Anstatt zu lernen, wie eine Kuh aussieht (die Form ihrer Hörner, die Textur ihres Fells), bemerkt er eine Abkürzung: „Wenn es grünes Gras gibt, ist es eine Kuh. Wenn es Sand gibt, ist es ein Kamel.“ Dies ist eine „scheinbare Korrelation“ (spurious correlation) – ein Trick der Daten, der meistens funktioniert, aber nicht die wahre Regel ist.

In der Welt der künstlichen Intelligenz ist dies ein großes Problem. Wenn Sie diesem Roboter ein Bild einer Kuh auf einem Strand zeigen, wird er verwirrt sein und sagen: „Das ist ein Kamel!“, weil das Gras fehlt. Das passiert, weil der Roboter den Hintergrund auswendig gelernt hat, anstatt das Tier selbst. Wissenschaftler nennen dies die Lücke zwischen der „durchschnittlichen Genauigkeit“ (wie gut der Roboter bei einfachen, typischen Fotos abschneidet) und der „Worst-Group-Genauigkeit“ (wie gut er bei den schwierigen, seltenen Fotos abschneidet). Das Ziel dieses Forschungsfeldes ist es, Roboter zu bauen, die nicht nur Abkürzungen auswendig lernen, sondern die Aufgabe tatsächlich verstehen, damit sie nicht scheitern, wenn die Welt ein wenig seltsam wird.

Der effiziente Schüler und das zerbrechliche Gedächtnis

Dieses Paper stellt eine clevere neue Methode vor, um die „schwierigen“ Fotos zu finden, ohne einen Lehrer zu benötigen, der sie beschriftet. Normalerweise müssen Forscher den Roboter beobachten, während er noch lernt, um ihn bei der Tat zu ertappen, wie er sich die falsche Abkürzung merkt. Es ist, als würde man versuchen, einen Schüler beim Nutzen einer Abkürzung zu entdecken, indem man ihn während der ersten Minuten einer Prüfung beobachtet. Aber das ist schwierig, weil man raten muss, wann man genau schauen muss, und oft braucht man einen Lehrer, der einem sagt, welche Schüler eine Abkürzung nutzen, was den eigentlichen Zweck vereitelt.

Der Autor dieses Papers schlägt eine andere Idee vor: Warten Sie, bis die Prüfung vorbei ist. Er fand heraus, dass sich die effizienten Abkürzungen und das echte Lernen sehr unterschiedlich verhalten, sobald der Roboter fertig gelernt hat und „konvergiert“ ist (das heißt, er hat das Lernen abgeschlossen und hat eine endgültige Antwort für jedes Bild).

Denken Sie es sich so:

• Die Abkürzungs-Lerner (Scheinbare Korrelationen): Dies sind die Schüler, die die Regel „Gras = Kuh“ auswendig gelernt haben. Sie haben eine einfache, robuste Regel, die für fast alle funktioniert. Wenn man das Gras im Bild leicht unscharf macht, sagen sie immer noch „Kuh“, weil ihre Regel stark und für die ganze Klasse geteilt ist.
• Die Auswendiglernenden (Nicht-SC-Proben): Dies sind die Schüler, die spezifische, seltsame Details für die wenigen schwierigen Bilder auswendig lernen mussten (wie eine Kuh im Sand). Sie haben keine allgemeine Regel gelernt; sie haben einfach nur dieses eine spezifische Foto auswendig gelernt, das wie eine Kuh aussieht. Ihr Gedächtnis ist zerbrechlich. Wenn man dieses spezifische Foto leicht unscharf macht, geraten sie in Panik und ändern ihre Antwort.

Die Hauptentdeckung des Papers ist, dass man diese Zerbrechlichkeit testen kann, indem man nach dem Training eine „feste Perturbation“ anwendet – eine sanfte Unschärfe – auf die Bilder. Wenn das Modell seine Meinung über das Tier ändert, bedeutet das, dass das Modell nur dieses spezifische Bild auswendig gelernt hat und nicht die Regel verstanden hat. Wenn es bei seiner Antwort bleibt, hat es eine zuverlässige, geteilte Regel verwendet.

Was sie herausgefunden haben

Die Forscher testeten dies an einem Datensatz namens „Waterbirds“, der Bilder von Vögeln auf Land und Vögeln auf dem Wasser enthält. In diesem Datensatz ist die „Abkürzung“, anzunehmen, dass alle Vögel auf dem Wasser einer Art angehören und alle Vögel an Land einer anderen, wobei die tatsächliche Vogelart ignoriert wird.

Hier ist das, was geschah, als sie ihren „Unschärfe-Test“ auf ein Modell anwandten, das das Training abgeschlossen hatte:

• Sie fanden heraus, dass das Modell bei den schwierigen „Minderheiten-Proben“ (den Vögeln, die nicht zur Hintergrundregel passten) tatsächlich zerbrechlich war. Etwa 70,7 % der „Landvögel auf dem Wasser“ und 69,6 % der „Wasservögel an Land“ änderten ihre Antwort, als sie unscharf gemacht wurden.
• Im Gegensatz dazu war das Modell bei den „Mehrheits-Proben“ (den häufigen Vögeln) sehr stabil. Nur 7,3 % der „Landvögel an Land“ und 3,5 % der „Wasservögel auf dem Wasser“ änderten ihre Meinung.

Diese Trennung war gewaltig. Der „Unschärfe-Test“ markierte die schwierigen Proben etwa zehnmal häufiger als die einfachen, obwohl die Forscher dem Computer nicht gesagt hatten, welche welche waren.

Den Roboter reparieren

Sobald sie diese zerbrechlichen Proben identifiziert hatten, trainierten sie den Roboter neu, schenkten aber diesmal den schwierigen Beispielen besondere Aufmerksamkeit. Sie benötigten keine speziellen Labels oder einen Lehrer, der sie anleitete; sie nutzten einfach die Ergebnisse ihres Unschärfe-Tests, um „Pseudo-Gruppen“ zu erstellen.

Die Ergebnisse waren beeindruckend:

• Vor dieser Korrektur lag die Genauigkeit des Roboters bei der schlechtesten Gruppe (den schwierigen Vögeln) nur bei 57,3 %.
• Nach der Anwendung ihrer Methode zur Neugewichtung des Trainings stieg diese Genauigkeit auf 80,8 %.
• Zum Vergleich: Wenn sie perfekte, von Menschen erstellte Labels verwendet hätten, um dasselbe zu erreichen, wäre die Genauigkeit bei 85,8 % gelegen.

Der Autor merkt an, dass ihre Methode nicht perfekt ist. Sie hat einige einfache Proben als schwierig markiert (ca. 36,6 % Präzision), aber das ist in Ordnung. Es ist besser, versehentlich einem einfachen Beispiel zusätzliche Aufmerksamkeit zu schenken, als ein schwieriges zu übersehen. Das Paper legt nahe, dass dieses einfache Signal – zu prüfen, ob ein Modell nach einer kleinen Unschärfe seine Meinung ändert – überraschend gut funktioniert, um die Proben zu finden, die Hilfe benötigen, ohne dass man das Training vorzeitig abbrechen oder Gruppen-Labels verwenden muss.

Der Autor ist vorsichtig und sagt, dass dies ein „vorläufiger“ Befund ist, der auf einem einzigen Datensatz basiert. Sie haben noch nicht jeden möglichen Grad der Unschärfe oder jeden anderen Datensatz getestet, aber sie haben gezeigt, dass dieses einfache Signal nach dem Training existiert und funktioniert, um die Lücke zwischen durchschnittlicher Leistung und der Leistung im schlechtesten Fall zu schließen. Es ist eine Erinnerung daran, dass der beste Weg, einen Fehler zu finden, manchmal nicht darin besteht, den Schüler beim Lernen zu beobachten, sondern sein Gedächtnis nach der Prüfung sanft zu erschüttern.