Training-seed variance in single-run comparisons of frozen-CLIP adaptation: evidence from cross-dataset facial expression recognition

In der Welt der künstlichen Intelligenz wird Computern zunehmend beigebracht, die Welt zu erkennen, indem sie gemeinsam riesige Bibliotheken von Bildern und Texten studieren. Dieser Prozess erschafft ein leistungsfähiges, universell einsetzbares Gehirn, das in der Lage ist, Bilder zu verstehen, die es noch nie zuvor gesehen hat. Doch wenn diese Systeme in der realen Welt eingesetzt werden, stolpern sie oft. Ein Modell, das auf einem bestimmten Satz von Fotos trainiert wurde, kann kläglich scheitern, wenn ihm Bilder gezeigt werden, die unter anderem Licht, mit anderen Kameras oder mit anderen Menschen aufgenommen wurden. Dies ist ein häufiges Problem bei der Erkennung von Gesichtsausdrücken, bei dem ein Computer, der darauf trainiert wurde, Glück oder Wut in einem Datensatz zu erkennen, oft seine Genauigkeit verliert, wenn er mit einer neuen Sammlung von Gesichtern konfrontiert wird. Um dies zu beheben, ohne das gesamte massive Gehirn neu trainieren zu müssen, haben Forscher „Adaptations“-Techniken entwickelt. Diese Methoden halten das Hauptgehirn eingefroren und unverändert und fügen lediglich eine kleine, trainierbare Schicht hinzu, um sich an die neue Situation anzupassen. Es ist eine praktische Lösung, die jedoch auf einer gefährlichen Annahme beruht: dass das Ergebnis, das ein Forscher erhält, wenn er diesen Anpassungsprozess einmal durchführt, die Wahrheit ist.

Ein Team von Forschern der Hefei University of Technology machte sich daran zu testen, ob diese Annahme der Einmal-Durchführung Bestand hat. Sie konzentrierten sich auf zwei konkurrierende Wege, um diese eingefrorenen KI-Gehirne für die Erkennung von Gesichtsausdrücken anzupassen. Eine Methode, die als „Global Route“ bezeichnet wird, nimmt eine einzige Zusammenfassung des gesamten Bildes und versucht, diese Zusammenfassung anzupassen, damit sie zur neuen Aufgabe passt. Der andere Weg, bekannt als „Token Route“, arbeitet anders; anstatt das Bild zuerst zusammenzufassen, betrachtet er die einzelnen Teile des Bildes und lernt, wie er sie gewichten soll, bevor er eine Entscheidung trifft. Jahrelang wurde der Token-Weg als überlegen angesehen, da er mehr Details bewahrt. Um dies zu testen, nahmen die Forscher ein Standard-KI-Modell und wandten beide Adaptationsmethoden an. Doch anstatt das Experiment nur einmal durchzuführen und den Gewinner zu melden, führten sie es viele Male durch und änderten dabei nur den zufälligen Startpunkt des Trainingsprozesses, bekannt als „Seed“. Sie taten dies für zwei verschiedene Größen von KI-Modellen, wobei sie das Experiment zehnmal am kleineren Modell und fünfzehnmal am größeren Modell durchführten, wobei sie stets exakt dieselben Daten und Regeln verwendeten.

Die Ergebnisse dieses strengen Re-Testings waren erschütternd. Als die Forscher die Daten aus einem einzelnen Durchlauf betrachteten, schien der Token-Weg bei einem Cross-Dataset-Test signifikant besser zu sein als die globale Methode und führte um fast vier Prozentpunkte. Dies ist die Art von Schlagzeilen-Ergebnis, das normalerweise ein Fachgebiet definiert. Doch als sie die Ergebnisse über alle zehn oder fünfzehn verschiedenen Trainingsläufe hinweg mittelten, verschwand dieser Vorsprung. Tatsächlich kehrte sich der Vorteil beim kleineren KI-Modell vollständig um; der Token-Weg schnitt im Durchschnitt tatsächlich schlechter ab als die globale Methode. Der Unterschied zwischen dem besten und dem schlechtesten Durchlauf war so groß, dass er die ursprüngliche Behauptung völlig überschattete. Die Forscher fanden heraus, dass der zufällige Startpunkt des Trainingsprozesses ausreichte, um die Schlussfolgerung der Studie umzukehren. Fünf von sechs großen Vergleichen zeigten diese Instabilität, was bedeutete, dass ein einzelnes Experiment leicht einen „Gewinner“ melden konnte, der bei einer einfachen Wiederholung des Experiments mit einem anderen zufälligen Start verlieren würde.

Es gab jedoch eine Ausnahme, die den Test der Wiederholung überstand. Bei einem spezifischen Test mit Bildern, die durch synthetische Verzerrungen wie Unschärfe oder Rauschen beeinträchtigt waren, schnitt der Token-Weg beim größeren KI-Modell konsistent besser ab als die globale Methode. Dieser Vorteil blieb über alle fünfzehn Trainingsläufe hinweg bestehen, wobei der Token-Weg um etwa dreieinhalb Prozentpunkte führte. Um absolut sicherzugehen, dass dies kein Zufall war, wandten die Forscher diesen Befund auf einen völlig neuen Datensatz von Gesichtsausdrücken an, den sie zuvor noch nie berührt hatten. Sie wandten dieselben strengen Regeln und vordefinierten Kriterien an. Der Token-Weg gewann erneut mit einem Vorsprung von fast drei Punkten. Dies bestätigte, dass der Token-Weg zwar kein universelles Wunderheilmittel ist, das in jeder Situation alles besiegt, aber dennoch eine echte, reproduzierbare Stärke im Umgang mit spezifischen Arten von Bildkorruption bei größeren Modellen besitzt.

Die Studie deckte auch auf, dass die Art und Weise, wie Forscher ihre Experimente abstimmen, ebenso wichtig ist wie der zufällige Startpunkt. Als die Forscher die Lernrate – eine Schlüsseleinstellung, die steuert, wie schnell das Modell lernt – für jeden zufälligen Durchlauf unterschiedlich wählen ließen, verschoben sich die Ergebnisse dramatisch. In einem Fall verschob diese Einstellung den Leistungsunterschied um mehr als drei Punkte, was exakt der Größe des Effekts entsprach, den der ursprüngliche einzelne Durchlauf behauptet hatte. Dies deutet darauf an, dass der „Gewinner“ eines Vergleichs oft ebenso sehr von den spezifischen Tuning-Entscheidungen wie von der Methode selbst abhängt. Die Forscher kamen zu dem Schluss, dass sich das Fachgebiet zu sehr auf Einzel-Durchlauf-Vergleiche verlassen hat, die irreführende Richtungsansprüche erheben können. Sie demonstrierten, dass das durch zufällige Trainingsvariationen verursachte Rauschen groß genug ist, um die Ergebnisse umzukehren. Der einzige Weg, um zu wissen, ob eine Methode wirklich besser ist, besteht darin, das Experiment viele Male durchzuführen und die Streuung der Ergebnisse zu melden, anstatt nur das eine beste Ergebnis.

Diese Arbeit erklärt nicht, dass eine Adaptationsmethode dauerhaft überlegen gegenüber der anderen ist. Stattdessen zeigt sie auf, dass die Landschaft der KI-Adaptation weita viel instabiler ist als bisher angenommen. Der Token-Weg ist kein garantierter Sieg, noch ist die globale Methode ein Scheitern; ihre Leistung reagiert hochsensibel auf die während des Trainings verwendeten Zufalls-Seeds und die spezifischen Bedingungen des Tests. Der eine klare, reproduzierbare Befund ist, dass der Token-Weg bei korrumpierten Bildern einen echten Vorteil für größere Modelle bietet, aber diese Stärke sich nicht auf alle Aufgaben oder alle Modellgrößen erstreckt. Die Studie dient als notwendige Korrektur dazu, wie diese Technologien evaluiert werden, und fordert die Forscher auf, über einzelne Momentaufnahmen der Leistung hinauszugehen und das volle Bild der Variabilität zu erfassen. Indem sie dies tun, kann die wissenschaftliche Gemeinschaft zwischen flüchtigem statistischem Rauschen und echten, zuverlässigen Verbesserungen beim Verständnis menschlicher Gesichter durch Maschinen unterscheiden.