Der unsichtbare Lehrer in der Maschine

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Katze zu erkennen. In den alten Zeiten mussten Sie ihm tausende Fotos zeigen und jedes einzelne manuell als „Katze“ oder „keine Katze“ kennzeichnen. Das ist so, als würde man für jede einzelne Lektion einen menschlichen Tutor engagieren. Aber vor kurzem haben Wissenschaftler einen Weg entdeckt, wie der Roboter selbstständig lernen kann, ohne dass ein Mensch auf den Bildschirm zeigt. Dies nennt man selbstüberwachtes Lernen (Self-Supervised Learning). Der Roboter betrachtet ein Bild, erstellt zwei leicht unterschiedliche Versionen davon (wie etwa durch Zuschneiden oder Farbveränderungen) und versucht herauszufinden, dass diese beiden Versionen tatsächlich dasselbe Objekt sind. Er lernt, indem er „Freunde“ (ähnliche Bilder) mit „Fremden“ (unterschiedlichen Bildern) vergleicht.

Es gibt jedoch einen Haken. Wenn die „Fremden“ zu offensichtlich sind – wie etwa das Zeigen eines Bildes von einem Toaster neben einer Katze – lernt der Roboter nichts Neues. Es ist wie bei einem Quiz, bei dem die Antworten zu einfach sind; man wird dadurch nicht klüger. Um tiefgreifend zu lernen, benötigt der Roboter „harte“ Fremde: Bilder, die fast wie eine Katze aussehen, aber es nicht sind. Hier kommen Vision Transformer ins Spiel. Dies sind eine neue Art von Gehirnarchitektur für Computer, die unglaublich gut darin sind, Muster in Bildern zu erkennen – ähnlich wie unsere Augen, die sich auf bestimmte Details in einem überfüllten Raum konzentrieren. Die große Frage, die sich Forscher stellen, lautet: Wie können wir diese leistungsstarken Maschinen noch besser lernen lassen, indem wir ihnen die richtige Art von schwierigem Training geben?

---

Die große Idee des Papers: Die perfekten „falschen“ Schurken erschaffen

Dieses Paper mit dem Titel „Unsupervised Training of Vision Transformers with Synthetic Negatives“ erfindet keinen völlig neuen Weg, ein Robotergehirn zu bauen. Stattdessen entschieden sich die Autoren – Forscher des Imperial College London – dazu, einen spezifischen Teil des Lernprozesses genauer unter die Lupe zu nehmen, den bisher alle eher ignoriert hatten: die „negativen“ Beispiele.

In der Welt des maschinellen Lernens ist ein „Negativ“ einfach ein Beispiel für etwas, das nicht das Zielobjekt ist. Wenn Sie einem Modell beibringen, einen Hund zu erkennen, ist ein Bild einer Katze ein Negativ. Normalerweise greifen Computer einfach zufällige Negativbeispiele aus einem Haufen anderer Bilder. Aber die Autoren erkannten, dass diese zufälligen Negativbeispiele oft zu einfach sind. Es ist, als würde man eine zufällige Person aus einer Menge auswählen, um sie mit einem bestimmten Prominenten zu vergleichen; es ist offensichtlich, dass sie nicht dieselbe Person sind.

Die Autoren fragten sich: Was wäre, wenn wir „synthetische harte Negativbeispiele“ erschaffen könnten? Dies sind keine echten Fotos aus einer Kamera. Stattdessen sind es mathematisch gestaltete „falsche“ Beispiele, die genau an der Grenze des Verwirrenden liegen. Sie sehen fast wie das Zielobjekt aus und zwingen den Computer dazu, ganz genau hinzusehen und die winzigen Unterschiede zu finden.

Denken Sie an das Training für einen Kampfsportturnier. Wenn Sie nur gegen Gegner trainieren, die viel schwächer als Sie sind, werden Sie nie gut werden. Aber wenn Sie gegen einen Partner trainieren, der nur ein kleines Stück besser ist als Sie oder der Ihre Bewegungen perfekt imitiert, müssen Sie viel schneller lernen. Die Methode der Autoren, die sie SynBY nennen, fungiert wie ein intelligenter Trainingspartner. Sie nimmt die „Fremden“-Bilder, die der Computer bereits betrachtet, findet diejenigen, die am verwirrendsten sind (die „härtesten“ Negativbeispiele), und mischt sie dann zusammen, um ein neues, superherausforderndes Beispiel zu erstellen. Dieses neue Beispiel wird dann zurück in das System gespeist, um den Lernprozess schwieriger und effektiver zu machen.

Wie sie es getestet haben und was sie fanden

Das Team testete diese Idee mit zwei populären Arten von Vision Transformern: DeiT-S und Swin-T. Sie führten ihre Experimente auf einem massiven Datensatz namens ImageNet durch, der Millionen von Bildern enthält. Sie verglichen ihre neue Methode (SynBY) mit der Standardmethode (MoBY).

Die Ergebnisse waren vielversprechend. Als sie ihre synthetischen harten Negativbeispiele verwendeten, verbesserten sowohl die DeiT-S- als auch die Swin-T-Modelle ihre Fähigkeit zur Bilderkennung geringfügig. Konkret verbesserten die Modelle ihre Genauigkeit um 0,2 % im Vergleich zur Standardmethode. Obwohl diese Zahl klein klingen mag, ist ein kleiner Sprung wie dieser in der Welt der High-Level-KI eine große Sache, denn es bedeutet, dass die Modelle „diskriminativere“ Merkmale lernen – sie werden besser darin, die subtilen Details zu erkennen, die eine Katze zu einer Katze und nicht zu einem Hund machen.

Die Autoren untersuchten auch, wie die Modelle dachten. Sie visualisierten die „Attention“ (Aufmerksamkeit) der Modelle (welche Teile des Bildes der Computer fokussierte). Sie fanden heraus, dass die Modelle mit ihren synthetischen Negativbeispielen begannen, sich auf spezifischere, bedeutungsvollere Teile des Bildes zu konzentrieren, statt nur auf die allgemeine Form. Es ist, als ob der Roboter von der Betrachtung eines ganzen Flecks, bei dem er sagt „das ist ein Tier“, zur Betrachtung der Schnurrhaare und Ohren überging und sagte „das ist definitiv eine Katze“.

Was sie ausschlossen und was noch unbekannt ist

Einer der interessantesten Aspekte des Papers ist das, was die Autoren nicht benötigten. Frühere Methoden erforderten oft eine Reihe zusätzlicher „Tricks“, um das Lernen stabil zu halten, wie etwa die Änderung der Art und Weise, wie der Computer Daten verarbeitet, oder die Verwendung sehr spezifischer Einstellungen. Die Autoren fanden heraus, dass sie durch die Verwendung ihrer synthetischen harten Negativbeispiele viele dieser zusätzlichen Tricks tatsächlich weglassen konnten. Die „falschen“, schwierigen Beispiele waren so gut darin, das Modell zu lehren, dass das System nicht mehr so viel Hilfe benötigte, um auf Kurs zu bleiben. Dies deutet darauf hin, dass die synthetischen Negativbeispiele als ein starker natürlicher Regulator wirken, der den gesamten Prozess vereinfacht.

Das Paper ist jedoch vorsichtig, die Ergebnisse nicht überzubewerten. Die Autoren geben zu, dass ihre detaillierten Tests für einige Experimente an einer kleineren Teilmenge von Bildern namens ImageNet-100 durchgeführt wurden und dass sie dies noch nicht bei komplexeren Aufgaben wie dem Verständnis von Videos oder der Kombination von Bildern mit Text getestet haben. Sie merken auch an, dass die Modelle zwar besser wurden, aber immer noch nicht so gut sind wie Modelle, die mit menschlichen Labels trainiert wurden (überwachtes Lernen). Das Paper legt nahe, dass dies ein solider Schritt nach vorne ist, aber kein magisches Allheilmittel, das alles löst.

Das Fazit

Kurz gesagt: Dieses Paper legt nahe, dass man, wenn ein Computer wirklich gut von Bildern ohne menschliche Hilfe lernen soll, ihm nicht einfach nur zufällige Beispiele vorsetzt. Man sollte ihm absichtlich die „schwierigen“ geben. Indem sie mathematisch anspruchsvolle „falsche“ Beispiele erschaffen, die genau an der Grenze der Verwirrung liegen, haben die Autoren gezeigt, dass Vision Transformer lernen können, die Welt mit schärferem Fokus zu sehen. Es ist eine einfache, aber effektive Anpassung: Mache das Training schwieriger, und der Schüler wird klüger.