Screening Is Effective for Visual Recognition

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Katze auf einem Foto zu erkennen. In der Welt der künstlichen Intelligenz ist dies eine Aufgabe für das „Computer Vision“ (Computersehen). Lange Zeit war der beste Weg, dies zu tun, die Verwendung einer speziellen Art von Gehirn namens Vision Transformer (ViT). Stellen Sie sich einen ViT wie einen superorganisierten Bibliothekar vor, der ein Bild nimmt, es in hunderte winzige quadratische Puzzleteile (Patches) zerlegt und dann versucht, die ganze Geschichte zu verstehen, indem er jedes einzelne Teil fragt, ob es mit jedem anderen Teil sprechen möchte. Der Bibliothekar nutzt eine Regel namens „Self-Attention“, um zu entscheiden, welche Teile wichtig sind. Es ist wie in einem Klassenzimmer, in dem jeder Schüler die Hand hebt und der Lehrer (der Bibliothekar) entscheiden muss, wer sprechen darf. Der Lehrer nutzt ein System namens „Softmax“, um die Sprechzeit aufzuteilen. Das Problem ist, dass dieses System den Lehrer dazu zwingt, jedem etwas Zeit zu geben, selbst den Schülern, die nur über das Wetter flüstern oder aus dem Fenster starren. In einem Foto einer Katze könnten diese „flüsternden“ Teile der Hintergrundrasen oder eine verschwommene Wand sein. Da der Lehrer nicht „Nein“ sagen kann, werden sie in die endgültige Geschichte gemischt, was den Roboter manchmal darüber verwirrt, was er eigentlich vor sich hat.

Hier kommt eine neue Idee namens „Screening“ ins Spiel. Ursprünglich für das Lesen von Texten erfunden, ist Screening wie ein strenger Türsteher in einem Club. Anstatt das Rampenlicht unter allen aufzuteilen, prüft der Türsteher den Ausweis (die Relevanz) jeder Person gegen eine bestimmte Regel. Wenn man den Standard nicht erfüllt, kommt man gar nicht erst rein. Man bekommt ein hartes „Nein“. Dieses Paper mit dem Titel „Screening Is Effective for Visual Recognition“ von Shunya Shimomura und Kazuhiro Hotta von der Meijo University stellt eine große Frage: Können wir dieses „Türsteher“-Prinzip des Screenings auch für Bilder, nicht nur für Wörter, verwenden? Sie schlagen ein neues Modell namens VisionScreen vor. Anstatt jedes Puzzleteil dazu zu zwingen, um Aufmerksamkeit zu konkurrieren, lässt VisionScreen jedes Teil unabhängig entscheiden, ob seine Nachbarn tatsächlich relevant sind. Wenn ein Patch Hintergrundgras nicht wichtig für die Katze ist, kann VisionScreen ihn explizit aus dem Gespräch werfen. Die Autoren schlagen vor, dass der Roboter durch dies tun die Katze rein fokussieren, das Rauschen ignoriert und besser darin wird, Dinge zu erkennen, ohne ein größeres, komplizierteres Gehirn zu benötigen.

Das neue Modell: VisionScreen

Die Autoren entwickelten VisionScreen, um das „Klassenzimmer-Wettbewerb“-Problem von Standard-ViTs zu lösen. In einem normalen ViT, wenn ein Patch des Katzenohrs mit einem Patch des Hintergrunds spricht, könnte der Hintergrund-Patch immer noch ein winziges bisschen Aufmerksamkeit erhalten, nur weil der Ohr-Patch mit jemandem spricht. Es ist ein relatives Spiel; man bekommt Aufmerksamkeit, wenn man besser ist als die anderen verrauschten Patches. VisionScreen ändert die Regeln zu einem absoluten Spiel. Es fragt: „Ist dieser Patch relevant?“ Wenn die Antwort „nein“ lautet, ist der Relevanzwert Null und der Patch wird komplett ignoriert.

Um dies für Bilder funktionsfähig zu machen, musste das Team einige kreative Ingenieursleistungen erbringen. Bilder sind zweidimensionale Gitter (wie ein Schachbrett), während das ursprüngliche Screening für eindimensionale Textzeilen (wie ein Satz) konzipiert war. Die Autoren haben den Mechanismus erweitert, um diesen 2D-Raum zu handhaben. Sie führten eine „räumliche Softmaske“ (spatial softmask) ein, die wie eine flexible, unsichtbare Blase um jedes Puzzleteil wirkt. Innerhalb dieser Blase kann das Teil mit seinen Nachbarn sprechen. Die Größe dieser Blase ist nicht fixiert; das Modell lernt, wie groß sie für eine spezifische Aufgabe sein muss. Ein Teil des Modells benötigt vielleicht eine winzige Blase, um feine Details (wie Schnurrhaare) zu betrachten, während ein anderes vielleicht eine riesige Blase braucht, um den ganzen Körper der Katze zu sehen.

Was sie herausgefunden haben

Das Team testete VisionScreen auf zwei berühmten Bilddatensätzen: ImageNet-1k (eine massive Sammlung von 1,2 Millionen Bildern) und CIFAR-100 (ein kleinerer Datensatz mit 60.000 Bildern und 100 verschiedenen Kategorien). Sie verglichen ihr neues Modell mit einer Standard-Miniaturversion des Vision Transformers namens ViT-Tiny/16.

Die Ergebnisse waren vielversprechend. Auf ImageNet-1k erreichte VisionScreen eine Top-1-Genauigkeit von 72,5 %, während das Standard-ViT-Tiny/16 nur 68,1 % erreichte. Das ist ein Gewinn von 4,4 Prozentpunkten. Auf dem kleineren CIFAR-100-Datensatz erzielte VisionScreen 52,4 % und schlug damit das Standardmodell mit 50,3 %. Interessanterweise erreichte VisionScreen dies bei der Verwendung von etwas weniger Parametern (etwa 5,4 Millionen im Vergleich zu den 5,7 Millionen des ViT). Dies deutet darauf hin, dass das Modell nicht einfach besser wurde, weil es größer war, sondern weil es klüger darin war, worauf es seine Aufmerksamkeit richtet.

Den Unterschied sehen

Um zu verstehen, warum VisionScreen besser funktionierte, schauten die Autoren unter die Haube. Sie visualisierten, wie das Modell die Bilder „sah“. Beim Betrachten eines Bildes eines Fisches (speziell eines Tench) schien das Standard-ViT abgelenkt zu sein. Es schenkte der Angelrute und der Rolle im Hintergrund Aufmerksamkeit und mischte diese Details in seine Vorstellung davon, was ein Fisch ist. Es war, als würde der Bibliothekar durch das Hintergrundrauschen verwirrt werden.

Im Gegensatz dazu war VisionScreen viel fokussierter. Es lehnte die Angel und den Hintergrund explizit ab und konzentrierte seine Aufmerksamkeit fast ausschließlich auf den Fisch selbst. Die Visualisierungen zeigten, dass VisionScreen seine Aufmerksamkeit nicht dünn über das gesamte Bild verteilte. Stattdessen schuf es scharfe, klare Verbindungen zwischen den relevanten Teilen des Fisches. Dies deutet darauf hin, dass VisionScreen durch die Nutzung von absoluter Relevanz (der Türsteher) anstelle von relativem Wettbewerb (die Klassenzimmerabstimmung) gelernt hat, „spurelle Korrelationen“ (spurious correlations) zu ignorieren – jene zufälligen Verbindungen zwischen einer Katze und einer bestimmten Art von Gras oder einem Fisch und einer Angelrute.

Das Kleingedruckte

Die Autoren merken vorsichtig an, dass diese Ergebnisse zwar stark sind, aber auf spezifischen Experimenten basieren. Sie trainierten die Modelle von Grund auf neu auf diesen Datensätzen und fanden heraus, dass VisionScreen nicht nur höhere Werte erzielte, sondern während des Trainings auch einen niedrigeren „Validation Loss“ (ein Maß für den Fehler) aufwies, was darauf hindeutet, dass der Lernprozess stabiler war. Sie testeten auch einen „Gating“-Mechanismus (einen Schalter, der Merkmale ein- oder ausschaltet) und fanden heraus, dass das Entfernen dieses Mechanismus die Genauigkeit um 0,7 Prozentpunkte senkte, was zeigt, dass dieser Schalter hilft, den Fokus des Modells zu verfeinern.

Dennoch behauptet das Paper nicht, dass dies die endgültige Lösung für das gesamte Computer Vision ist. Die Autoren legen nahe, dass diese Methode eine leistungsstarke Alternative zum aktuellen Standard darstellt und einen Weg bietet, Modelle zu bauen, die effizienter und weniger anfällig für Ablenkungen sind. Sie kommen zu dem Schluss, dass Screening für die visuelle Erkennung effektiv sein kann und einen neuen Weg in eine Zukunft eröffnet, in der Modelle lernen, „Nein“ zu irrelevanten Informationen zu sagen – genau wie ein guter Leser, der das Rauschen in einer Bibliothek ignoriert, um sich auf die Geschichte zu konzentrieren.