Inducing Spatial Locality in Vision Transformers through the Training Protocol
Dieser Artikel zeigt, dass die CutMix-Datenaugmentierungstechnik innerhalb moderner Trainingsprotokolle in den frühen Schichten von Vision Transformern, die von Grund auf neu trainiert werden, ohne die Notwendigkeit eines groß angelegten Vortrainings räumliche Lokalität und konzentrierte Aufmerksamkeit induziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie unterrichten einen Schüler darin, verschiedene Tiere auf einem Foto zu erkennen. Sie haben zwei Möglichkeiten, ihn zu unterrichten:
- Die „Old-School"-Methode: Sie zeigen ihm das gesamte Bild und sagen: „Das ist eine Katze." Er betrachtet das gesamte Bild, wird vielleicht durch den Hintergrund verwirrt und versucht, die Antwort basierend auf der allgemeinen Stimmung zu erraten.
- Die „Moderne" Methode: Sie zeigen ihm das gesamte Bild, spielen dann aber ein Spiel, bei dem Sie zufällige Teile des Fotos mit einem Klebezettel aus einem anderen Bild abdecken. Um nun „Katze" zu erraten, muss er sich intensiv auf die kleinen, sichtbaren Teile der Katze konzentrieren, die übrig geblieben sind, und den Rest ignorieren.
Diese Arbeit untersucht, was in einem bestimmten Typ von KI-Gehirn, dem Vision Transformer (ViT), passiert, wenn man diese beiden verschiedenen Unterrichtsmethoden anwendet.
Das Problem: Der „Global Gazer"
Vision Transformer sind leistungsstark, weisen jedoch eine Eigenart auf. Im Gegensatz zu menschlichen Augen (oder älteren KI-Modellen, den CNNs), die natürlicherweise zuerst kleine, nahe Details betrachten, sind ViTs so konzipiert, dass sie alles auf einmal betrachten. Jeder Teil des Bildes kann sofort mit jedem anderen Teil „sprechen".
Die Forscher wollten wissen: Können wir einem ViT beibringen, kleine, lokale Details (wie ein Katzenohr) zu betrachten, ohne ihm vorher Millionen von Bildern zeigen zu müssen?
Das Experiment: Zwei Trainingsprotokolle
Die Forscher nahmen ein kleines, frisches KI-Modell und trainierten es mit drei verschiedenen Bildsätzen (wie ein kleiner Zoo, ein mittlerer Zoo und ein großer Zoo). Sie behielten die Gehirnstruktur der KI exakt gleich, änderten jedoch die Art und Weise, wie sie sie unterrichteten:
- Die Basislinie (Old School): Sie zeigten einfach die Bilder mit grundlegenden Spiegelungen und Zuschnitten.
- Die Moderne (Das „Klebezettel"-Spiel): Sie fügten drei ausgefeilte Tricks hinzu:
- AutoAugment: Automatisches Ändern von Farben und Formen, um die Bilder unterschiedlich aussehen zu lassen.
- Label Smoothing: Dem KI-Modell sagen: „Sei nicht zu 100 % sicher; sei ein wenig bescheiden."
- CutMix: Dies ist der Star der Show. Sie schneiden ein Quadrat aus einem Bild aus und kleben es auf ein anderes. Die KI muss das Tier erraten, obwohl ein Teil davon fehlt oder ersetzt wurde.
Die Entdeckung: Der „CutMix"-Effekt
Die Forscher maßen, wie „lokal" die Aufmerksamkeit der KI war. Betrachtete sie den ganzen Raum oder nur das Katzenohr?
- Das Ergebnis: Die „Moderne" Methode ließ die frühen Schichten der KI (die ersten Dinge, über die sie „nachdenkt") sehr eng auf kleine, nahe Bereiche fokussieren. Sie wurde viel mehr wie ein menschliches Auge oder eine traditionelle Kameraobjektiv.
- Die Überraschung: Als sie die „Moderne" Methode aufschlüsselten, um zu sehen, welcher Trick die schwere Arbeit leistete, stellten sie fest, dass CutMix der einzige war, der zählte.
- Das Hinzufügen nur der „Farbänderungen" (AutoAugment) oder der „Bescheidenheit" (Label Smoothing) bewirkte nichts, um die KI lokal blicken zu lassen.
- Das Hinzufügen nur von CutMix zum Basis-Training ließ die KI plötzlich beginnen, sich auf lokale Details zu konzentrieren.
- Das Entfernen von CutMix aus dem ausgefeilten Training ließ die KI vergessen, wie man sich lokal konzentriert, selbst wenn die anderen Tricks noch vorhanden waren.
Die Analogie: Der Druck des „Teilausschnitts"
Warum funktioniert CutMix? Die Arbeit legt nahe, dass es um Druck geht.
Stellen Sie sich vor, Sie versuchen, einen Freund in einer Menschenmenge zu identifizieren, aber jemand hält ständig ein Schild vor sein Gesicht. Sie können sich nicht mehr auf sein ganzes Gesicht oder seine allgemeine Kleidung verlassen. Sie sind gezwungen, sehr genau auf das eine Auge oder das Ohr zu schauen, das sichtbar ist. Sie lernen, ihn an seinen lokalen, spezifischen Merkmalen zu erkennen, anstatt am gesamten Bild.
CutMix zwingt die KI in dieselbe Situation. Da Teile des Bildes ständig ausgetauscht werden, lernt die KI, dass sie sich nicht auf den globalen Kontext verlassen kann. Sie muss lernen, nützliche Informationen aus kleinen, lokalen Nachbarschaften zu extrahieren, um die Antwort richtig zu bekommen.
Das Fazit
- Was sie fanden: Sie benötigen keine Millionen von Bildern, um einen Vision Transformer darauf zu bringen, sich auf lokale Details zu konzentrieren. Sie müssen lediglich einen spezifischen Trainings-Trick namens CutMix verwenden.
- Was es bewirkt: Es zwingt die frühen Schichten der KI, wie ein lokaler Detektor zu agieren (Fokus auf kleine Patches) anstatt wie ein globaler Scanner.
- Was es nicht bewirkt: Die anderen beliebten Trainings-Tricks (Farben ändern oder das Vertrauen abschwächen) verbessern die Punktzahl der KI, ändern aber nicht, wie die KI das Bild betrachtet. Nur CutMix verändert den „Blick".
Kurz gesagt: Wenn Sie wollen, dass Ihre KI lernt, zuerst die Bäume und dann den Wald zu betrachten, zeigen Sie ihr nicht einfach mehr Bilder; zeigen Sie ihr Bilder mit Löchern darin.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.