AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning
Dieses Paper stellt AV-JEPA vor, ein gestrafftes Framework für audio-visuelles selbstüberwachtes Lernen, das LeJEPA unter Verwendung eines Early-Fusion Vision Transformers und Modality Dropout erweitert, um eine wettbewerbsfähige Leistung sowie Zero-Shot-Retrieval-Fähigkeiten zu erreichen, ohne auf Decoder, EMA-Teacher oder kontrastive Negative angewiesen zu sein.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer wie eifrige, unbeschriebene Schüler sind, die alles lernen wollen, aber in einem Klassenzimmer ohne Lehrer und ohne Lehrbücher feststecken. Dies ist das Reich des selbstüberwachten Lernens (Self-Supervised Learning), eines Zweigs der künstlichen Intelligenz, bei dem Maschinen versuchen, sich selbst etwas beizubringen, indem sie Muster in Bergen von unbeschrifteten Daten finden. Normalerweise braucht ein Computer, um zu lernen, wie man eine Katze oder ein Auto erkennt, einen Menschen, der auf ein Bild zeigt und sagt: „Das ist eine Katze.“ Aber was wäre, wenn der Computer lernen könnte, indem er einfach nur das Bild betrachtet und rät, was fehlt? Das ist die Magie des Maskierten Lernens (Masked Learning): Man deckt einen Teil eines Bildes oder eines Tons ab, und der Computer muss die Lücken füllen. Lange Zeit war der beste Weg hierfür, den Computer dazu zu zwingen, die fehlenden Teile Pixel für Pixel wieder aufzubauen, wie ein Puzzlespieler, der versucht, eine zerbrochene Vase zu rekonstruieren. Aber es gibt eine neuere, abstraktere Idee namens JEPA (Joint-Embedding Predictive Architecture). Anstatt zu versuchen, die zerbrochene Vase wieder aufzubauen, fragt JEPA den Computer, den Kern oder den „Vibe“ des fehlenden Teils vorherzusagen. Es ist, als würde man versuchen, den Geschmack einer Suppe durch das Riechen des Dampfes zu erraten, anstatt jede einzelne Zutat schmecken zu müssen. Diese Arbeit stellt eine große Frage: Kann diese „Vibe-Raten“-Methode funktionieren, wenn der Computer versucht, zwei verschiedene Sinne gleichzeitig zu verstehen – Sehen und Hören?
Die Autoren dieser Arbeit, ein Team aus Finnland, sagen „Ja!“ und führen ein neues Modell namens AV-JEPA ein. Stellen Sie sich AV-JEPA als einen superintelligenten Detektiv vor, der lernt, einen Tatort zu verstehen, indem er das Video betrachtet und das Audio hört, aber mit einem Twist. Anstatt zu versuchen, die fehlenden Videoframes oder Audiowellen zu rekonstruieren (was so ist, als würde man versuchen, den gesamten Tatort aus dem Gedächtnis neu zu zeichnen), lernt dieser Detektiv, das Gefühl der Szene vorherzusagen, wenn ein Sinn fehlt.
So haben sie es gemacht. Stellen Sie sich vor, Sie sehen ein Video eines Gitarristen. Normalerweise sieht ein Computer das Video und hört das Audio zusammen. AV-JEPA spielt jedoch ein Spiel von „Verstecken und Suchen“ mit den Sinnen. Es nimmt einen Clip und erstellt zwei Versionen: eine, in der das Video komplett geschwärzt ist (sodass der Computer nur die Gitarre hört), und eine andere, in der das Audio stummgeschaltet ist (sodass der Computer nur die Gitarre sieht). Die Aufgabe des Modells besteht darin, die „Audio-nur“-Version zu betrachten und vorherzusagen, wie sich die „Video-nur“-Version anfühlen würde, und umgekehrt. Dies tut es, ohne dass ein Mensch ihm sagt, was gerade passiert, und ohne zu versuchen, die fehlenden Teile wieder aufzubauen. Es lernt einfach, die „Seele“ des Klangs mit der „Seele“ des Bildes in einem gemeinsamen mentalen Raum in Einklang zu bringen.
Die Ergebnisse sind recht beeindruckend für eine Methode, die die schwere Arbeit des Wiederaufbaus überspringt. Als sie dieses Modell an einem Datensatz namens VGGSound (der Videos von Klängen enthält) testeten, erreichte das Modell eine Genauigkeitsrate von 57,1 % bei der Identifizierung dessen, was im Video geschah. Auf einem anderen massiven Datensatz, AudioSet, erzielte es 32,7 mAP (ein Maß dafür, wie gut es Geräusche identifiziert). Obwohl diese Zahlen etwas niedriger sind als die der aktuellen Top-Modelle, die die alte „Puzzle-Rekonstruktions-Methode“ verwenden (die auf VGGSound bis zu 67 % erreichen können), weisen die Autoren darauf hin, dass AV-JEPA viel einfacher ist. Es benötigt keine komplexen zusätzlichen Teile, um Bilder wieder aufzubauen, und es braucht auch kein „Lehrer-Modell“, das es leitet. Es lernt einfach von selbst.
Eines der coolsten Dinge, die das Paper fand, war, dass das Modell lernte, ganz von allein auf die richtigen Dinge zu achten. Wenn sie betrachteten, wohin das Modell „sah“, wenn es ein Geräusch hörte, konzentrierte es sich ganz natürlich auf die Quelle des Lärms. Wenn es das Zwitschern eines Vogels hörte, sah es den Vogel an. Wenn es eine Flöte hörte, sah es auf den Mund des Musikers. Es tat dies, ohne dass jemals jemand gelernt hätte, ihm beizubringen, die Schallquelle zu finden; es hat einfach herausgefunden, dass die Schallquelle und die visuelle Quelle miteinander verbunden sind, weil es eines aus dem anderen vorhersagen musste.
Das Paper zeigte auch, dass dieses Modell „Zero-Shot-Retrieval“ beherrscht, was eine schicke Art zu sagen ist, dass es ein Video allein durch die Suche nach einem Klang finden kann oder einen Klang allein durch die Suche nach einem Video finden kann, ohne jemals explizit für diese spezifische Suchaufgabe trainiert worden zu sein. Es ist, als hätte man eine Bibliothek, in der man ein Buch finden kann, indem man einfach die Melodie summt, die darin vorkommt.
Die Autoren sind jedoch ehrlich über die Einschränkungen. Sie fanden heraus, dass das Modell stark auf das Audio verzerrt ist. Als sie es testeten, wurden die Entscheidungen des Modells hauptsächlich durch das getrieben, was es hörte, nicht durch das, was es sah. Es ist, als wäre der Detektiv ein Genie darin, akustische Hinweise zu deuten, aber ein wenig abgelenkt durch die visuellen Beweise. Das Paper legt nahe, dass dies zwar ein riesiger Schritt nach vorn für eine „saubere“ und einfache Architektur ist, aber noch Arbeit geleistet werden muss, um es so gut im Sehen zu machen wie im Hören, insbesondere im Vergleich zu den komplexeren Modellen, die Jahre damit verbringen, Bilder wieder aufzubauen. Aber für eine Methode, die das Rekonstruktions-Puzzle wegwirft und sich nur auf die Verbindung zwischen den Sinnen konzentriert, ist AV-JEPA ein sehr vielversprechender neuer Weg, wie Computer lernen können, wie die Welt klingt und aussieht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.