Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos
Das Papier stellt Audio-Visual Flamingo (AV-Flamingo) vor, ein vollständig offenes, hochmodernes großes Sprachmodell, das für das gemeinsame Verständnis und die Argumentation über lange, komplexe Videos aus der realen Welt konzipiert ist, indem es einen massiven neuen Datensatz, ein progressives dreistufiges Trainingscurriculum und ein neuartiges zeitlich verschachteltes Chain-of-Thought-Framework nutzt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schauen einen Film. Sie sehen die Gesichter der Schauspieler, die Umgebung und das Geschehen, aber Sie hören auch den Dialog, die Hintergrundmusik, das Geräusch von Schritten und das Rascheln von Blättern. Lange Zeit waren Computer wie Menschen, die einen Film mit fest verschlossenen Augen ansehen und nur die Tonspur hören, oder umgekehrt. Sie waren großartig darin, eine Katze in einem Bild zu erkennen oder eine Rede zu transkribieren, aber sie hatten Schwierigkeiten, die gesamte Szene zu verstehen, in der eine Katze miaut, während sie über den Bildschirm rennt. Dieses Forschungsfeld wird als „multimodale“ Intelligenz bezeichnet, bei der Maschinen versuchen, verschiedene Sinne – wie Sehen und Hören – zu kombinieren, um die Welt so zu verstehen, wie Menschen es tun. Die große Frage, die sich Forscher gestellt haben, lautet: Können wir eine KI bauen, die nicht nur ein Video sieht oder einen Podcast hört, sondern tatsächlich darüber nachdenkt, wie der Ton und das Bild zusammenwirken, insbesondere wenn die Geschichte lang und kompliziert ist?
Hier kommt Nemotron-Labs-Audio-Visual Flamingo (oder kurz AV-Flamingo) ins Spiel, ein neuartiges KI-Gehirn, das von Forschern der NVIDIA und der University of Maryland entwickelt wurde. Stellen Sie sich bisherige Video-KIs wie Studenten vor, die nur eine einzige Seite eines Lehrbuchs lesen und eine kurze Frage dazu beantworten können. Wenn man sie gebeten hätte, einen ganzen Film zusammenzufassen oder eine komplexe Szene zu erklären, die sich über 15 Minuten verändert, hätten sie den Faden verloren, den Anfang vergessen oder die Charaktere verwechselt. AV-Flamingo ist anders. Es ist wie ein super aufmerksamer Student, der einen ganzen Film anschauen, die Filmmusik hören und sich dann hinsetzen kann, um einen detaillierten Essay darüber zu schreiben, wie die Musik die Stimmung verändert hat, warum ein Charakter auf eine bestimmte Weise reagiert hat oder genau wann ein spezifisches Geräusch in Bezug auf ein visuelles Ereignis stattfand.
Die Forscher fanden heraus, dass sie der KI nicht einfach nur mehr von denselben alten Daten füttern konnten, um dies zu erreichen. Sie mussten ihr drei neue Tricks beibringen. Erstens erstellten sie eine riesige Bibliothek von etwa 7 Millionen realen Videobeispielen (einschließlich 4,8 Millionen Frage-Antwort-Paaren), die speziell darauf ausgelegt sind, die Fähigkeit der KI zu testen, Ton und Bild über die Zeit hinweg zu verknüpfen. Sie nannten dies Audio-Visual-Skills. Zweitens warfen sie die KI nicht einfach ins kalte Wasser; sie nutzten ein „Curriculum“, das mit kurzen Clips begann, um grundlegende Fähigkeiten zu lehren, und dann langsam zu längeren, komplexeren Videos überging, um ihr beizubringen, wie man einer Geschichte über die Zeit hinweg folgt. Drittens, und vielleicht am cleversten, brachten sie der KI einen „Denkprozess“ namens Temporal Audio-Visual Interleaved Chain-of-Thought bei. Stellen Sie sich vor, die KI schaut ein Video und hält alle paar Sekunden inne, um zu sagen: „Okay, zu genau diesem Zeitpunkt schlug die Trommel, und dann sprang der Charakter.“ Dies hilft der KI, ihre Gedanken zeitlich zu verankern, damit sie nicht verwirrt wird, was zuerst oder zuletzt geschah.
Die Ergebnisse sind ziemlich beeindruckend. Bei Tests in über 15 verschiedenen Herausforderungen – die von dem Verständnis von Musik und Sprache bis hin zur Analyse langer Videos und dem Beantworten kniffliger Fragen reichten – schlug AV-Flamingo andere Open-Source-Modelle ähnlicher Größe um eine deutliche Marge. Tatsächlich gelang es ihm sogar, mit viel größeren und teureren „Closed-Source“-Modellen (denen man den Code nicht sehen kann), die derzeit die besten der Welt sind, zu konkurrieren und diese teilweise sogar zu übertreffen. Das Paper legt nahe, dass dieses Modell besonders gut darin ist, lange, komplexe Videos aus der realen Welt zu handhaben, in denen die Hinweise über die Zeit verteilt sind, was beweist, dass Open-Source-KI mit den richtigen Daten und Trainingsmethoden zu den Giganten aufschließen kann. Es ist ein großer Schritt dahin, Computern die Fähigkeit zu geben, die Welt wirklich zu „sehen und zu hören“, anstatt sie nur anzustarren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.