OmniReasoner: Thinking with Long Audio-Video via Native Tool Use
OmniReasoner ist ein Post-Training-Framework für den Werkzeuggebrauch, das omnimodale LLMs ermöglicht, effizient über lange Audio-Video-Streams zu schlussfolgern, indem es dynamisch entscheidet, wann ein „Zoom-In“-Werkzeug für eine hochauflösende Inspektion spärlicher Belege aufgerufen werden soll, unterstützt durch einen neuartigen TimeAnchor-Mechanismus für zeitliche Konsistenz und eine Temporal Augmented Data Engine für skalierbares Training.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein Rätsel in einer Bibliothek zu lösen, die kein Ende nimmt. Die Bibliothek ist gefüllt mit Tausenden von Büchern, aber die Hinweise, die Sie zur Lösung des Falls benötigen, sind winzig: vielleicht ein einziges Wort, das auf Seite 4.002 geflüstert wird, oder eine spezifische Zeichnung, die am Rand von Seite 12.500 verborgen ist. Wenn Sie versuchen, jede einzelne Seite mit der gleichen Geschwindigkeit zu lesen, wird Ihr Gehirn müde und Sie könnten die winzigen Details übersehen, weil Sie das gesamte Werk zu schnell durchgearbeitet haben. Dies ist genau das Problem, vor dem Computer stehen, wenn sie versuchen, lange Videos und Audioaufnahmen zu verstehen. Sie sind „omnimodale“ Modelle, was bedeutet, dass sie sehen und hören können, aber wenn ein Video eine Stunde lang ist, könnte der wichtigste Hinweis ein Sekundenbruchteil eines Geräusches oder eine kurze visuelle Handlung sein. Wenn der Computer versucht, die ganze Stunde in hoher Detailtiefe zu verarbeiten, geht ihm der Speicher aus. Wenn er alles durchrast, übersieht er die Hinweise. Wissenschaftler haben versucht, Computer zu lehren, bessere Detektive zu werden: wie man die ganze Geschichte schnell überfliegt, den verdächtigen Teil entdeckt und dann verlangsamt, um nur dort genau hinzusehen, wo es wichtig ist.
Hier kommt OmniReasoner ins Spiel, ein neues „Denk“-Framework, das diese KI-Detektive lehrt, ein spezielles Werkzeug zu benutzen: einen Zoom-Button. Anstatt die ganze einstündige Videoaufnahme gleichzeitig anzustarren, wirft OmniReasoner zuerst einen schnellen, qualitativ minderwertigen „Blick“ auf die gesamte Zeitachse, so als würde man in einem Buch blättern, um einen Überblick zu gewinnen. Wenn die KI glaubt, dass die Antwort direkt dort liegt, gibt sie die Antwort. Aber wenn sie spürt, dass sich ein Hinweis in einem bestimmten Moment verbirgt – wie etwa ein Charakter, der einen spezifischen Satz sagt, oder ein Fisch, der in einem Glas erscheint –, hält sie inne und fordert einen Zoom-In an. Sie verlangt einen hochauflösenden, schnellen Clip von nur diesen wenigen Sekunden. Die KI betrachtet dann dieses „gezoomte“ Beweisstück zusammen mit ihrem ursprünglichen schnellen Blick, um das Rätsel zu lösen.
Der magische Trick dabei ist, wie die KI weiß, wo sie zoomen muss. In der Vergangenheit hatten Computer Schwierigkeiten, weil sie „Frames“ zählten (wie das Zählen von Seiten), aber wenn man das Video beschleunigt oder verlangsamt, ändern sich die Seitenzahlen. OmniReasoner verwendet ein kluges System namens TimeAnchor. Denken Sie an es wie eine GPS-Koordinate basierend auf der Uhrzeit (z. B. „schau bei 2 Minuten und 49 Sekunden nach“) anstatt einer Seitenzahl. Auf diese Weise zeigt „2:49“ immer auf denselben exakten Moment, egal ob die KI die unscharfe, vorgespulte Version oder die kristallklare, herangezoomte Version betrachtet. Dies stellt sicher, dass die KI sich nicht verirrt, wenn sie zwischen dem großen Ganzen und der Nahaufnahme wechselt.
Um der KI diese Fähigkeit beizubringen, haben die Forscher sie nicht einfach nur Menschen bitten lassen, jedes Video zu beschriften; das hätte viel zu lange gedauert. Stattdessen bauten sie eine Temporal Augmented Data Engine. Stellen Sie sich einen Videobearbeiter vor, der kurze Clips nimmt, sie zu einem langen Film zusammenfügt und heimlich einen „Hinweis“ in eine der neuen Übergänge einbaut. Die KI wird dann darauf trainiert, diesen versteckten Hinweis zu finden. Manchmal wird der KI gesagt, sie solle einfach aus dem ganzen Film raten, und manchmal wird sie gezwungen, das Zoom-Werkzeug zu benutzen. Durch einen Prozess von Versuch und Irrtum (Reinforcement Learning) lernt die KI, dass die Nutzung des Zoom-Werkzeugs zu besseren Ergebnissen führt, aber nur dann, wenn es tatsächlich notwendig ist.
Die Ergebnisse zeigen, dass dieser Ansatz funktioniert. Bei Tests auf verschiedenen Video- und Audio-Herausforderungen wurde OmniReasoner signifikant besser darin, Antworten zu finden, insbesondere bei sehr langen Videos, in denen Hinweise selten sind. Die KI wurde nicht nur klüger im Beantworten, sondern lernte auch, effizient zu sein, indem sie ihre „Gehirnleistung“ nur auf die Momente konzentrierte, die wirklich zählten. Das Paper legt nahe, dass wir, indem wir der KI beibringen, zu entscheiden, wann sie genauer hinschauen muss, anstatt sie zu zwingen, alles gleichermaßen zu betrachten, komplexe Rätsel in langen Audio-Video-Streams lösen können, die zuvor zu schwierig zu knacken waren. Es ist ein Schritt hin zu einer KI, die Videos nicht nur anschaut, sondern tatsächlich über sie nachdenkt und genau weiß, wann sie innehalten und aufmerksam werden muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.