Aurora: Unified Video Editing with a Tool-Using Agent
Die Arbeit stellt Aurora vor, ein agentenbasiertes Videobearbeitungsframework, das ein um Werkzeuge erweitertes Vision-Language-Modell nutzt, um rohe Benutzeranfragen in strukturierte Bearbeitungspläne zu übersetzen und dadurch textuelle und visuelle Unterbestimmtheit zu beheben, um die Leistung von vereinheitlichten Video-Diffusions-Transformern zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten ein Heimvideo bearbeiten, haben aber nur eine vage Idee im Kopf. Sie sagen einem Videoeditor: „Machen Sie den Mann im Hintergrund wie einen Superhelden aussehen", nennen ihm aber nicht, welchen Superhelden, und zeigen nicht genau, wo der Mann steht.
In der Welt der aktuellen KI-gestützten Videobearbeitung ist dies ein Problem. Die meisten fortschrittlichen KI-Modelle sind wie unglaublich talentierte, aber wortwörtlich denkende Köche. Sie können alles kochen, aber nur, wenn Sie ihnen ein perfektes Rezept mit exakten Zutaten und präzisen Mengenangaben geben. Wenn Sie einfach sagen: „Machen Sie es scharf", fügen sie vielleicht Salz statt Pfeffer hinzu oder verweigern die Zubereitung ganz, weil sie nicht wissen, wie „scharf" aussieht.
Aurora ist ein neues System, das dieses Problem löst, indem es einen intelligenten Assistenten vor den Koch stellt.
Das Problem: Die Lücke der „fehlenden Zutaten"
Aktuelle KI-Modelle für die Videobearbeitung sind leistungsstark. Sie können Objekte ersetzen, Personen entfernen oder Hintergründe ändern. Doch sie unterliegen einer strengen Regel: Sie benötigen alles bereit, bevor sie beginnen.
- Wenn Sie ein Hemd durch einen „Burberry-Karoschal" ersetzen wollen, benötigt die KI ein Bild dieses spezifischen Schals.
- Wenn Sie eine Person entfernen wollen, benötigt die KI eine Karte (eine Maske), die genau zeigt, wo sich diese Person befindet.
- Wenn Sie sagen „machen Sie es schneller", muss die KI wissen, was „es" ist.
Echte Menschen liefern diese Details normalerweise nicht. Wir geben vage Anweisungen. Die Arbeit bezeichnet dies als „Unterspezifikation". Die KI ist bereit zu arbeiten, aber der Benutzer hat ihr nicht die Werkzeuge gegeben, die sie zum Start benötigt.
Die Lösung: Das „Aurora"-Team
Die Autoren haben Aurora entwickelt, das wie ein Zwei-Personen-Team funktioniert:
Der Agent (Der intelligente Assistent): Dies ist ein großes KI-Modell (ein VLM), das als Projektmanager fungiert. Es hört sich Ihre vage Anfrage an („Machen Sie das Hemd der Frau wie einen Burberry-Schal aussehen") und erkennt: „Warte, ich habe kein Bild dieses Schals, und ich muss genau wissen, wo ihr Hemd ist."
- Es geht einkaufen: Es nutzt ein Werkzeug, um im Internet nach einem Bild eines Burberry-Schals zu suchen.
- Es zeichnet eine Karte: Es nutzt ein Werkzeug, um den exakten Umriss des Hemdes der Frau im Video zu finden.
- Es schreibt das Rezept um: Es übersetzt Ihre lockere Anfrage in eine superspezifische, technische Anweisung, die der Videoeditor perfekt verstehen kann.
Das Videomodell (Der Koch): Dies ist die eigentliche Videobearbeitungsmaschine (ein „Diffusion Transformer"). Es spricht nicht direkt mit Ihnen. Es erhält nur die perfekten, vorverpackten Anweisungen vom Agenten. Es nimmt das Quellvideo, das neue Schalbild und den Hemdumriss entgegen und führt die magische Bearbeitung durch.
Wie es im echten Leben funktioniert
Die Arbeit zeigt Beispiele dafür in Aktion:
- Szenario A: Sie sagen: „Ersetzen Sie das Hemd der Frau durch einen Burberry-Schal."
- Ohne Aurora: Die KI könnte einen generischen Schal erraten oder scheitern.
- Mit Aurora: Der Agent sucht nach einem echten Bild eines Burberry-Schals, findet das Hemd im Video und sagt dem Videomodell: „Hier ist das Video, hier ist das exakte Schalbild, und hier ist der genaue Standort des Hemdes. Los geht's."
- Szenario B: Sie sagen: „Entfernen Sie den Fußgänger."
- Ohne Aurora: Die KI könnte die falsche Person entfernen oder ein chaotisches Loch hinterlassen.
- Mit Aurora: Der Agent ermittelt, welche Person ein Fußgänger ist, zeichnet einen präzisen Umriss um sie herum und sagt dem Videomodell genau, was zu löschen ist und womit der Hintergrund zu füllen ist.
Die Ergebnisse: Ein neuer Benchmark
Die Forscher entwickelten einen neuen Test namens AgentEdit-Bench. Dieser Test ist speziell darauf ausgelegt, KI mit vagen Anweisungen zu täuschen.
- Als sie Standard-KI-Modelle mit diesen vagen Anfragen testeten, schnitten sie schlecht ab (etwa 67–70 %).
- Als sie den Aurora-Agenten hinzuzogen, stieg die Punktzahl erheblich (auf 87,9 %).
Die Arbeit zeigte auch, dass dieser „intelligente Assistent" nicht nur für ihr spezifisches Videomodell gut ist. Sie testeten ihn mit anderen Videobearbeitungsmodellen, und der Agent half ihnen weiterhin, bessere Ergebnisse zu erzielen. Es ist, als würde man einem beliebigen Koch einen universellen Dolmetscher geben; egal wer kocht, das Essen schmeckt besser, wenn die Zutaten zuerst richtig vorbereitet sind.
Zusammenfassung
Aurora bearbeitet nicht nur Videos; es versteht, was Sie meinen, bevor es mit der Bearbeitung beginnt. Es schließt die Lücke zwischen menschlicher Vagheit und maschineller Präzision, indem es als Werkzeug nutzender Agent agiert, der fehlende Bilder sammelt, fehlende Karten zeichnet und klare Anweisungen formuliert, um sicherzustellen, dass das finale Video genau Ihrer Vision entspricht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.