Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models
Dieses Paper führt ein referenzfreies Evaluierungsframework für generative audio-visuelle Modelle ein, das das Paradoxon zwischen relativer menschlicher Wahrnehmung und absoluten automatisierten Metriken auflöst, indem es einen Datensatz generativer Fehler, ein adaptiertes Omni-LLM und Real-Valued Group Relative Policy Optimization nutzt, um eine State-of-the-Art-Ausrichtung mit menschlichen Präferenzen bei der Bewertung der kreuzmodalen Synchronisation zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schauen einen Film, in dem ein Hund bellt, aber das Geräusch klingt wie ein Quietscheentchen, oder ein Glas zerbricht mit dem Geräusch eines platzenden Wasserballons. In der Welt der KI werden diese „Welt-Simulatoren“ immer besser darin, Bilder und Töne zu erzeugen, aber sie bekommen oft die Physik nicht hin. Sie erzeugen vielleicht ein Geräusch, das nicht zur Handlung passt, oder vergessen ganz, ein Geräusch zu machen.
Lange Zeit versuchten Wissenschaftler zu prüfen, ob diese KI-Filme „synchron“ sind, indem sie ein einfaches Spiel namens „Verzögerung finden“ spielten. Sie nahmen einen perfekten Ton, verschoben ihn ein winziges Stück nach links oder rechts und schauten, ob ein Computer den Unterschied bemerken konnte. Aber die Autoren dieser Arbeit sagen: Hört auf damit! Das ist so, als würde man einen Koch danach beurteilen, ob er den Unterschied zwischen Salz und Zucker erkennt, wenn beide im selben Glas sind. Das funktioniert nicht, weil moderne KI nicht nur das Timing falsch macht; sie macht die Geschichte falsch. Sie erfindet vielleicht ein Geräusch, das nie stattgefunden hat, oder lässt ein Geräusch weg, das eigentlich da sein sollte.
Das große Problem: Das „relative“ vs. „absolute“ Paradoxon
Hier ist der knifflige Teil, den die Autoren lösen mussten. Wenn Menschen zwei schlechte KI-Videos sehen, ist es leicht zu sagen: „Video A ist besser als Video B.“ Wir sind sehr gut im Vergleichen. Aber wenn man uns fragt, ob wir Video A eine Punktzahl von 100 geben sollen, ohne etwas zum Vergleichen zu haben, werden wir verwirrt. Wir sagen heute vielleicht „70“ und morgen „85“.
Um jedoch einen Roboter-Richter zu bauen, der im Internet funktionieren kann, benötigen wir einen absoluten Score. Wir brauchen eine Zahl, die besagt: „Dieses Video hat eine 72,4“, egal welche anderen Videos existieren. Die Arbeit argumentet, dass wir nicht einfach einen Menschen nach einer Zahl fragen können; wir müssen einer Maschine beibringen, wie sie unsere „besser/schlechter“-Gefühle in eine „72,4“-Zahl umwandelt.
Die Lösung: Eine neue Art von Roboter-Richter
Das Team baute ein dreistufiges System, um dies zu beheben, das sie Beyond Time Shifts nennen.
1. Der „SynthSync“-Spielplatz (Der Datensatz)
Anstatt Fehler durch das Verschieben von Tönen vorzutäuschen, erschufen sie einen Spielplatz namens SynthSync. Sie nahmen echte Videos und ließen sie durch 10 verschiedene erstklassige KI-Soundgeneratoren laufen. Dadurch entstand ein Haufen „authentischer Fehler“.
- Die Analogie: Stellen Sie sich vor, Sie bitten 10 verschiedene Köche, eine Suppe nach demselben Rezept zuzubereiten. Einige Köche verbrennen den Knoblauch, manche vergessen das Salz und andere geben zu viel Pfeffer hinzu. Die Autoren sahen sich nicht nur die Suppe an; sie fragen menschliche Experten, zwei Schüsseln gleichzeitig zu probieren und zu sagen: „Koch A’s Suppe ist besser als Koch B’s.“ Sie taten dies über 306.000 Mal, um eine riesige Karte zu erstellen, wer besser ist als wer.
2. Das „Omni-LLM“ mit einem neuen Gehirn
Sie nahmen eine superintelligente KI namens Omni-LLM (speziell ein Qwen2.5-Omni-3B Modell) und gaben ihr einen neuen Job. Normalerweise spricht diese KI in Wörtern wie „Gut“ oder „Schlecht“. Die Autoren entfernten diesen Wort-Generator und ersetzten ihn durch einen kontinuierlichen Schieberegler.
- Die Analogie: Anstatt dass die KI „Gut!“ oder „Schlecht!“ schreit, gibt sie nun eine einzige, glatte Zahl auf einem Schieberegler aus. Sie trainierten sie mit den „besser/schlechter“-Daten aus dem SynthSync-Spielplatz. Sie verwendeten einen mathematischen Trick namens Bradley-Terry-Luce, um der KI beizubringen, dass wenn sie denkt, dass Koch A besser als Koch B ist, die Zahl für A höher sein muss als für B.
3. Der „R-GRPO“-Zaubertrick (Reinforcement Learning)
Dies ist die Geheimzutat. Nur zu wissen, dass „A besser als B“ ist, reicht nicht aus; die KI muss die gesamte Gruppe verstehen. Wenn Koch A der Beste ist, Koch B die Mitte und Koch C der Schlechteste, müssen die Scores diese Reihenfolge perfekt widerspiegeln.
- Die Analogie: Stellen Sie sich vor, die KI ist ein Schüler, der eine Prüfung ablegt. Anstatt nur zu prüfen, ob er Frage 1 richtig beantwortet hat, schaut der Lehrer (der R-GRPO Algorithmus) sich die gesamte Liste der Antworten an. Er verwendet eine „Gaußsche Policy“ (was nur eine schicke Art ist, um zu sagen: „ein wenig zufälliges Rauschen hinzufügen, um zu explorieren“), um zu sehen, ob die KI die perfekte Rangfolge für die gesamte Gruppe der Köche auf einmal finden kann.
- Das Ergebnis: Durch diese Methode lernte die KI, Scores zu vergeben, die den menschlichen Experten unglaublich gut entsprachen.
Was sie herausgefunden haben (Die Zahlen)
Die Autoren testeten ihren neuen Roboter-Richter gegen die alten Methoden (wie AV-Align, JavisScore und DeSync).
- Der alte Weg: Die alten Metriken waren wie ein kaputtes Lineal. Sie gaben oft hohe Scores für Videos, die eigentlich schrecklich waren, nur weil die Töne zum richtigen Zeitpunkt passierten, selbst wenn die Töne völliger Unsinn waren.
- Der neue Weg: Ihre neue Metrik, die auf dem SynthSync-Datensatz trainiert und mit R-GRPO feinjustiert wurde, erreichte eine Paarvergleichs-Genauigkeit (Pairwise Accuracy) von 72,38 %. Das bedeutet, wenn sie zwei Videos verglichen, stimmten sie in 72,38 % der Fälle mit menschlichen Experten überein.
- Der Vergleich: Die nächstbeste Methode, die sie testeten, erreichte nur 69,36 % Genauigkeit.
- Das Leaderboard: Sie nutzten ihren neuen Richter, um 6 berühmte KI-Videomodelle (darunter Sora-2, Veo-3.1 und LTX-2) zu ranken. Ihr Richter zeigte deutlich, dass Sora-2 und Veo-3.1 am besten im Verständnis von Physik waren, während andere Modelle Schwierigkeiten hatten.
Was sie explizit ausschließen
Das Paper ist sehr deutlich darüber, was nicht funktioniert:
- Zeitverschiebungen (Time Shifts): Sie argumentieren, dass das einfache Verschieben von Audio nach vorne oder hinten (der alte Standard) für moderne KI nutzlos ist, da es „strukturelle Halluzinationen“ (erfundene Klänge) nicht erfasst.
- Diskrete Wörter: Sie fanden heraus, dass es eine schlechte Idee war, die KI Wörter wie „Gut“ oder „Schlecht“ ausgeben zu lassen (Textgenerierung). Dies erzeugte „Quantisierungsartefakte“, was bedeutete, dass die Scores zu stark schwankten und nicht glatt genug waren.
- Einfache Regression: Sie versuchten, die KI direkt eine Zahl schätzen zu lassen (Regression), und dies scheiterte mit einem Kendall's τ von nur 0,1628 (ein Maß dafür, wie gut die Rangfolge mit der Realität übereinstimmt). Ihre neue Methode erreichte 0,4899.
Wie sicher sind sie?
Die Autoren sind sehr zuversichtlich in ihre Ergebnisse, weil sie nicht nur geraten, sondern gemessen haben.
- Sie bauten einen standardisierten Benchmark namens SyncBench mit 185 verschiedenen Prompts (wie „Holz sägen“, „Regen“ oder „Motorräder“).
- Sie testeten ihre Metrik als „Belohnungssignal“ (einen Weg, um einer KI zu sagen, wie sie sich verbessern kann). Als sie ihre Metrik nutzten, um das beste KI-Video aus einer Gruppe von Kandidaten auszuwählen, funktionierte dies in Cross-Metric-Tests 5,0589 Mal besser als reines Raten.
- Sie bewiesen die Wirksamkeit ihrer Methode, indem sie zeigten, dass die Scores signifikant sanken (von 72,38 % auf 71,07 %), wenn sie den R-GRPO-Trainingsschritt entfernten, was beweist, dass jeder Teil ihres Systems notwendig ist.
Kurz gesagt legt das Paper nahe, dass wir, um KI-Filme zu beurteilen, nicht nur nach Verzögerungen suchen können; wir brauchen einen Richter, der die Geschichte des Klangs und des Bildes versteht. Indem sie menschliche „besser/schlechter“-Gefühle in eine glatte, kontinuierliche Zahl verwandelten, erschufen sie ein Werkzeug, das die Welt endlich so sieht wie wir.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.