LongCat-Video-Avatar 1.5 Technical Report
LongCat-Video-Avatar 1.5 ist ein verbessertes Open-Source-Framework, das Produktionsreife und systematische Ingenieursarbeit priorisiert, um kommerziell einsetzbare, stabile und identitätserhaltende Langvideo-Generierung mit beschleunigter Inferenz zu liefern und dabei führende Closed-Source-Systeme in diversen Szenarien zu übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten einen digitalen Charakter erschaffen, der sprechen, singen und agieren kann wie ein echter Mensch, aber Sie besitzen nur ein Foto von ihm und eine Audioaufnahme seiner Stimme. Seit langem war es, diese Charaktere länger als nur wenige Sekunden „echt" wirken zu lassen, wie der Versuch, ein Kartenhaus in einem Sturm im Gleichgewicht zu halten: Sie mögen für einen Moment gut aussehen, doch dann beginnen ihre Gesichter zu stottern, ihre Lippen passen nicht zu den Worten, oder ihre Körper bewegen sich seltsam.
Der LongCat-Video-Avatar 1.5-Paper des Meituan LongCat-Teams ist ein technischer Bericht über ein neues, quelloffenes „Rezept" zum Erstellen dieser digitalen Charaktere. Anstatt eine völlig neue Art von Magie zu erfinden, konzentrierten sie sich darauf, die Technik zu perfektionieren, um das Ergebnis stabil genug für den realen Einsatz (wie Filme, Nachrichten oder Kundenservice) zu machen.
So haben sie es getan, erklärt mit einfachen Analogien:
1. Das „Ohr"-Upgrade: Whisper Large
In der alten Version nutzte das Modell ein Standard-„Ohr" (einen Audio-Encoder namens Wav2Vec2), um die Stimme zu hören. Es war in Ordnung, doch manchmal verpasste es die subtilen Nuancen der Sprache.
- Das Upgrade: Sie tauschten dies gegen Whisper Large aus, ein weitaus leistungsfähigeres Audiosystem.
- Die Analogie: Denken Sie an das alte Ohr als jemanden, der in einem lauten Raum mit Ohrstöpseln ein Lied hört. Das neue Whisper Large ist wie das Aufsetzen hochwertiger Noise-Cancelling-Kopfhörer in einem ruhigen Studio. Es hört jedes winzige Detail der Stimme, was es dem Charakter ermöglicht, die Lippen mit perfekter Präzision zu bewegen, den Klang exakt zu synchronisieren, selbst in langen Videos.
2. Das „Fitnessstudio" für Daten: Zusammenstellung des Trainingsdatensatzes
Man kann einen digitalen Schauspieler nicht einfach durch das Zeigen zufälliger Videos unterrichten. Wenn Sie ihm ein Video mit einem unscharfen Gesicht, einer Person, die ein Schild hält, oder zwei Personen, die gleichzeitig sprechen, zeigen, gerät das Modell in Verwirrung.
- Die Lösung: Sie bauten ein strenges „Daten-Fitnessstudio". Sie warfen nicht einfach Tausende von Videos in das System. Sie sortierten sie wie ein Bibliothekar, der eine Bibliothek ordnet:
- Stille Daten: Sie lehrten das Modell, was zu tun ist, wenn niemand spricht (z. B. Blinzeln, Atmen, Umherschauen), damit der Charakter nicht einfriert oder seltsam aussieht, wenn die Audioaufnahme stoppt.
- Emotionsdaten: Sie führten dem Modell gezielt Videos von Menschen zu, die verschiedene Gefühle zeigen (Lachen, Weinen, Reagieren), damit der Charakter nicht nur wie ein Roboter aussieht, der ein Skript vorliest.
- Multi-Personen-Daten: Sie lehrten das Modell, wie es eine Szene mit zwei sprechenden Personen handhabt. Sie nutzten einen speziellen Trick (den Hintergrundcharakteren eine „stille" Audiospur zu geben), sodass nur die Person, die sprechen soll, den Mund bewegt, während die anderen still bleiben.
3. Der „Trainer" (RLHF): Lernen aus menschlichem Feedback
Selbst mit guten Daten könnte das Modell immer noch kleine Fehler machen, wie eine leicht verdrehte Hand oder ein unnatürlich bewegtes Gesicht.
- Die Methode: Sie verwendeten eine Technik namens Group-Relative Policy Optimization (GRPO).
- Die Analogie: Stellen Sie sich einen Tanzlehrer vor, der einen Schüler beobachtet. Anstatt nur „Gut gemacht" oder „Schlecht gemacht" zu sagen, vergleicht der Lehrer den Tanz des Schülers mit einer Gruppe anderer Tänzer und sagt: „Ihre Armbewegung ist 10 % besser als der Durchschnitt, aber Ihre Fußarbeit ist 5 % schlechter." Das Modell lernt aus diesen Vergleichen, seine Bewegungen bildschirmweise zu verfeinern, und stellt sicher, dass die Hände realistisch aussehen und der Körper sich natürlich bewegt.
4. Der „Turbo-Modus": Geschwindigkeit erhöhen
Normalerweise ist die Erzeugung hochwertiger Videos langsam. Es ist wie das Backen eines Kuchens, bei dem man jede 5 Minuten eine Stunde lang den Ofen überprüfen muss.
- Die Innovation: Sie nutzten eine Technik namens Distillation, um den Prozess zu komprimieren.
- Die Analogie: Sie lehrten das Modell, den Kuchen in 8 Schritten zu backen, anstatt der üblichen 50. Es ist wie das Trainieren eines Läufer, der das ganze Rennen in 8 großen Schritten sprintet, anstatt in 50 kleinen, langsamen Schritten. Das Ergebnis ist ein Video, das genauso gut aussieht, aber viel schneller generiert wird, was es für den Echtzeiteinsatz praktikabel macht.
5. Die Ergebnisse: Wie schlägt es sich im Vergleich?
Das Team testete ihr neues Modell gegen die besten „Closed-Box"-Systeme (geheime, kostenpflichtige Systeme), die derzeit auf dem Markt sind, wie HeyGen und Kling Avatar.
- Das Urteil: In einem Blindtest mit über 500 verschiedenen Szenarien (einschließlich sprechenden Köpfen, Singen, Anime-Stilen und sogar Tieren) wurde LongCat-Video-Avatar 1.5 oft als besser oder gleichwertig zu diesen teuren kommerziellen Systemen bewertet.
- Wichtige Erfolge:
- Lip-Sync: Die Mundbewegungen passten perfekt zum Audio.
- Stabilität: Der Charakter flackerte nicht oder veränderte sein Gesicht während langer Videos.
- Identität: Der Charakter sah von Anfang bis Ende wie dieselbe Person aus.
- Komplexität: Es bewältigte schwierige Situationen, wie eine Person, die eine Gitarre hält, oder zwei sprechende Personen, ohne dass die Hintergrundcharaktere versehentlich ihre Lippen bewegten.
Zusammenfassung
LongCat-Video-Avatar 1.5 ist im Wesentlichen ein „produktionsreifes" Toolkit. Es nimmt die chaotische, experimentelle Natur der KI-Videoerstellung und poliert sie mit besseren Ohren (Whisper), besseren Trainingsdaten (Stille/Emotion/Multi-Personen), einem strengen Trainer (RLHF) und einem Geschwindigkeitsschub (Distillation). Das Ziel war nicht nur, eine coole Demo zu erstellen, sondern ein System zu bauen, das zuverlässig genug ist, um in echten Unternehmen eingesetzt zu werden, und sie bewiesen, dass es genauso gut (oder besser) funktioniert wie die besten kostenpflichtigen Tools, die heute verfügbar sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.