🤖 AI

GroundShot: Visually Consistent Multi-Shot Long Video Generation via Entity-Grounded Shot Scheduling

GroundShot ist ein trainingsfreies, modellagnostisches Framework, das die visuell konsistente Multi-Shot-Langvideo-Generierung verbessert, indem es die Reihenfolge der Aufnahmen dynamisch plant und ein Online-Entitätsebene-visuelles Gedächtnis aufrechterhält, um Entitätsreferenzen zu verankern und zu verifizieren und dadurch visuellen Drift über die Aufnahmen hinweg zu verhindern.

Ursprüngliche Autoren: Yixuan Lai, Tianjia Shao, Kun Zhou, Weijia Dou, Siyu Zhu, Jingdong Wang

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yixuan Lai, Tianjia Shao, Kun Zhou, Weijia Dou, Siyu Zhu, Jingdong Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie regieren einen Film, aber anstatt Schauspieler und eine Kamera crew einzustellen, bitten Sie eine magische KI, jede einzelne Szene basierend auf einem von Ihnen geschriebenen Skript zu zeichnen.

Das größte Problem aktueller KI-Filmemacher ist der Gedächtnisverlust. Wenn Sie eine KI bitten, in Szene 1 eine Szene mit einer „rothaarigen Frau in einem blauen Mantel“ zu zeichnen, und Sie sie dann in Szene 10 erneut abfragen, vergisst die KI oft, wie sie aussah. Vielleicht wird ihr Haar braun, der Mantel wird grün oder sie hat plötzlich ein anderes Gesicht. Das passiert, weil die KI versucht, sich an das zu erinnern, was sie zuletzt gezeichnet hat, und kleine Fehler sich wie bei einem Spiel des „Stille Post“ aufstapeln, bis die Figur unerkennbar ist.

GroundShot ist ein neues System, das entwickelt wurde, um genau dieses Problem zu lösen. Es lässt die KI Szenen nicht einfach nur der Reihe nach zeichnen; es agiert wie ein schlauer Regisseur und ein akribischer Archivar, die zusammenarbeiten.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „Bestes Foto“-Regel (Qualitätsbewusste Zeitplanung)

In einem normalen Film dreht man Szenen in der Reihenfolge, in der sie in der Geschichte passieren. Aber GroundShot erkennt, dass nicht alle Aufnahmen gut geeignet sind, um sich an das Aussehen eines Charakters zu erinnern.

Das Problem: Wenn der erste Auftritt eines Charakters in der Geschichte eine winzige, verschwommene Figur in der Ferne ist (eine „Totalaufnahme“), ist das ein schreckliches Foto, um sich an ihn zu erinnern. Wenn die KI dieses verschwommene Foto als Referenz für den Rest des Films verwendet, wird der Charakter verschwommen oder verzerrt bleiben.
Die GroundShot-Lösung: Das System schaut sich zuerst das gesamte Skript an. Es sagt: „Warte, lass uns die Geschichte noch nicht in der richtigen Reihenfolge drehen. Lass uns zuerst die Nahaufnahme des Gesichts des Charakters machen, selbst wenn diese Szene später in der Geschichte vorkommt.“
Die Analogie: Stellen Sie sich vor, Sie versuchen jemandem beizubringen, Ihren Hund zu erkennen. Sie würden nicht damit beginnen, jemandem ein Foto von Ihrem Hund aus 100 Metern Entfernung im Regen zu zeigen. Sie würden zuerst ein klares, hochwertiges Foto des Gesichts Ihres Hundes zeigen. GroundShot generiert dieses „klare Foto des Gesichts“ zuerst, sperrt es als Master-Referenz ein und nutzt dieses perfekte Bild dann, um die Zeichnung jeder anderen Szene zu leiten, egal wo sie in der Geschichte auftaucht.

2. Der „Spezialisierte Aktenschrank“ (Entitätsebene-Gedächtnis)

Ältere Systeme versuchen, das gesamte Bild einer Szene zu sich zu merken. Das ist so, als würde man versuchen, sich an ein ganzes Zimmer zu erinnern, um einen spezifischen Stuhl zu finden. Es ist chaotisch und verwirrend.

Die GroundShot-Lösung: GroundShot zerlegt die Szene in einzelne Elemente: den Charakter, das Objekt (wie eine Jacke) und den Ort (wie ein Restaurant).
Die Analogie: Anstatt eines riesigen Fotoalbums besitzt GroundShot drei separate Aktenschränke:
- Schrank A (Charaktere): Enthält das beste Foto der „Rothaarigen Frau“.
- Schrank B (Objekte): Enthält das beste Foto der „Blauen Jacke“.
- Schrank C (Orte): Enthält das beste Foto des „Restaurants“.
  Wenn es eine neue Szene zeichnen muss, zieht GroundShot die spezifische Datei der „Rothaarigen Frau“ und die Datei der „Blauen Jacke“. Es lässt sich nicht durch den Hintergrund oder andere Personen im Raum verwirren.

3. Der „Qualitätskontrolleur“ (Verifizierung & Grounding)

Nur weil die KI etwas gezeichnet hat, bedeutet das nicht, dass es gut genug ist, um als Referenz zu dienen.

Der Prozess: Nachdem die KI eine Szene gezeichnet hat, agiert GroundShot wie ein strenger Filmeditor. Es prüft: „Ist das Gesicht klar? Hat der Mantel die richtige Farbe? Ist der Charakter verschwunden?“
Der Filter: Wenn die Zeichnung verschwommen, abgeschnitten oder seltsam ist, wirft GroundShot sie in den Müll. Es behält nur die perfekten Versionen, um sie in die Aktenschränke zu legen. Wenn ein Charakter nur von hinten zu sehen ist, weiß GroundShot, dass dies eine schlechte Referenz für sein Gesicht ist, und wartet, bis es eine Frontalansicht generieren kann, bevor es das Gedächtnis aktualisiert.

4. Die „Dynamische Bibliothek“ (Intelligente Aktualisierungen)

Manchmal muss ein Charakter anders aussehen (z. B. lächelnd vs. grimmig oder von der Seite gesehen).

Die Lösung: GroundShot bewahrt die „Master-Referenz“ (das perfekte Gesicht) sicher und unverändert auf. Aber wenn eine neue Szene eine Seitenansicht erfordert, fügt es dem Schrank eine zusätzliche Datei hinzu, die die Seitenansicht zeigt, solange diese immer noch mit der Master-Referenz übereinstimmt.
Die Analogie: Denken Sie an einen 3D-Modell. Sie haben den Hauptentwurf (die Master-Referenz). Wenn Sie eine Wand an der Seite bauen müssen, fügen Sie einen Entwurf der Seitenansicht hinzu, aber Sie ändern niemals den Hauptentwurf. Dies stellt sicher, dass der Charakter niemals „abdriftet“ und wie eine andere Person aussieht.

Das Ergebnis

Durch all dies erstellt GroundShot lange Videos, in denen Charaktere, Kleidung und Orte von der ersten bis zur letzten Sekunde exakt gleich bleiben. Es muss nicht neu trainiert oder mit neuen Tricks vertraut gemacht werden; es organisiert den Prozess einfach intelligenter.

Kurz gesagt: GroundShot verhindert, dass die KI beim eigenen Gedächtnis „Stille Post“ spielt. Stattdessen erstellt es eine „Master-Referenz“ für jeden Charakter und jedes Objekt, generiert zuerst die bestmögliche Version von ihnen und nutzt dann diese perfekte Version, um Konsistenz im gesamten Film zu gewährleisten.

Technisches Resümee: GroundShot

Problemstellung

Die Erzeugung visuell konsistenter Multi-Shot-Langzeitvideos bleibt eine ungelöste Herausforderung in der Text-zu-Video-Synthese (T2V). Während neuere Modelle kohärente Kurzclips produzieren können, führt die Erweiterung auf Multi-Shot-Narrative zu visuellem Drift. Mit zunehmender Anzahl der Shots verändern sich Merkmale von Entitäten (Charaktere, Objekte, Orte) in Bezug auf Gesichtszüge, Farbe, Form oder räumliche Kohärenz.

Das Paper identifiziert zwei primäre Einschränkungen bestehender Multi-Shot-Methoden:

Ganzbild-Referenzen (Whole-Frame References): Bestehende Ansätze verlassen sich oft auf Frame-basierte Gedächtnisse oder benachbarte Frames. Dies vermischt Charaktere, Objekte und Hintergründe, was den Generator dazu zwingt, das Erscheinungsbild von Entitäten aus gemischten visuellen Kontexten abzuleiten, was mit zunehmender Komplexität der Szenen unzuverlässig wird.
Generierung in narrativer Reihenfolge: Die meisten Methoden generieren Shots in der narrativen Reihenfolge. Dies zwingt das System dazu, das Gedächtnis aus frühen, potenziell schwachen Ansichten (z. B. einer entfernten Einstellungsaufnahme) zu initialisieren, anstatt auf ein später im Storytelling auftretendes, klareres und informativeres Erscheinungsbild zu warten. Fehler in diesen frühen, qualitativ minderwertigen Referenzen propagieren vorwärts und verursachen einen kumulativen Identitätsdrift.

Die Autoren beobachten, dass menschliche Betrachter Konsistenz bewerten, indem sie jedes nachfolgende Erscheinen einer Entität mit ihrem ersten klaren Erscheinen (der „kanonischen Referenz“) vergleichen. Daher sollte Konsistenz auf der Ebene der Entität verwaltet werden, wobei die Generierungsreihenfolge von der narrativen Reihenfolge entkoppelt wird, um die Erstellung hochwertiger kanonischer Referenzen zu priorisieren.

Methodik: GroundShot

GroundShot ist ein trainingsfreies, modellagnostisches Agenten-Framework, das darauf ausgelegt ist, das visuelle Gedächtnis auf Entitätsebene und das Shot-Scheduling zu verwalten. Es operiert als Wrapper um bestehende T2V- oder referenzgesteuerte Video-Backends (Ref2V). Die Pipeline besteht aus fünf Schlüsselphasen:

1. Skript-Parsing und Entitätenextraktion

Ein LLM-Parser analysiert das Eingabeskript und optionale globale Bildunterschriften, um zu:

Wiederkehrende Entitäten (Charaktere, Objekte, Orte) zu identifizieren.
Textuelle Erwähnungen über verschiedene Shots hinweg zu verknüpfen, um eine eindeutige Entitäts-ID zuzuweisen.
Prioritätsstufen zuzuweisen (Charaktere > Objekte > Orte).
Den Satz der in jedem Shot vorkommenden Entitäten zu bestimmen.

2. Qualitätsbewusstes Shot-Scheduling

Anstatt der narrativen Reihenfolge zu folgen, bestimmt GroundShot eine optimale Generierungsreihenfolge ( $\pi$ ) basierend auf dem erwarteten Nutzen der Shots als Referenzquellen.

Schätzung der Referenzqualität: Für jede Entität $e$ und jeden Shot $s_i$ sagt ein Schätzer für die Referenzqualität $Q_{ref}$ einen Score $q_{src}(s_i, e)$ voraus, basierend darauf, wie deutlich die Entität erwartet wird (unter Berücksichtigung von Skalierung, Okklusion und Ansicht).
Konstruktion des Abhängigkeitsgraphen: Der Scheduler konstruiert einen gerichteten Graphen, bei dem die Kanten von einem ausgewählten „Quell-Shot“ (dem Shot mit der höchsten vorhergesagten Qualität für eine Entität) zu anderen Shots zeigen, die diese Entität enthalten.
Topologische Sortierung: Der Scheduler löst Zyklen (konfliktierende Präferenzen zwischen Entitäten) auf, indem er höher priorisierte Entitäten und größere Qualitätsgewinne bevorzugt, und führt dann eine topologische Sortierung durch, um die Generierungsreihenfolge zu erstellen. Dies stellt sicher, dass hochwertige Referenz-Shots vor den abhängigen Shots generiert werden.

3. Visuelles Gedächtnis auf Entitätsebene

GroundShot führt ein dynamisches visuelles Gedächtnis $R$ nach Entitäten organisiert, nicht nach Frames.

Kanonische Referenz: Die erste ausreichend hochwertige Referenz für eine Entität wird als kanonische Referenz ( $r^*_e$ ) geschützt. Dieser Anker wird niemals überschrieben.
Ergänzende Referenzen: Das System lässt ergänzende Referenzen nur zu, wenn sie mit der kanonischen Identität konsistent sind (Identity Gate), aber nicht-redundante visuelle Evidenz liefern, wie etwa unterschiedliche Ausdrücke, Ansichten oder Szenenerweiterungen (Diversity Gate).
Grounding & Verifizierung: Nach der Generierung eines Shots führt das System ein Entitäts-basiertes Grounding (unter Verwendung von Modellen wie ReferDINO) durch, um Kandidaten-Crops zu extrahieren.
- Charaktere/Objekte: Vordergrund-Crops werden extrahiert.
- Orte: Der Vordergrund wird maskiert und via eines Bildbearbeitungsmodells entfernt, um die Hintergrundszene zu rekonstruieren.
- Qualitätsprüfungen: Kandidaten durchlaufen typspezifische Qualitätsprüfungen (z. B. Sichtbarkeit des Gesichts, Schärfe, Rekonstruktionssicherheit). Nur Kandidaten, die einen Schwellenwert $\tau_{type}$ überschreiten, werden in das Gedächtnis aufgenommen.

4. Shot-Generierung

Für jeden Shot in der geplanten Reihenfolge:

Referenzabruf: Das System ruft standardmäßig die kanonische Referenz ab. Wenn eine ergänzende Referenz besser zur spezifischen Ansicht, zum Ausdruck oder zur örtlichen Abdeckung des Ziel-Shots passt, wird diese via VLM-Scorer ausgewählt.
Generierungsmodus:
- T2V: Wenn keine nutzbare Vordergrund-Referenz existiert, wird der Shot aus Text generiert.
- Ref2V: Wenn Referenzen verfügbar sind, wird der Shot unter Konditionierung auf diese generiert.
Verifizierung & Reparatur: Ein VLM-Kritiker verifiziert das generierte Video gegen den Prompt und die Referenzen. Werden schwerwiegende Probleme (Identitätsabweichung, fehlende Entitäten) erkannt, werden gezielte Reparaturen (z. B. stärkere Konditionierung, Prompt-Anpassungen, Re-Seeding) versucht.

5. Erfahrungslernen (Experience Learning)

GroundShot führt ein Logbuch über die Generierungserfahrung $X$ , das erfolgreiche Reparaturmaßnahmen und Fehlermodi aufzeichnet. Dies leitet zukünftige Entscheidungen für ähnliche Shots und ermöglicht iterative Verbesserungen innerhalb eines einzelnen Generierungslaufs.

Wesentliche Beiträge

GroundShot Framework: Ein neuartiges, trainingsfreies Agenten-Framework, das Multi-Shot-Konsistenz als ein Problem des Referenzmanagements auf Entitätsebene formuliert. Es entkoppelt die Generierungsreihenfolge explizit von der narrativen Reihenfolge durch qualitätsbewusstes Scheduling und verwaltet ein kuratiertes visuelles Gedächtnis von Entitätsreferenzen.
GroundBench: Ein diagnostisches Benchmark, das darauf ausgelegt ist, Multi-Shot-Konsistenz auf der Ebene der Entität zu evaluieren. Es organisiert Skripte in kontrollierte Herausforderungsmodule (z. B. Skalenänderungen, Diskriminierung mehrerer Identitäten, Szenenbesuche), um eine feingliedrige Fehleranalyse zu ermöglichen, die über ganzheitliche Frame-Metriken hinausgeht.
Empirische Validierung: Umfangreiche Experimente zeigen, dass GroundShot starke Baselines (einschließlich HoloCine, MultiShotMaster und StoryMem) in Metriken der Entitäts-Konsistenz übertrifft, ohne zusätzliches Training oder Modellmodifikationen zu erfordern.

Ergebnisse

Quantitative Leistung: Auf GroundBench erreicht GroundShot Spitzenwerte in der Anchor-Relative Consistency (ARC) und der Worst-Case Identity (WCI), was auf eine überlegene Bewahrung der Entitätsidentität über Shots hinweg hindeutet. Es verbessert zudem die Cross-Character Discrimination (XCD) und trennt ähnliche Identitäten effektiv.
Backbone-Agnostik: Das Framework verbessert die Konsistenz über drei verschiedene Video-Generierungs-Backends (Vidu, Kling und das Open-Source-Modell Wan2.1+Phantom), was beweist, dass die Gewinne aus dem Agenten-Framework und nicht aus einem spezifischen Backend resultieren.
Menschliche Evaluation: In einer Studie mit 48 Teilnehmern erhielt GroundShot die höchsten Bewertungen für Identitätskonsistenz (4,18/5), Text-Alignment (4,23/5) und Gesamtqualität (4,21/5) und übertraf damit alle Baselines.
Ablationsstudien:
- Entity Grounding: Das Entfernen des Entitäts-basierten Groundings (statt der Nutzung ganzer Frames) verursachte den größten Leistungsabfall, was die Notwendigkeit entkoppelter Entitätsreferenzen bestätigt.
- Scheduling: Die Rückkehr zur Generierung in narrativer Reihenfolge verschlechterte ARC und WCI signifikant, was die Bedeutung der Generierung von Referenz-Quell-Shots validiert.
- Dynamisches Gedächtnis: Die Zulassung ergänzender Referenzen (über den einzelnen kanonischen Anker hinaus) erwies sich als entscheidend für den Umgang mit Ansichtswechseln und Szenenerweiterungen, insbesondere für Orte.

Bedeutung und Ansprüche

Das Paper behauptet, dass GroundShot das grundlegende Problem des kumulativen Drifts in der Langzeit-Videogenerierung adressiert, indem es das Paradigma von sequenzieller Frame-basierter Konditionierung hin zu entitätszentriertem Referenzmanagement verschiebt.

Priorität der kanonischen Referenz: Durch die Priorisierung der Generierung von Shots, die klare, hochwertige Erscheinungen der Entitäten bieten, etabliert GroundShot eine „sternförmige“ Konsistenzstruktur, in der alle nachfolgenden Erscheinungen an einen einzigen, zuverlässigen Standard gebunden sind, anstatt von einer Kette potenziell schwacher Zwischenframes abzudriften.
Entkopplung von Produktion und Narrativ: Das Framework zeigt, dass die Reihenfolge, in der Shots generiert werden, nicht mit der narrativen Reihenfolge übereinstimmen muss. Diese Flexibilität erlaubt es dem System, die visuelle Identität von Charakteren und Szenen zu „vorberechnen“, bevor sie in der Geschichte benötigt werden.
Praktikabilität: GroundShot erfordert kein zusätzliches Training der zugrunde liegenden Videogenerierungsmodelle und ist somit sofort auf bestehende State-of-the-Art T2V- und Ref2V-Systeme anwendbar.

Die Autoren räumen ein, dass GroundShot durch die Qualitätsgrenze seines zugrunde liegenden Video-Generierungs-Backends begrenzt ist; wenn das Backend in einem einzelnen Versuch keine erkennbare Entität produzieren kann, kann das Framework dieses Problem nicht vollständig lösen. Dennoch hebt das Framework die Konsistenz-Obergrenze für Multi-Shot-Generierung signifikant an, indem es sicherstellt, dass die verwendeten Referenzen von der höchstmöglichen verfügbaren Qualität sind.