🤖 AI

GroundShot: Visually Consistent Multi-Shot Long Video Generation via Entity-Grounded Shot Scheduling

GroundShot is een trainingsvrij, model-agnostisch framework dat visueel consistente multi-shot lange video-generatie verbetert door de volgorde van shots dynamisch te plannen en een online entiteitsniveau visueel geheugen te behouden om entiteitsreferenties te gronden en te verifiëren, waardoor visuele drift tussen shots wordt voorkomen.

Oorspronkelijke auteurs: Yixuan Lai, Tianjia Shao, Kun Zhou, Weijia Dou, Siyu Zhu, Jingdong Wang

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yixuan Lai, Tianjia Shao, Kun Zhou, Weijia Dou, Siyu Zhu, Jingdong Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film regisseert, maar in plaats van acteurs en een filmcrew in te huren, vraag je een magische AI om elke scène te tekenen op basis van een script dat jij hebt geschreven.

Het grootste probleem met de huidige AI-filmmakers is geheugenverlies. Als je de AI vraagt om een scène te tekenen met een "roodharige vrouw in een blauwe jas" in Scène 1, en je vraagt haar weer in Scène 10, vergeet de AI vaak hoe ze eruitzag. Misschien wordt haar haar bruin, wordt de jas groen, of heeft ze plotseling een ander gezicht. Dit gebeurt omdat de AI probeert te onthouden wat het laatst heeft getekend, en kleine foutjes stapelen zich op als een spelletje "telefoontje spelen", totdat het personage onherkenbaar is.

GroundShot is een nieuw systeem dat dit probleem oplost. Het laat de AI niet alleen scènes in volgorde tekenen; het werkt als een slimme regisseur en een nauwgezette archivaris die samenwerken.

Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Beste Foto"-regel (Kwaliteitsbewuste planning)

In een normale film neem je scènes op in de volgorde waarin ze in het verhaal voorkomen. Maar GroundShot beseft dat niet alle shots goed zijn om te onthouden hoe een personage eruitziet.

Het Probleem: Als de eerste keer dat een personage in het verhaal verschijnt, een klein, wazig figuurtje in de verte is (een "wide shot"), dan is dat een verschrikkelijke foto om iemand aan te leren. Als de AI die wazige foto als referentie voor de rest van de film gebruikt, zal het personage wazig of vervormd blijven.
De GroundShot-oplossing: Het systeem bekijkt eerst het hele script. Het zegt: "Wacht even, laten we het verhaal nog niet in volgorde filmen. Laten we eerst de close-up van het gezicht van het personage filmen, zelfs als die scène later in het verhaal plaatsvindt."
De Analogie: Stel je voor dat je iemand probeert te leren hoe jouw hond eruitziet. Je zou niet beginnen door een foto van de hond vanaf 100 meter afstand in de regen te laten zien. Je zou eerst een duidelijke, hoogwaardige foto van het gezicht van de hond laten zien. GroundShot genereert die "duidelijke gezichtsfoto" eerst, legt deze vast als de Master Reference (Hoofdreferentie), en gebruikt die perfecte afbeelding vervolgens om de tekening van elke andere scène te sturen, ongeacht waar deze in het verhaal voorkomt.

2. De "Gespecialiseerde Archiefkast" (Entiteitsniveau-geheugen)

Oudere systemen proberen de volledige afbeelding van een scène te onthouden. Dit is alsof je een hele kamer probeert te onthouden om één specifieke stoel te vinden. Het is rommelig en verwarrend.

De GroundShot-oplossing: GroundShot breekt de scène af in individuele onderdelen: het Personage, het Object (zoals een jas), en de Locatie (zoals een restaurant).
De Analogie: In plaats van één groot fotoalbum, heeft GroundShot drie aparte archiefkasten:
- Kast A (Personages): Bevat de beste foto van de "Roodharige Vrouw".
- Kast B (Objecten): Bevat de beste foto van de "Blauwe Jas".
- Kast C (Locaties): Bevat de beste foto van het "Restaurant".
  Wanneer het een nieuwe scène moet tekenen, haalt het de specifieke "Roodharige Vrouw"-map en de "Blauwe Jas"-map erbij. Het raakt niet in de war door de achtergrond of andere mensen in de kamer.

3. De "Kwaliteitscontroleur" (Verificatie & Grounding)

Alleen omdat de AI iets tekent, betekent het nog niet dat het goed genoeg is als referentie.

Het Proces: Nadat de AI een scène heeft getekend, treedt GroundShot op als een strikte filmeditor. Het controleert: "Is het gezicht duidelijk? Heeft de jas de juiste kleur? Is het personage verdwenen?"
Het Filter: Als de tekening wazig, afgesneden of vreemd is, gooit GroundShot het in de prullenbak. Het houdt alleen de perfecte versies over om in de archiefkasten te plaatsen. Als een personage alleen van de achterkant te zien is, weet GroundShot dat dit een slechte referentie is voor hun gezicht, dus wacht het tot het een vooraanzicht kan genereren voordat het het geheugen bijwerkt.

4. De "Dynamische Bibliotheek" (Slimme updates)

Soms moet een personage er anders uitzien (bijv. lachend versus fronsend, of gezien vanaf de zijkant).

De Oplossing: GroundShot houdt de "Master Reference" (het perfecte gezicht) veilig en ongewijzigd. Maar als een nieuwe scène een zijaanzicht vereist, voegt het een aanvullende map toe aan de kast die het zijaanzicht laat zien, zolang dit nog steeds overeenkomt met de Master Reference.
De Analogie: Denk aan een 3D-model. Je hebt het hoofdblauwdruk (de Master Reference). Als je een muur aan de zijkant moet bouwen, voeg je een zijaanzicht-blauwdruk toe, maar je verandert de hoofdblauwdruk nooit. Dit zorgt ervoor dat het personage nooit "afdwaalt" naar iemand die er anders uitziet.

Het Resultaat

Door dit alles te doen, creëert GroundShot lange video's waarbij personages, kleding en plaatsen exact hetzelfde blijven van de eerste tot de laatste seconde. Het hoeft niet opnieuw getraind te worden of nieuwe trucjes te leren; het organiseert het proces gewoon slimmer.

Kortom: GroundShot voorkomt dat de AI een spelletje "telefoontje spelen" speelt met zijn eigen herinneringen. In plaats daarvan creëert het een "Master Reference" voor elk personage en object, genereert het eerst de best mogende versie van hen, en gebruikt vervolgens die perfecte versie om consistentie door de hele film te waarborgen.

Technische Samenvatting: GroundShot

Probleemstelling

Het genereren van visueel consistente multi-shot lange video's blijft een openstaande uitdaging in text-to-video (T2V) synthese. Hoewel recente modellen coherente korte clips kunnen produceren, leidt het uitbreiden hiervan naar multi-shot narratieven tot visuele drift. Naarmate het aantal shots toeneemt, veranderen entiteiten (personages, objecten, locaties) vaak in gezichtskenmerken, kleur, vorm of ruimtelijke coherentie.

Het artikel identificeert twee primaire beperkingen in bestaande multi-shot methoden:

Whole-Frame Referenties: Bestaande benaderingen vertrouwen vaak op frame-niveau geheugens of nabijgelegen frames. Dit verstrengelt personages, objecten en achtergronden, waardoor de generator gedwongen wordt de verschijning van entiteiten af te leiden uit gemengde visuele contexten, wat onbetrouwbaar wordt naarmate scènes complexer worden.
Narratieve Volgorde Generatie: De meeste methoden genereren shots in narratieve volgorde. Dit dwingt het systeem om het geheugen te initialiseren vanuit vroege, potentieel zwakke weergaven (bijv. een verre overzichtsshot) in plaats van te wachten op een duidelijkere, meer informatieve verschijning die later in het verhaal kan voorkomen. Fouten in deze vroege, kwalitatief minderwaardige referenties propageren voorwaarts, wat zorgt voor cumulatieve identiteitsdrift.

De auteurs observeren dat menselijke kijkers consistentie beoordelen door elke daaropvolgende verschijning van een entiteit te vergelijken met de eerste duidelijke verschijning (de "canonieke referentie"). Daarom moet consistentie worden beheerd op het niveau van de entiteit, waarbij de generatievolgorde wordt ontkoppeld van de narratieve volgorde om de creatie van hoogwaardige canonieke referenties te prioriteren.

Methodologie: GroundShot

GroundShot is een training-vrije, model-agnostische agentic framework ontworpen om entiteitsniveau visueel geheugen en shot-scheduling te beheren. Het fungeert als een wrapper rond bestaande T2V of reference-conditioned video (Ref2V) backends. De pipeline bestaat uit vijf sleutelstadia:

1. Script Parsing en Entiteitsextractie

Een LLM-parser analyseert het ingevoerde tekstscript en de optionele globale beschrijving om:

Terugkerende entiteiten (personages, objecten, locaties) te identificeren.
Tekstuele vermeldingen over shots heen te koppelen om een uniek Entity ID toe te wijzen.
Prioriteitsniveaus toe te wijzen (Personages > Objecten > Locaties).
De set entiteiten te bepalen die in elk shot voorkomen.

2. Kwaliteitsbewuste Shot Scheduling

In plaats van de narratieve volgorde te volgen, bepaalt GroundShot een optimale generatievolgorde ( $\pi$ ) op basis van de verwachte bruikbaarheid van shots als referentiebronnen.

Referentiekwaliteit Schatting: Voor elke entiteit $e$ en shot $s_i$ voorspelt een referentiekwaliteit-estimator $Q_{ref}$ een score $q_{src}(s_i, e)$ op basis van hoe duidelijk de entiteit naar verwachting zal verschijnen (rekening houdend met schaal, occlusie en perspectief).
Dependency Graph Constructie: De scheduler construeert een gerichte graaf waarbij randen wijzen van een geselecteerd "bron-shot" (het shot met de hoogste voorspelde kwaliteit voor een entiteit) naar andere shots die die entiteit bevatten.
Topologische Sortering: De scheduler lost cycli op (conflicterende voorkeuren tussen entiteiten) door hogere prioriteit te geven aan entiteiten met een hogere prioriteit en grotere kwaliteitswinst, en voert vervolgens een topologische sortering uit om de generatievolgorde te produceren. Dit zorgt ervoor dat hoogwaardige referentie-shots worden gegenereerd voordat afhankelijke shots worden gemaakt.

3. Visueel Geheugen op Entiteitsniveau

GroundShot houdt een dynamisch visueel geheugen $R$ bij dat georganiseerd is per entiteit, niet per frame.

Canonieke Referentie: De eerste voldoende hoogwaardige referentie voor een entiteit wordt beschermd als de canonieke referentie ( $r^*_e$ ). Dit anker wordt nooit overschreven.
Aanvullende Referenties: Het systeem staat aanvullende referenties alleen toe als ze consistent zijn met de canonieke identiteit (identity gate) maar ook niet-redundante visuele informatie bieden, zoals verschillende expressies, perspectieven of scène-uitbreidingen (diversity gate).
Grounding & Verificatie: Na het genereren van een shot voert het systeem entiteitsniveau grounding uit (met behulp van modellen zoals ReferDINO) om kandidaat-crops te extraheren.
- Personages/Objecten: Voorgrond-crops worden geëxtraheerd.
- Locaties: De voorgrond wordt gemaskeerd en verwijderd via een beeldbewerkingsmodel om de achtergrondscène te reconstrueren.
- Kwaliteitscontroles: Kandidaten ondergaan type-specifieke kwaliteitscontroles (bijv. gezichtszichtbaarheid, scherpte, reconstructieve veiligheid). Alleen kandidaten die een drempelwaarde $\tau_{type}$ passeren, worden aan het geheugen toegevoegd.

4. Shot Generatie

Voor elk shot in de gescheduled volgorde:

Referentie Retrieval: Het systeem haalt standaard de canonieke referentie op. Als een aanvullende referentie beter aansluit bij het specifieke perspectief, de expressie of de locatiedekking van het doelshot, wordt deze geselecteerd via een VLM-scorer.
Generatiemodus:
- T2V: Als er geen bruikbare voorgrondreferentie bestaat, wordt het shot gegenereerd vanuit tekst.
- Ref2V: Als referenties beschikbaar zijn, wordt het shot gegenereerd onder conditie van deze referenties.
Verificatie & Reparatie: Een VLM-critic verifieert het gegenereerde video tegen de prompt en de referenties. Als er ernstige problemen worden gedetecteerd (identiteitsmismatch, ontbrekende entiteiten), worden gerichte reparaties geprobeerd (bijv. sterkere conditionering, prompt-aanpassingen, re-seeding).

5. Ervaringsleren

GroundShot houdt een generatie-ervaringslogboek $X$ bij waarin succesvolle reparatieacties en foutmodi worden geregistreerd. Dit stuurt toekomstige beslissingen voor soortgelijke shots aan, wat iteratieve verbetering binnen een enkele generatierun mogelijk maakt.

Belangrijkste Bijdragen

GroundShot Framework: Een nieuw, training-vrij agentic framework dat multi-shot consistentie formuleert als een entiteitsniveau referentiebeheerprobleem. Het ontkoppelt expliciet de generatievolgorde van de narratieve volgorde via kwaliteitsbewuste scheduling en houdt een gecureerd visueel geheugen van entiteitsreferenties bij.
GroundBench: Een diagnostische benchmark ontworpen om multi-shot consistentie te evalueren op het niveau van de entiteit. Het organiseert scripts in gecontroleerde uitdagingsmodules (bijv. schaalveranderingen, multi-identiteit discriminatie, scène-bezoeken) om fijnmazige foutanalyse mogelijk te maken, waarmee verder wordt gegaan dan holistische frame-niveau metrieken.
Empirische Validatie: Uitgebreide experimenten tonen aan dat GroundShot superieur is aan sterke baselines (inclusclusief HoloCine, MultiShotMaster en StoryMem) in entiteitsniveau consistentie-metrieken (ARC, WCI, XCD) zonder dat extra training of modelmodificatie vereist is.

Resultaten

Kwantitatieve Prestaties: Op GroundBench behaalt GroundShot state-of-the-art resultaten in Anchor-Relative Consistency (ARC) en Worst-Case Identity (WCI), wat wijst op een superieure preservatie van de entiteitsidentiteit over shots heen. Het verbetert ook de Cross-Character Discrimination (XCD), waardoor vergelijkbare identiteiten effectief van elkaar worden gescheiden.
Backbone Agnosticisme: Het framework verbetert de consistentie over drie verschillende video-generatie backends (Vidu, Kling, en de open-source Wan2.1+Phantom), wat bewijst dat de winst voortkomt uit het agentic framework en niet uit een specifieke backend.
Menselijke Evaluatie: In een studie met 48 deelnemers kreeg GroundShot de hoogste scores voor Identity Consistency (4.18/5), Text Alignment (4.23/5) en Overall Quality (4.21/5), waarmee het alle baselines overtrof.
Ablatie-studies:
- Entity Grounding: Het verwijderen van entiteitsniveau grounding (het gebruik van volledige frames in plaats daarvan) veroorzaakte de grootste prestatiedaling, wat de noodzaak van ontkoppelde entiteitsreferenties bevestigt.
  {% endfilter %}
- Scheduling: Het terugkeren naar generatie in narratieve volgorde degradeerde ARC en WCI aanzienlijk, wat het belang van het eerst genereren van referentie-bron shots valideert.
- Dynamisch Geheugen: Het toestaan van aanvullende referenties (voorbij de enkele canonieke anker) bleek cruciaal voor het afhandelen van perspectiefveranderingen en scène-uitbreidingen, met name voor locaties.

Betekenis en Claims

Het artikel claimt dat GroundShot een fundamentele beperking van cumulatieve drift in langdurige videogeneratie aanpakt door de paradigmaverschuiving te maken van sequentiële frame-niveau conditionering naar entiteit-gecentreerd referentiebeheer.

Prioriteit voor Canonieke Referentie: Door de generatie van shots te prioriteren die heldere, hoogwaardige verschijningen van entiteiten bieden, vestigt GroundShot een "ster-vormige" consistentiestructuur waarbij alle daaropvolgende verschijningen terugkoppelen naar één betrouwbare standaard, in plaats van te driften van een keten van potentieel zwakke tussenliggende frames.
Productie Ontkoppelen van Narratief: Het framework demonstreert dat de volgorde waarin shots worden gegenereerd, niet overeen hoeft te komen met de narratieve volgorde. Deze flexibiliteit stelt het systeem in staat om de visuele identiteit van personages en scènes te "pre-computen" voordat ze nodig zijn in het verhaal.
Praktische Toepasbaarheid: GroundShot vereist geen extra training van de onderliggende video-generatiemodellen, waardoor het direct toepasbaar is op huidige state-of-the-art T2V en Ref2V systemen.

De auteurs erkennen dat GroundShot beperkt wordt door het kwaliteitsplafond van de onderliggende video-generatie backend; als de backend in één poging geen herkenbare entiteit kan produceren, kan het framework dit probleem niet volledig oplossen. Echter, het framework verhoogt het consistentieplafond voor multi-shot generatie aanzienlijk door ervoor te zorgen dat de gebruikte referenties van de hoogst mogelijke beschikbare kwaliteit zijn.