Identity-Preserving Text-to-Video Generation via Agentic Enhancement and Semantic Repair
Het artikel stelt Agentic Enhancement and Semantic Repair (AESR) voor, een lichtgewicht framework dat een agentic prompt enhancement-module en een door VLM gedreven visuele semantische reparatiemodule combineert om identiteitsdrift en fouten in het opvolgen van instructies in closed-source tekst-naar-video modellen te overwinnen, waarmee de eerste plaats wordt behaald in de ACM MM 2026 Identity-Preserving Video Generation Challenge.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is een specifieke uitdaging ontstaan: machines leren om bewegende beelden te maken die niet alleen een geschreven verhaal volgen, maar ook een specifiek persoon er gedurende de hele clip exact hetzelfde uit laten zien. Stel je voor dat je een computer vraagt een video te genereren van een vriend die door een drukke markt loopt, dan stopt om een bloem te kopen, terwijl je ervoor zorgt dat het gezicht in de video onmiskenbaar dat van je vriend blijft. Hoewel moderne tools al in staat zijn tot verbluffend realistische beweging en belichting, worstelen ze vaak met deze consistentie. Het personage kan beginnen als jouw vriend, maar langzaam transformeren in iemand anders, of de computer kan simpelweg vergeten de bloem toe te voegen die je vroeg, vooral wanneer de instructies complex worden. Dit is een aanzienlijke hindernis omdat de krachtigste beschikbare videogeneratoren "black boxes" zijn—gesloten systemen waarbij de interne werking verborgen blijft, wat het voor onderzoekers onmogelijk maakt om simpelweg de code aan te passen om deze fouten te herstellen.
Een team van onderzoekers aan de Peking Universiteit heeft een nieuwe aanpak ontwikkeld om dit probleem op te lossen zonder de black box te hoeven openen. In plaats van te proberen de videogenerator zelf te veranderen, hebben zij een slimme assistent gebouwd die eromheen werkt. Dit systeem, dat zij AESR noemen, werkt als een zeer bekwame regisseur en editor die de instructies voorbereidt voordat er gefilmd wordt en fouten corrigeert na de eerste opname. De onderzoekers ontdekten dat door de tekstuele prompts die aan de computer worden gegeven zorgvuldig te verfijnen en vervolgens visuele referenties te gebruiken om specifieke fouten in de gegenereerde video te corrigeren, zij de resultaten aanzienlijk konden verbeteren. In een grote internationale wedstrijd voor deze technologie behaalde hun systeem de eerste plaats, wat bewees dat deze methode van het sturen en repareren van de output een praktische en krachtige manier is om video's te creëren waarin de identiteit van het onderwerp getrouw blijft aan het leven.
De kern van hun oplossing ligt in twee afzonderlijke fasen die plaatsvinden vóór en na de creatie van de video. Ten eerste realiseerde het team zich dat de manier waarop een mens een prompt schrijft enorm veel uitmaakt, maar dat verschillende videogeneratoren verschillende schrijfstijlen verkiezen. Om dit te behandelen, creëerden zij een digitale "playbook" die leert van ervaring. Deze playbook begint met de officiële instructies van de makers van de videogenerator, die het systeem vertellen hoe het graag commando's ontvangt. De onderzoekers gingen echter verder door een laag van leren van echte voorbeelden toe te voegen. Zij richtten een geautomatiseerde lus in waarbij het systeem een video genereert, controleert op fouten, en vervolgens zijn playbook bijwerkt met wat het heeft geleerd. Als het systeem merkt dat de videogenerator vaak een specif kind type beweging vergeet of een object niet duidelijk beschrijft, legt de playbook deze fout en de correctie vast voor de volgende keer. Na verloop van tijd groeit deze verzameling kennis, waardoor het systeem beter instructies kan formuleren voor complexe scènes, zoals een persoon die met meerdere objecten interacteert of een reeks handelingen uitvoert.
Zelfs met betere instructies bevat de eerste versie van een video vaak nog kleine fouten die tekst alleen niet kan oplossen. Een computer kan de woorden "een vrouw die in de camera kijkt" begrijpen, maar de resulterende video kan laten zien dat ze wegkijkt, of het kan een cruciaal detail missen, zoals een specifieke hoed die ze zou moeten dragen. Om dit aan te pakken, introduceerden de onderzoekers een tweede fase genaamd visuele semantische reparatie. In deze fase fungeert een apart kunstmatig intelligentiesysteem als een criticus, die de conceptvideo bekijkt en deze vergelijkt met de oorspronkelijke aanvraag. Wanneer het een probleem signaleert, zoals een ontbrekend object of een gezicht dat lichtelijk is afgedwaald, schrijft het niet alleen een nieuwe beschrijving. In plaats daarvan selecteert het een specifiek frame uit de video en bewerkt dit om precies te tonen wat er zou moeten zijn. Dit bewerkte beeld dient als een concreet visueel doel. Het systeem voert dit gecorrigeerde beeld, samen met de originele video en een nieuwe set instructies, in bij een video-bewerkingsprogramma. Dit hulpmiddel gebruikt het bewerkte beeld als gids om het specifieke segment van de video te herstellen, zodat het eindresultaat overeenkomt met de visuele intentie van de prompt.
Om het best mogelijke resultaat te garanderen, vertrouwden de onderzoekers niet op een enkele poging. Zij genereerden meerdere versies van elke video met verschillende combinaties van hun verbeterde instructies en reparatietechnieken. Vervolgens gebruikten zij een selectiestrategie om deze kandidaten te vergelijken, waarbij zij factoren meenamen zoals hoe goed de video overeenkwam met de tekst, hoe consistent het gezicht bleef en de algehele vloeiendheid van de beweging. Door de enkelvoudig beste versie uit deze groep te kiezen, maximaliseerden zij de kwaliteit van het eindproduct. Bij tests tegen een set van 200 uitdagende voorbeelden waarbij de behoud van gezichtsidentiteit centraal stond, presteerde hun systeem beter dan bestaande methoden. De resultaten toonden aan dat hun aanpak erin slaagde fouten te verminderen waarbij het gezicht van het onderwerp zou veranderen of waar belangrijke visuele elementen zouden verdwijnen. Het succes van het team werd bevestigd in de ACM MM 2026 Identity-Preserving Video Generation Challenge, waar hun systeem, genaamd MIPL_Video, de eerste plaats won in de facial identity track.
Dit werk demonstreert dat zelfs wanneer de krachtigste tools gesloten zijn voor directe modificatie, er nog steeds effectieve manieren zijn om ze naar betere resultaten te leiden. Door een leersysteem te combineren dat de instructies verbetert met een visuele editor die specifieke fouten herstelt, creëerden de onderzoekers een workflow die zowel lichtgewicht als zeer effectief is. Hun bevindingen suggereren dat de toekomst van hoogwaardige, identiteitsbehoudende videogeneratie misschien niet afhangt van het bouwen van grotere, complexere modellen, maar eerder van het ontwikkelen van slimmere manieren om te interageren met de modellen die we al hebben. Het vermogen om de gelijkenis van een persoon te behouden terwijl complexe, dynamische verhalen worden gevolgd, opent nieuwe mogelijkheden voor storytelling en contentcreatie, en bewijst dat zorgvuldige voorbereiding en gerichte correctie resultaten kunnen bereiken die pure generatie alleen niet kan evenaren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.