Technische Samenvatting: Evaluatie van Video-Generatie voor Ontwerp: Metrieken voor Compositiegetrouwheid

Probleemstelling

Generatieve videomodellen worden steeds vaker toegepast op taken voor ontwerpanimatie, maar het veld mist een gestandaardiseerd evaluatiekader. In tegenstelling tot de generatie van natuurlijke video's, legt ontwerpanimatie strikte, gestructureerde beperkingen op: specifieke componenten moeten animeren met voorgeschreven bewegingstypen, richtingen, snelheden en timing, terwijl niet-geanimeerde gebieden stabiel moeten blijven en de algemene ruimtelijke lay-out behouden moet worden. Huidige evaluatiemethoden, zoals Fréchet Video Distance (FVD) of kleinschalige menselijke studies, slagen er niet in om deze compositie-eisen te vatten. Bijgevolg worstelen modellen vaak om instructies te koppelen aan de juiste visuele gebieden, toe te passen dominante bewegingen globaal, verkeerde elementen te animeren of beweging te hallucineren die niet gerelateerd is aan de prompt. Dit artikel adresseert de behoefte aan een volledig geautomatiseerd, dimensie-gedecomponeerd evaluatiekader om vooruitgang in video-generatie voor ontwerp te benchmarken zonder afhankelijk te zijn van subjectieve menselijke beoordeling.

Methodologie

Datasetconstructie

De auteurs hebben een dedicated evaluatiedataset opgezet, afgeleid van het LICA-corpus (Layered Image Composition Annotations). De dataset omvat:

• Bron: 136 bronlay-outs die 66 unieke sjablonen beslaan uit de LICA-video-subcategorie.
• Grondwaarheid: Deterministische referentierenders (MP4 en PNG van het laatste frame) gegenereerd vanuit JSON-metadata van de lay-out. Deze metadata bevat per-component bounding boxes, animatietypen (uit een taxonomie van 31 typen), richtingen, duur, trigger-tijden en zichtbare duur.
• Twee Tracks:
  1. Single-Component Track (86 samples): isoleert één geanimeerd element per lay-out op een uniforme achtergrond om een atomische bewegingsbenchmark te bieden. Beperkt tot een subset van 15 bewegingswerkwoorden.
  2. Full-Layout Track (136 samples): behoudt volledige multi-component composities (894 component-evaluaties) met tot 30 geanimeerde componenten per scène, en erft de volledige LICA-bewegingsvocabulaire.

Evaluatiekader

Het kader evalueert ontwerpvideos over vier dimensies: Lay-outgetrouwheid, Bewegingscorrectheid, Temporele Kwaliteit en Inhoudsgetrouwheid.

1. Tracking:

   • Single-Component: Gebruikt een op contouren gebaseerde Oriented Bounding Box (OBB)-tracker via temporale differentiatie tegen een uniforme achtergrond.
   • Full-Layout: Gebruikt een fijn-afgestelde YOLOv11-OBB-detector, getraind op ongeveer 500.000 LICA-layouts. In plaats van multi-object tracking, worden gedetecteerde OBB's afgestemd op grondwaarheid lay-outpolygonen met het Hongaarse algoritme op basis van Intersection over Union (IoU).

2. Bewegingscorrectheid:

   • Bewegingstype: De 31 ruwe LICA-bewegingswerkwoorden worden gegroepeerd in 10 waarneembare klassen (bijv. scrapbook, fade, pop, rotate) op basis van geometrisch trajectgedrag. Een op regels gebaseerde beslissingsboom classificeert waargenomen beweging met behulp van kenmerken zoals verplaatsing van het zwaartepunt, schaalpieken, rotatiehoeken en opaciteitsproxies. Deeltjeskrediet wordt toegekend voor semantisch gerelateerde labels (bijv. pop versus scrapbook).
   • Bewegingsrichting: Voorspeld door de verplaatsing van het component-zwaartepunt te meten en de hoek te binnen in acht kompasrichtingen of rotatietypen. Transiënte bewegingen gebruiken verplaatsing in vroege frames; aanhoudende bewegingen gebruiken netto-verplaatsing.
   • Duur:
     • Animatieduur: Geschat via een bewegings-energiesignaal dat veranderingen in zwaartepunt, schaal, rotatie en opaciteit combineert.
     • Zichtbare duur van component: Geschat als de langste aaneengesloten reeks van detector-aanwezigheid.

3. Inhoudsgetrouwheid (Tekstherstelbaarheid):

   • Evalueert of tekstreeksen die in de lay-out zijn gespecificeerd leesbaar blijven.
   • Frames worden met 2 fps bemonsterd. Herkende tekstregels worden afgestemd op grondwaarheid-strings met een bipartiete toewijzing op basis van minimale kosten, gebaseerd op Character Error Rate (CER).
   • Metrieken omvatten Best AR (gemiddelde van de beste toegewezen herkenningscore per component over de tijd) en Hard AR (fractie van componenten met ten minste één exacte match).

Belangrijkste Bijdragen

1. Eerste Dimensie-Gedecomponeerd Kader: Een volledig geautomatiseerd evaluatiesysteem voor ontwerpanimatie waarbij elke as (bewegingstype, richting, duur, tekst) onafhankelijk is verankerd in lay-outspecificaties.
2. Sub-metriekenset: Binnen bewegingscorrectheid introduceert het artikel vier sub-metrieken (type, richting, animatieduur, zichtbare duur) met grondwaarheidssignalen die automatisch uit metadata worden gehaald.
3. Twee-Track Benchmark: Een dataset van 86 single-component clips en 136 full-layout sjablonen, die 15 animatietypen beslaan over afbeeldings-, tekst- en groepscomponenten.
4. Empirische Validatie: Demonstreert dat het kader grondwaarheidsbewegingsattributen met 87,8% nauwkeurigheid herstelt op single-component renders, gebruikmakend van een transparante, op regels gebaseerde pijplijn zonder geleerde classifiers.

Experimentele Resultaten

Het kader werd toegepast op twee state-of-the-art modellen: Sora-2 en Veo-3.1.

• Bewegingstype:
  • Op de single-component track behaalde Sora-2 60,2% nauwkeurigheid en Veo-3.1 behaalde 64,9% (vergeleken met een plafond van 87,8% op grondwaarheidsrenders).
  • Op de full-layout track (betrouwbare subset van de tracker) presteerde Veo-3.1 (65,5%) iets beter dan Sora-2 (61,5%), hoewel beide achterbleven bij het grondwaarheidplafond (69,0%).
  • Foutmodi: De primaire foutbron was het instorten van fade- en pop-bewegingen in de scrapbook-klasse, grotendeels vanwege het onvermogen van de YOLO-tracker om opaciteitsveranderingen of subtiele schaalpulsen in multi-component scènes te detecteren.
• Bewegingsrichting:
  • Richtingsdetectie was robuust voor aanwezigheid (91,3% op GT full-layout) maar worstelde met exacte kompasnauwkeurigheid (14,4% op GT full-layout).
  • Rotatierichting (CW/CCW) was bijna onmogelijk te detecteren (0% nauwkeurigheid) vanwege OBB-as-oriëntatie-ambigiteiten.
• Duur:
  • Modellen vertoonden een significante bias in animatieduur. Sora-2 neigde beweging te verkorten (negatieve bias), terwijl Veo-3.1 vaak de duur overschatte of niet voldoende animeerde, waardoor signalen onder energiedrempels vielen.
• Tekstherstelbaarheid:
  • Er bestaat een duidelijk gat tussen referentierenders en gegenereerde video's. Op full-layout-scènes bereikte het beste gegenereerde resultaat (Sora-2 met LLM-evaluator) een Hard AR van 0,671, vergeleken met 0,940 voor referentierenders.
  • Sora-2 presteerde consequent beter dan Veo-3.1 in tekstbehoud op full-layouts.

Betekenis en Claims

Het artikel claimt een gemeenschappelijke, reproduceerbare benchmark te vestigen voor het veld van ontwerpanimatie, verdergaand dan geaggregeerde perceptieve scores die specifieke foutmodi verdoezelen. Door evaluatie te decomponeren in lay-out, beweging, tijd en inhoud, onthult het kader onderscheidende zwaktes in huidige modellen, zoals onder-animatie, richtingonnauwkeurigheid en tekstdegradatie in complexe composities.

De auteurs positioneren dit werk als een meetinstrument in plaats van een nieuwe generatieve capaciteit. De betekenis ligt in het bieden van een transparante, geautomatiseerde pijplijn die onderzoekers en ontwerpers in staat stelt om specifieke compositiefouten te diagnosticeren. Dit wordt gepresenteerd als een voorwaarde voor verantwoord gebruik in professionele workflows en toepassingen die gevoelig zijn voor toegankelijkheid, zodat AI-tools fungeren als hulpmiddelen voor ontwerpers in plaats van onbetrouwbare vervangingen. Het artikel concludeert dat hoewel huidige modellen veelbelovend zijn, ze scherp verschillende foutmodi vertonen die geaggregeerde metrieken niet kunnen scheiden, wat deze gestructureerde evaluatiebenadering noodzakelijk maakt.