Comparison Drives Preference: Reference-Aware Modeling for AI-Generated Video Quality Assessment

Probleemstelling

De snelle opkomst van generatieve modellen heeft geleid tot een enorme toename van AI-genereren video's (AIGVs). Het automatisch beoordelen van de kwaliteit van deze video's (AIGC-VQA) is cruciaal voor betrouwbaarheid en gebruikerservaring. Bestaande methoden analyseren video's echter meestal onafhankelijk van elkaar, waarbij ze de video's isoleren van hun context.

Dit benadertingsprobleem negeert een fundamenteel aspect van menselijke waarneming: kwaliteit wordt door mensen vaak comparatief beoordeeld in plaats van absoluut. Wanneer mensen een video beoordelen, vergelijken ze deze onbewust met andere video's die vergelijkbare objecten, acties of stijlen hebben. Bestaande modellen missen deze relatieve context, wat leidt tot minder accurate voorspellingen van subjectieve kwaliteit, vooral bij complexe artefacten zoals structurele inconsistenties, bewegingsinstabiliteit en semantische misalignement met de prompt.

Methodologie: RefVQA

De auteurs stellen een nieuwe aanpak voor, RefVQA (Reference-aware Video Quality Assessment), die het probleem herschrijft als een "referentiebewuste" evaluatie. In plaats van een video in isolatie te beoordelen, wordt de kwaliteit bepaald door de video te vergelijken met semantisch gerelateerde referentievideo's.

De architectuur van RefVQA bestaat uit vier hoofdmodules:

1. Constructie van een Referentiegrootte (Reference Graph Construction):

   • Gegeven een query-video en de bijbehorende tekst-prompt, worden semantisch gerelateerde video's opgehaald uit de trainingsset.
   • De zoekopdracht is gebaseerd op prompt-similariteit (gebruikmakend van Sentence-BERT), omdat prompts een stabiel semantisch anker vormen dat minder gevoelig is voor generatiekwaliteit dan visuele features.
   • Een "query-centered" graaf wordt opgebouwd waarbij de query-video de centrale knoop is en de opgehaalde video's als referentieknooppunten dienen. De randen tussen de knopen worden gewogen op basis van de prompt-similariteit.

2. Visuele Tak (Visual Branch):

   • Deze tak extrahert ruimtetijdselijke features (uiterlijk en beweging) met behulp van een Swin Transformer.
   • In plaats van alleen de features van de query-video te gebruiken, worden referentiebewuste verschilfeatures ($\Delta v$) berekend door het verschil te nemen tussen de query en de referentievideo's.
   • Een graf-geleide aggregatiemechanisme verzamelt deze verschillen van de referentieknooppunten naar de queryknoop, waardoor het model zich richt op de perceptuele verschillen in plaats van gedeelde inhoud.

3. Alignement-tak (Alignment Branch):

   • Deze tak beoordeelt de semantische consistentie tussen de gegenereerde video en de tekst-prompt, gebruikmakend van het BLIP-model.
   • Net als in de visuele tak worden hier verschilfeatures ($\Delta s$) berekend tussen de query en de referenties, en worden deze geaggregeerd via de graafstructuur om een verrijkte alignement-representatie te vormen.

4. Kwaliteitsvoorspelling (Quality Prediction):

   • De verrijkte visuele en alignement-features worden samengevoegd (fused) en via een regressiehoofd omgezet in een eindkwaliteitsscore (MOS - Mean Opinion Score).
   • Het model wordt getraind met een hybride verliesfunctie die zowel lineaire consistentie (PLCC loss) als rangorde-consistentie (rank loss) optimaliseert.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: De auteurs herformuleren AIGC-VQA van een geïsoleerde regressie-taak naar een referentiebewuste vergelijkende redenering. Dit sluit beter aan bij hoe mensen kwaliteit waarnemen.
2. RefVQA Framework: Een nieuw framework dat expliciet relaties tussen gegenereerde video's modelleert via een query-centered graaf. Het leert "discrepantie-representaties" (verschillen) in zowel visuele als semantische ruimtes.
3. Graf-geleide Aggregatie: Introductie van een lichtgewicht mechanisme dat opgehaalde referenties organiseert en de verschillen tussen query en referenties structureel aggregeert, in plaats van alleen features te combineren.
4. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat de methode superieur is aan bestaande methoden op meerdere datasets en kwaliteitsdimensies.

Resultaten

De auteurs hebben RefVQA getest op drie benchmarks: T2VQA-DB, LGVQ en FETV.

• In-dataset Evaluatie: Op T2VQA-DB behaalde RefVQA de beste resultaten in alle metrics (SRCC: 0.826, PLCC: 0.835, KRCC: 0.642, RMSE: 8.429), verslaand voorgangers zoals T2VQA, DOVER en FAST-VQA.
• Cross-dataset Generalisatie: Bij training op LGVQ en testen op FETV presteerde RefVQA consistent beter dan concurrenten, vooral op de dimensies van tijdelijke kwaliteit en alignement. Dit bewijst dat de methode minder afhankelijk is van dataset-specifieke verdelingen dankzij de semantische referentie-mechanisme.
• Ablatie Studies:
  • Het gebruik van prompt-based retrieval bleek effectiever dan feature-based retrieval of willekeurige selectie.
  • Het modelleren van verschilfeatures (Diff) in plaats van ruwe referentie-features leverde significante verbeteringen op.
  • De combinatie van zowel visuele als alignement-takken gaf de beste resultaten, wat de complementariteit van beide benaderingen bevestigt.
• Efficiëntie: Ondanks de toevoeging van referentie-informatie, behoudt RefVQA een lage inferentiële tijd (99.265 ms per sample), wat beter is dan of vergelijkbaar is met state-of-the-art baselines.

Significantie

Dit werk is significant omdat het een fundamentele beperking van bestaande AIGC-VQA-methoden adresseert: de isolatie van samples. Door te erkennen dat kwaliteit relatief is, introduceert RefVQA een nieuwe richting in het veld.

• Menselijke Waarneming: De methode sluit beter aan bij de psychologische realiteit van kwaliteitsbeoordeling, waarbij context en vergelijkingen essentieel zijn.
• Robuustheid: Het gebruik van prompts voor referentie-selectie maakt het systeem robuust tegen variaties in generatiekwaliteit en verbetert de generalisatie naar onbekende data.
• Toekomstige Richting: Het artikel legt de basis voor verdere onderzoeken naar referentiebewuste evaluatie, inclusief verbeterde selectie van referenties en expressievere relationele modellering (bijv. volledige graafpropagatie).

Kortom, RefVQA bewijst dat het integreren van inter-video relaties in de representatielering een krachtige strategie is om de nauwkeurigheid en betrouwbaarheid van AI-genereren video-kwaliteitsbeoordeling te verhogen.