DPC-VQA: Decoupling Quality Perception and Residual Calibration for Video Quality Assessment

Technische Samenvatting: DPC-VQA

Probleemstelling
Multimodale Large Language Models (MLLM's) hebben veelbelovende capaciteiten getoond in Video Quality Assessment (VQA), maar hun praktische implementatie staat voor aanzienlijke hindernissen. Het aanpassen van deze grootschalige modellen aan nieuwe video-domeinen of scoreprotocollen vereist doorgaans kostbare end-to-end hertraining en grootschalige Mean Opinion Score (MOS) annotaties, die duur zijn om te verzamelen vanwege de noodzaak van herhaalde menselijke subjectieve evaluatie. Bestaande MLLM-gebaseerde VQA-methoden hebben vaak moeite met cross-dataset adaptatie, omdat ze ofwel scenario-specifieke fine-tuning vereisen, ofwel er niet in slagen hun outputs af te stemmen op de specifieke MOS-schalen van doelbenchmarks. Bovewerden worstelen huidige few-shot VQA-benaderingen vaak met het verstrengelen van representatieleer en dataset-specifieke kalibratie, wat de efficiëntie van generalisatie beperkt.

Methodologie: DPC-VQA
De auteurs stellen DPC-VQA voor (Decoupling Perception and Calibration for Video Quality Assessment), een framework dat de taak van kwaliteitsperceptie scheidt van scorekalibratie. De kernhypothese is dat een vooraf getraind MLLM al een nuttige generieke perceptuele prior bevat; de uitdaging ligt niet in het opnieuw leren van kwaliteitsperceptie, maar in het efficiënt kalibreren van deze prior naar de doel-MOS-ruimte.

Het framework bestaat uit twee hoofdonderdelen:

1. Bevroren Kwaliteitsperceptie (Base Prior):

   • Een bevroren MLLM (specifiek Qwen3-VL-8B in de experimenten) verwerkt invoervideoframes samen met een vaste kwaliteitsprompt.
   • Het model genereert een basis kwaliteitsscore ($q_b$) afgeleid van een "quality verbalizer" distributie (bijv. het mappen van tokens zoals "slecht", "matig", "redelijk", "goed", "uitstekend" naar scalaire ankers).
   • Het model genereert ook een vertrouwensscore ($u_b$) gebaseerd op de entropie van de verbalizer-distributie en de visuele verborgen toestanden van de laatste laag ($H_{vis}$).
   • Cruciaal is dat de MLLM-parameters bevroren blijven tijdens de training, waardoor de vooraf getrainde perceptuele kennis behouden blijft.

2. Lichtgewicht Residuele Kalibratie:

   • Een trainbare tak voorspelt een residuele correctie ($\Delta$) om de basisscore aan te passen aan de doel-MOS-ruimte.
   • Inputkenmerken: De kalibratietak maakt gebruik van de bevroren visuele tokens ($H_{vis}$), hulpkenmerken van video ($H_{aux}$) geëxtraheerd uit een aparte vooraf getrainde encoder (SlowFast), de basis score ($q_b$), en de vertrouwensscore ($u_b$).
   • Mechanisme:
     • Kenmerken worden geprojecteerd in een gedeelde latente ruimte en geconcateneerd tot een uitgebreide tokenbank.
     • Leerbare kalibratie-queries voeren cross-attention uit op deze tokenbank om kalibratie-bewuste tokens te extraheren.
     • Deze tokens worden gemoduleerd door de basisconditie ($q_b, u_b$) via feature-wise herschaling en verschuiving.
     • Elk gemoduleerd token voorspelt een lokale residuele voorstel (grootte en richting), die vervolgens worden geaggregeerd via belangstelling-weging om de uiteindelijke residu $\Delta$ te produceren.
   • Eindvoorspelling: De voorspelde score is $\hat{y} = q_b + \Delta$.

Trainingsdoelstelling
De training is beperkt tot de lichtgewicht kalibratietak. De doelfunctie combineert:

• Smooth L1 Loss: Het superviseren van de eindvoorspelling tegen de grondwaarheid MOS.
• Residuele Regularisatie: Een term die de grootte van het residu ($\sum |\Delta|$) bestraft om ervoor te zorgen dat de correctie een begrensde aanpassing blijft in plaats van een volledige her-inschatting, wat de training stabiliseert en de prior behoudt.

Belangrijkste Bijdragen

1. Ontkoppeld Framework: Het voorstel van DPC-VQA, dat kwaliteitsperceptie (bevroren MLLM) ontkoppelt van scorekalibratie (lichtgewicht tak), waardoor kostbare end-to-end hertraining wordt vermeden.
2. Residuele Kalibratiemechanisme: Een nieuwe token-gewijze begrensde residuele schattings- en adaptieve aggregatiestrategie die correcties conditioneert op de basis score en vertrouwen, wat fijne afstemming mogelijk maakt.
3. Efficiëntie: De methode gebruikt minder dan 2% van de trainbare parameters vergeleken met full fine-tuning van MLLM-gebaseerde VQA-methoden en blijft effectief met slechts 20% van de MOS-labels.

Experimentele Resultaten
De auteurs evalueerden DPC-VQA op vijf benchmarks: drie User-Generated Content (UGC) datasets (KoNViD-1k, YouTube-UGC, LIVE-VQC) en twee AI-Generated Content (AIGC) datasets (T2VQA, Human-AGVQA).

• Few-Shot Prestaties: Onder een 5-voudige few-shot split (waarbij slechts 20% van de data wordt gebruikt voor training), behaalde DPC-VQA de beste prestaties onder alle few-shot baselines over alle vijf de datasets.
  • Op UGC-datasets presteerde het beter dan de beste few-shot baseline met SRCC-winsten van 0,032, 0,036 en 0,026.
  • Op AIGC-datasets toonde het significante verbeteringen ten opzichte van few-shot baselines (SRCC-winsten van 0,106 en 0,114), en bleef competitief met toegewijde gesuperviseerde AIGC-methoden ondanks het gebruik van minimale gelabelde data.
• Ablatie-studies:
  • Residu versus Directe Regressie: De residuele formulering presteerde beter dan directe regressie en score-geconditioneerde regressie, wat bevestigt dat het leren van een correctie effectiever is dan het opnieuw leren van de score.
  • Informatiebronnen: Het combineren van bevroren MLLM-tokens, hulpkenmerken, basis score en vertrouwen leverde de beste resultaten op, waarbij de bevroren MLLM diende als de primaire perceptuele basis.
  • Query Aggregatie: Leerbare kalibratie-queries presteerden beter dan mean pooling en self-attention aggregatie.
• Data-efficiëntie: De methode behield superieure prestaties zelfs met trainingsratio's zo laag als 10–20%, wat een sterke robuustheid in low-data regimes demonstreert.
• Parameter-efficiëntie: Het aantal trainbare parameters was ongeveer 155M (1,9% van het volledige 8,2B model), wat de optimalisatiekosten aanzienlijk vermindert.

Betekenis en Claims
Het artikel beweert dat de primaire bottleneck bij het aanpassen van MLLM's aan VQA niet het gebrek aan perceptuele capaciteit in het vooraf getrainde model is, maar de moeilijkheid om de output af te stemmen op specifieke doel-scoreprotocollen. Door de MLLM te behandelen als een vaste perceptuele prior en de adaptatie te formuleren als een lichtgewicht residuele kalibratietaak, biedt DPC-VQA een meer praktische en schaalbare weg voor VQA-implementatie. De auteurs stellen dat deze aanpak de focus verlegt van scenario-specifieke her-lering naar efficiënte kalibratie, waardoor hoogwaardige VQA haalbaar wordt in scenario's waar MOS-annotaties schaars of duur zijn. De resultaten suggereren dat toekomstige VQA-systemen kunnen profiteren van het benutten van bevroren perceptuele priors in plaats van uitsluitend te vertrouwen op end-to-end training voor elk nieuw domein.