DPC-VQA: Decoupling Quality Perception and Residual Calibration for Video Quality Assessment

Sintesi Tecnica: DPC-VQA

Definizione del Problema
I Modelli Linguistici Multimodali Grandi (MLLM) hanno dimostrato capacità promettenti nella Valutazione della Qualità Video (VQA), tuttavia il loro dispiegamento pratico affronta ostacoli significativi. Adattare questi modelli su larga scala a nuovi domini video o protocolli di punteggio richiede tipicamente un costoso riaddestramento end-to-end e annotazioni su larga scala del Mean Opinion Score (MOS), che sono costose da raccogliere a causa della necessità di ripetute valutazioni soggettive umane. Gli attuali metodi VQA basati su MLLM spesso faticano nell'adattamento cross-dataset, poiché richiedono il fine-tuning specifico per scenario o non riescono ad allineare i propri output con le scale MOS specifiche dei benchmark target. Inoltre, gli attuali approcci VQA few-shot spesso intrecciano l'apprendimento delle rappresentazioni con la calibrazione specifica del dataset, limitandone l'efficienza di generalizzazione.

Metodologia: DPC-VQA
Gli autori propongono DPC-VQA (Decoupling Perception and Calibration for Video Quality Assessment), un framework che separa il compito della percezione della qualità dalla calibrazione del punteggio. L'ipotesi centrale è che un MLLM pre-addestrato codifichi già un utile prior percettivo generico; la sfida non risiede nel riapprendere la percezione della qualità, ma nel calibrare efficientemente questo prior nello spazio MOS target.

Il framework si compone di due componenti principali:

1. Percezione della Qualità Congelata (Base Prior):

   • Un MLLM congelato (specificamente Qwen3-VL-8B negli esperimenti) elabora i frame video in input insieme a un prompt di qualità fisso.
   • Il modello genera un punteggio di qualità base ($q_b$) derivato da una distribuzione di "verbalizzatore di qualità" (ad esempio, mappando i token come "scarso", "povero", "discreto", "buono", "eccellente" in ancoraggi scalari).
   • Il modello genera anche un punteggio di confidenza ($u_b$) basato sull'entropia della distribuzione del verbalizzatore e sugli stati latenti visivi dell'ultimo livello ($H_{vis}$).
   • Fondamentalmente, i parametri dell'MLLM rimangono congelati durante l'addestramento, preservando la conoscenza percettiva pre-addestrata.

2. Calibrazione Residua Leggera:

   • Un ramo addestraabile predice una correzione residua ($\Delta$) per regolare il punteggio base nello spazio MOS target.
   • Feature di Input: Il ramo di calibrazione utilizza i token visivi congelati ($H_{vis}$), feature video ausiliarie ($H_{aux}$) estratte da un separato encoder pre-addestrato (SlowFast), il punteggio base ($q_b$) e il punteggio di confidenza ($u_b$).
   • Meccanismo:
     • Le feature vengono proiettate in uno spazio latente condiviso e concatenate in un bank di token aumentato.
     • Query di calibrazione apprendibili eseguono la cross-attention su questo bank di token per estrarre token consapevoli della calibrazione.
     • Questi token sono modulati dalla condizione base ($q_b, u_b$) tramite rescaling e shifting delle feature.
     • Ogni token modulato predice una proposta residua locale (magnitudo e direzione), che viene poi aggregata tramite pesatura dell'importanza per produrre il residuo finale $\Delta$.
   • Predizione Finale: Il punteggio predetto è $\hat{y} = q_b + \Delta$.

Obiettivo di Addestramento
L'addestramento è limitato al ramo di calibrazione leggero. La funzione obiettivo combina:

• Smooth L1 Loss: Supervisiona la predizione finale rispetto al ground-truth MOS.
• Regolarizzazione Residua: Un termine che penalizza la magnitudo del residuo ($\sum |\Delta|$) per garantire che la correzione rimanga un aggiustamento limitato piuttosto che una completa ri-stima, stabilizzando l'addestramento e preservando il prior.

Contributi Chiave

1. Framework Decoupled: La proposta di DPC-VQA, che separa la percezione della qualità (MLLM congelato) dalla calibrazione del punteggio (ramo leggero), evitando il costoso riaddestramento end-to-end.
2. Meccanismo di Calibrazione Residua: Una nuova strategia di stima del residuo per token e aggregazione adattiva che condiziona le correzioni sul punteggio base e sulla confidenza, consentendo un adattamento fine.
3. Efficienza: Il metodo utilizza meno del 2% dei parametri addestrabili rispetto ai metodi VQA basati su full fine-tuning di MLLM e rimane efficace con appena il 20% di etichette MOS.

Risultati Sperimentali
Gli autori hanno valutato DPC-VQA su cinque benchmark: tre dataset di contenuti generati dagli utenti (UGC) (KoNViD-1k, YouTube-UGC, LIVE-VQC) e due dataset di contenuti generati dall'IA (AIGC) (T2VQA, Human-AGVQA).

• Performance Few-Shot: Sotto una suddivisione few-shot a 5 parti (utilizzando solo il 20% dei dati per l'addestramento), DPC-VQA ha ottenuto le migliori prestazioni tra tutti i baseline few-shot in tutti e cinque i dataset.
  • Sui dataset UGC, ha superato il miglior baseline few-shot con guadagni di SRCC di 0.032, 0.036 e 0.026.
  • Sui dataset AIGC, ha mostrato miglioramenti significativi rispetto ai baseline few-shot (guadagni di SRCC di 0.106 e 0.114), rimanendo competitivo con i metodi dedicati supervisionati per AIGC nonostante l'uso di dati minimi.
• Studi di Ablazione:
  • Residuo vs. Regressione Diretta: La formulazione residua ha superato la regressione diretta e la regressione condizionata dal punteggio, confermando che apprendere una correzione è più efficace che ri-apprendere il punteggio.
  • Fonti di Informazione: Combinare i token dell'MLLM congelato, le feature ausiliarie, il punteggio base e la confidenza ha prodotto i risultati migliori, con l'MLLM congelato che funge da base percettiva primaria.
  • Aggregazione delle Query: Le query di calibrazione apprendibili hanno superato il mean pooling e l'aggregazione tramite self-attention.
• Efficienza dei Dati: Il metodo ha mantenuto prestazioni superiori anche con rapporti di addestramento bassi come il 10–20%, dimostrando una forte robustezza nei regimi a bassi dati.
• Efficienza dei Parametri: Il numero di parametri addestrabili era di circa 155M (l'1,9% del modello completo da 8.2B), riducendo significativamente i costi di ottimizzazione.

Significatività e Rivendicazioni
Il paper sostiene che il collo di bottiglia principale nell'adattare gli MLLM alla VQA non sia la mancanza di capacità percettiva nel modello pre-addestrato, ma la difficoltà di allineare il suo output con specifici protocolli di punteggio target. Trattando l'MLLM come un prior percettivo fisso e formulando l'adattamento come un compito di calibrazione residua leggera, DPC-VQA offre un percorso più pratico e scalabile per il dispiegamento della VQA. Gli autori sostengono che questo approccio sposti l'attenzione dal ri-apprendimento specifico per scenario alla calibrazione efficiente, rendendo la VQA di alta qualità fattibile in scenari in cui le annotazioni MOS sono scarse o costose. I risultati suggeriscono che i futuri sistemi VQA possono beneficiare dell'uso di prior percettivi congelati piuttosto che fare affidamento esclusivamente sull'addestramento end-to-end per ogni nuovo dominio.