Seeing Beyond 8bits: Subjective and Objective Quality Assessment of HDR-UGC Videos

Deze paper introduceert 'Beyond8Bits', een groot subjectief dataset met 44.000 HDR-UGC-video's, en 'HDR-Q', het eerste multimodale taalmodel dat met behulp van een nieuwe visuele encoder en HAPO-training de kwaliteit van HDR-video's nauwkeuriger beoordeelt dan bestaande SDR-modellen.

De kern

Stel je voor dat je net een prachtige, nieuwe 8K HDR-televisie hebt gekocht. Je ziet de diepste zwarten, de felste zonsondergangen en de rijkste kleuren die je ooit hebt gezien. Het is als het verschil tussen een zwart-witfoto en een levend schilderij. Maar hier zit een probleem: de meeste "kwaliteitscontroleurs" voor video's op internet zijn getraind op de oude, saaie standaard (SDR). Ze zijn als een chef-kok die alleen maar weet hoe je een boterham met kaas maakt, maar nu ineens moet oordelen over een Michelin-sterren gerecht. Ze snappen de subtiele nuances niet en vinden de nieuwe video's vaak slecht, terwijl ze eigenlijk prachtig zijn.

De auteurs van dit paper, Shreshth Saini en zijn team, hebben een oplossing bedacht die we Beyond8Bits noemen. Laten we hun werk uitleggen met een paar simpele vergelijkingen.

1. Het Grote Verzamelpunt: Beyond8Bits

Stel je voor dat je een enorme bibliotheek bouwt, maar dan niet met boeken, maar met video's.

• Het probleem: Tot nu toe hadden we maar een paar duizend HDR-video's om te testen, en die waren vaak te "perfect" (gemaakt door professionals). De echte wereld is chaotisch: mensen filmen met hun telefoon, in de regen, in het donker, en uploaden het naar YouTube.
• De oplossing: Het team heeft Beyond8Bits gemaakt. Dit is een gigantische verzameling van 44.000 video's van 6.500 verschillende bronnen. Ze hebben 1,5 miljoen mensen gevraagd om deze video's te beoordelen.
• De analogie: Het is alsof ze een wereldreis hebben georganiseerd waarbij duizenden mensen naar elke hoek van de wereld gaan om te kijken hoe de zonsondergang eruitziet op een smartphone, een tablet en een dure TV. Ze hebben zo een "waarheidsmap" gemaakt van hoe mensen echt kijken naar HDR-video's, inclusief de rare artefacten (zoals vlekken of gebroken kleuren) die ontstaan bij het comprimeren.

2. De Nieuwe Expert: HDR-Q

Nu ze die enorme verzameling data hebben, wilden ze een slimme computer bouwen die net zo goed kan oordelen als een mens.

• Het oude probleem: Bestaande AI-modellen (zoals grote taalmodellen) kijken vaak alleen naar de tekst of de basisafbeelding. Ze zien de "diepte" van het licht niet. Ze zijn als een kunstcriticus die blind is voor kleur.
• De oplossing: Ze hebben HDR-Q gebouwd. Dit is een super-slimme AI die speciaal is getraind om naar HDR te kijken.
• De analogie: HDR-Q is als een kunstcriticus die een bril opzet die alleen voor HDR is gemaakt. Hij ziet niet alleen dat er een boom staat, maar hij ziet ook hoe het licht door de bladeren breekt, hoe de schaduwen in de hoek niet "zwart" zijn maar een diep, rijk donkerblauw, en of de kleuren niet "uitgebleekt" zijn.

3. De Slimme Training: HAPO (De "Spiegel-Techniek")

Hoe train je zo'n AI om echt naar het licht te kijken en niet alleen te gissen? Ze gebruikten een slimme methode genaamd HAPO.

• Het idee: Stel je voor dat je een student leert om een schilderij te beoordelen. Je geeft hem het schilderij (HDR) en vraagt wat hij ziet. Dan geef je hem een zwart-wit kopie van hetzelfde schilderij (SDR) en vraagt weer wat hij ziet.
• De truc: Als de student op beide vragen exact hetzelfde antwoord geeft, dan heeft hij het schilderij niet goed bekeken; hij giste alleen. Hij moet een anders antwoord geven voor het kleurrijke schilderij dan voor het zwart-wit exemplaar.
• In de praktijk: De AI wordt gestraft als ze de HDR-informatie negeert. Ze moet leren: "Oh, deze heldere plek is niet overbelicht, het is een echte zonnestraal!" of "Die strepen in de lucht zijn geen fout, maar banding door slechte compressie."
• De "Gouden Regel": Ze gebruiken ook een methode om de AI te dwingen om niet te twijfelen over dingen die ze al weten, maar om zich te focussen op de moeilijke, belangrijke details. Het is alsof je een student vertelt: "Schrijf niet 10 pagina's over de lucht, maar focus op die ene vreemde vlek in de hoek."

4. Waarom is dit belangrijk?

Vroeger keek een computer naar een HDR-video en zei: "Dit is slecht, de kleuren zijn vreemd." Maar voor een mens op een moderne TV was het misschien prachtig.
Met HDR-Q en de Beyond8Bits-dataset kunnen platforms zoals YouTube en TikTok nu:

1. Beter begrijpen waarom een video er goed uitziet.
2. De kwaliteit automatisch verbeteren zonder dat de maker er iets aan hoeft te doen.
3. Video's die echt goed zijn, beter laten zien aan de kijker.

Kort samengevat:
De auteurs hebben een enorme verzameling echte HDR-video's gemaakt (Beyond8Bits) en een slimme AI (HDR-Q) getraind met een speciale "spiegel-techniek" (HAPO). Hierdoor kan de AI nu zien wat wij zien: de magie van het licht, de diepte van de kleuren en de echte kwaliteit van video's die we elke dag maken en bekijken. Ze hebben de brug gebouwd tussen de oude wereld van 8-bit video en de nieuwe, heldere wereld van HDR.

Technische samenvatting

Probleemstelling

Hoogdynamisch bereik (HDR) video's van door gebruikers gegenereerde content (UGC) nemen snel toe op sociale platforms zoals YouTube en TikTok. Echter, de meeste bestaande systemen voor Video Quality Assessment (VQA) zijn ontworpen voor Standaard Dynamisch Bereik (SDR).

• Tekortkomingen van SDR-modellen: HDR heeft een hogere bitdiepte, een breder kleurengamma en een groter helderheidsbereik. Dit blootlegt vervormingen die in SDR minder zichtbaar zijn, zoals "near-black crushing" (verlies van detail in donkere gebieden), highlight clipping (uitgebrande lichten), banding en blootstelling-flicker.
• Data-tekort: Bestaande HDR-datasets zijn klein, vaak beperkt tot synthetische vervormingen of professioneel gegenereerde content (PGC), en missen de heterogene opnamecondities en compressie-artefacten van echte UGC.
• MLLM-uitdagingen: Multimodale Large Language Models (MLLMs) hebben potentie, maar lijden onder "modality neglect": ze negeren vaak de HDR-visuele input en vertrouwen te veel op tekstuele priors, omdat hun visuele encoders zijn getraind op SDR-data.

Methodologie

De auteurs introduceren twee hoofdbijdragen om deze kloof te overbruggen: een nieuw dataset en een nieuw model.

1. Dataset: Beyond8Bits

Dit is het tot nu toe grootste crowdsourced subjectieve HDR-UGC dataset.

• Omvang: Bevat ongeveer 44.000 video's van 6.861 verschillende bronnen met meer dan 1,5 miljoen menselijke beoordelingen.
• Bronnen: Een combinatie van crowdsourced content (opgenomen met consumententoestellen zoals iPhone en Pixel) en publieke Creative Commons video's van Vimeo.
• Verwerking: Video's zijn verwerkt in een bitrate-ladder om realistische streamingcondities te simuleren, terwijl de volledige HDR-signalering (10-bit HEVC, BT.2020, PQ-transferfunctie) behouden blijft.
• Validatie: De Mean Opinion Scores (MOS) zijn berekend met de SUREAL-methode, waarbij rekening wordt gehouden met subjectbias en inconsistentie, wat resulteert in een hoge betrouwbaarheid (median SRCC 0,90).

2. Model: HDR-Q

HDR-Q is het eerste MLLM dat specifiek is ontworpen voor HDR-UGC kwaliteitsbeoordeling. Het combineert een HDR-bewuste visuele encoder met een versterkingsleer (RL) framework genaamd HAPO (HDR-Aware Policy Optimization).

• HDR-Aware Vision Encoder:

  • Gebaseerd op SigLIP-2, maar aangepast met een "dual-domain supervision" strategie.
  • Het model leert HDR-embeddings die semantisch aligned zijn met captions, maar tegelijkertijd contrastief gescheiden zijn van de SDR-versie van dezelfde frame (via tone-mapping). Dit zorgt ervoor dat het model specifiek gevoelig is voor HDR-cues zoals luminantie-extremen en kleurvolumes.

• HAPO (HDR-Aware Policy Optimization):
  Dit is een RL-finetuning framework dat de GRPO (Group Relative Policy Optimization) methode uitbreidt met drie specifieke componenten om modality neglect te voorkomen:

  1. HDR–SDR Contrastive KL: Maximaliseert de Kullback-Leibler-divergentie tussen de output van het model met HDR-input en zonder HDR-input. Dit dwingt het model om HDR-informatie te gebruiken in plaats van alleen op tekst te vertrouwen.
  2. Dual-Entropy Regularization: Voorkomt dat het model de KL-straft "hackt" door onzekerheid te verhogen. Het reguleert de entropie van zowel de HDR- als SDR-paden om scherpe, betrouwbare distributies te behouden.
  3. High-Entropy Weighting (HEW): Schaal de voordelen (advantages) per token. Tokens met hoge entropie (vaak waar het model HDR-specifieke vervormingen analyseert) krijgen meer gewicht, waardoor het leerproces zich richt op de meest informatieve redeneerstappen.
  4. Beloningssysteem: Combineert formaat, regressie-accuratesse (Gaussian-weighted voor MOS-calibratie) en zelf-consistentie (self-rewarding).

Belangrijkste Resultaten

De prestaties van HDR-Q zijn getest op Beyond8Bits en twee publieke benchmarks (LIVE-HDR en SFV+HDR).

• State-of-the-Art (SOTA): HDR-Q presteert significant beter dan bestaande DL-modellen, HDR-specifieke modellen (zoals HIDRO-VQA) en andere MLLM-baselines.
  • Op Beyond8Bits bereikt HDR-Q een PLCC van 0,9118 en een SRCC van 0,9206, met een RMSE van slechts 5,1594.
  • Dit is een aanzienlijke verbetering ten opzichte van de tweede beste methoden (bijv. HIDRO-VQA met PLCC 0,8784).
• Generalisatie: Het model toont sterke zero-shot transfer naar andere HDR-datasets zonder extra training, wat aantoont dat de HDR-bewuste representaties robuust zijn.
• Interpreteerbaarheid: In tegenstelling tot baselines die vaak incorrecte oordelen vellen (zoals het negeren van overbelichting), genereert HDR-Q beknopte, HDR-gegronde redeneringen (Chain-of-Thought) die specifieke artefacten zoals "color blooming" of "highlight clipping" correct identificeren.
• Ablatiestudies: Experimenten tonen aan dat elk component van HAPO (vooral de HDR-SDR KL en HEW) essentieel is voor de prestaties. Het verwijderen van de HDR-encoder of de contrastieve KL leidt tot een sterke daling in correlatie.

Betekenis en Impact

Dit paper is een mijlpaal in het veld van videokwaliteitsbeoordeling:

1. Dataset: Het biedt de gemeenschap met Beyond8Bits een cruciale, schaalbare bron van real-world HDR-UGC data, wat nodig is om modellen te trainen die overeenkomen met menselijke perceptie.
2. Modelarchitectuur: Het introduceert een nieuwe paradigma voor het gebruik van MLLMs in perceptuele taken, waarbij expliciete mechanismen (HAPO) worden ingebouwd om ervoor te zorgen dat het model daadwerkelijk kijkt naar de visuele input en niet alleen tekstuele patronen volgt.
3. Toekomst: De vrijgave van de dataset en het model kan verdere research stimuleren in HDR-aware perceptie, evaluatie en de uitlijning van generatieve modellen met menselijke waarneming in een HDR-wereld.

Kortom, "Seeing Beyond 8bits" lost het probleem op dat bestaande VQA-systemen "blind" zijn voor de unieke kwaliteitsproblemen van HDR-UGC, en biedt een robuuste, interpreteerbare oplossing die de menselijke beoordeling nauwkeurig nabootst.