Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition

Deze paper introduceert SSL-V3, een zelftoezichtend leermodel dat video-kwaliteitbeoordeling integreert in een Vision Transformer om de nauwkeurigheid van videoclassificatie te verbeteren, zelfs bij wazige beelden zoals in medische datasets.

De kern

Hier is een uitleg van het onderzoek in gewoon Nederlands, met behulp van alledaagse vergelijkingen om het begrijpelijk te maken.

De Kern van het Probleem: Een Slechte Camera verpest de Diagnose

Stel je voor dat je een arts bent die moet bepalen of een patiënt een lichte vorm van geheugenverlies (MCI) heeft. Je doet dit door naar video-interviews te kijken.

Het probleem is: niet alle video's zijn even goed.
Soms is de camera wazig, de belichting slecht of de beelden onstabiel. Als je een arts een wazige video laat zien, zal die arts waarschijnlijk een fout maken, zelfs als de patiënt helemaal gezond is.

In de computerwereld gebeurt hetzelfde. Moderne AI-modellen (zoals ViViT) zijn slim, maar ze worden "dom" als ze slechte video's krijgen. Ze zien de details niet en maken fouten.

De Oplossing: Een "Kwaliteitscontroleur" toevoegen

De onderzoekers (Jian Sun en Mohammad Mahoor) dachten: "Waarom laten we de computer niet eerst de kwaliteit van de video beoordelen voordat hij een diagnose stelt?"

Ze hebben een nieuw systeem bedacht, genaamd SSL-V3. Je kunt dit zien als een slimme assistent die twee dingen tegelijk doet:

1. De Kwaliteitscontroleur: Hij kijkt naar de video en zegt: "Hé, dit beeld is erg wazig, we moeten hier minder vertrouwen op." Of: "Dit beeld is kristalhelder, we kunnen hier volop op vertrouwen."
2. De Diagnose-Arbeider: Hij kijkt naar de inhoud van de video (de gezichtsuitdrukkingen) om de diagnose te stellen.

Het slimme is dat deze twee samenwerken. De Kwaliteitscontroleur geeft een "waarschuwingsteken" aan de Diagnose-Arbeider. Als de kwaliteit laag is, wordt het signaal van de diagnose iets gedempt. Als de kwaliteit hoog is, wordt het signaal versterkt.

Het Grote Moeilijkheidje: Geen Antwoordenboekje

Normaal gesproken zou je de Kwaliteitscontroleur moeten trainen met een "antwoordenboekje" (bijvoorbeeld: "Deze video is 8/10, deze is 3/10"). Maar in de echte wereld hebben we die scores niet. Niemand heeft duizenden video's handmatig beoordeeld.

Hoe train je iemand zonder antwoordenboekje?

Hier komt het genie van hun methode, Combined-SSL, om de hoek kijken. Ze gebruiken een slimme truc, vergelijkbaar met leren door te gissen en te corrigeren:

1. De Tweeling-Truc: Ze laten de computer twee keer naar dezelfde video kijken, maar dan op een iets andere manier (bijvoorbeeld met een andere kleurfilter of een andere volgorde).
2. De Logica: Als de computer zegt: "Deze video is slecht" én "Diezelfde video is ook slecht", dan klopt het waarschijnlijk wel. Als hij zegt: "Deze is goed" en "Diezelfde is slecht", dan weet hij dat hij iets verkeerd doet.
3. De Koppeling: Ze koppelen de kwaliteitsscore direct aan de diagnose. Als de diagnose goed gaat, betekent dit dat de kwaliteitsscore waarschijnlijk ook goed is berekend. De computer leert dus zichzelf de kwaliteit te beoordelen, puur omdat het helpt bij het maken van de juiste diagnose.

Het is alsof je een kind leert fietsen zonder dat je het kunt vasthouden. Het kind (de computer) leert balanceren (kwaliteit beoordelen) omdat het anders valt (een fout maakt in de diagnose).

Wat hebben ze ontdekt?

Ze hebben dit getest op twee gebieden:

1. Gezondheid: Het herkennen van geheugenproblemen bij ouderen (I-CONECT dataset).
2. Veiligheid: Het herkennen van vechtpartijen in ijshockeywedstrijden (Hockey Fight dataset).

De resultaten waren indrukwekkend:

• Zonder hun "kwaliteitscontroleur" maakte de computer veel fouten bij slechte video's.
• Met hun systeem steeg de nauwkeurigheid enorm. Op sommige tests haalden ze 94,87% correcte diagnoses, zelfs als de video's niet perfect waren.
• Zelfs bij het detecteren van vechtpartijen (waar de beelden vaak wazig zijn door snelle beweging) was het systeem extreem betrouwbaar (98,6% nauwkeurig).

Waarom is dit belangrijk?

Vroeger dachten onderzoekers: "Als we maar een heel slim model maken, lost dat alles op."
Dit onderzoek laat zien dat kwaliteit net zo belangrijk is als intelligentie.

Door de computer te leren om eerst te kijken hoe goed hij kan kijken, wordt hij veel slimmer in wat hij moet doen. Het is als het verschil tussen een detective die door een vies raam kijkt en een detective die eerst het raam schoonveegt.

Kort samengevat:
Ze hebben een slimme AI bedacht die eerst checkt of de video goed is voordat hij een oordeel velt. Omdat ze geen menselijke beoordelaars hadden om dit te leren, hebben ze de AI een slimme truc geleerd waarbij het beoordelen van de kwaliteit helpt bij het maken van de juiste diagnose. Het werkt beter, sneller en betrouwbaarder, zelfs met slechte beelden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Contrastive Learning-based Video Quality Assessment-jointed Video Vision Transformer for Video Recognition" in het Nederlands.

Probleemstelling

Video-classificatieprestaties worden aanzienlijk beïnvloed door de kwaliteit van de video. In toepassingen zoals de detectie van Mild Cognitive Impairment (MCI) via video-interviews, presteren modellen (zoals ViViT) aanzienlijk slechter op onscherpe of slecht belichte video's dan op heldere video's. Een groot obstakel bij het oplossen van dit probleem is het gebrek aan "ground truth" labels voor video-kwaliteit in bestaande datasets. Traditionele No-Reference Video Quality Assessment (NR-VQA) methoden vereisen vaak Menselijke Beoordelingsscores (MOS), wat arbeidsintensief, duur en tijdrovend is. Dit maakt het onmogelijk om nauwkeurige kwaliteitsscores te gebruiken als supervisie voor het trainen van regressiemodellen in grote datasets.

Methodologie: SSL-V3

De auteurs stellen SSL-V3 voor: een model dat Self-Supervised Learning (SSL) combineert met een ViViT (Video Vision Transformer) backbone en een NR-VQA-head. De kern van de methode is het Combined-SSL mechanisme, dat drie kritieke problemen tegelijkertijd aanpakt: het fuseren van kwaliteitsscores met classificatie, het oplossen van het gebrek aan labels, en het berekenen van nauwkeurige kwaliteitsscores.

De architectuur bestaat uit de volgende componenten:

1. ViViT Backbone (Factorised Encoder):

   • Het model gebruikt ViViT om ruimtetijds-features (Spatio-Temporal features) uit videoclips te extraheren.
   • De input wordt opgedeeld in niet-overlappende kubussen (tubelets) die als tokens worden verwerkt.

2. VQA Head (Video Quality Assessment):

   • Deze head bestaat uit twee hiërarchische modules om een objectieve Video Quality Score (VQS) te regresseren zonder ground truth labels:
     • Sequence Score Regressor (SSR): Regresseert kwaliteitsscores op sequentieniveau door learnable weights toe te passen op de ruimtetijds-features.
     • Video Score Regressor (VSR): Regresseert de uiteindelijke clipscore door rekening te houden met temporale effecten (temporal-motion en temporal-hysteresis) tussen sequenties.
   • De VQS wordt berekend via een cascaderende regressie: van kubus- naar sequentie- en vervolgens naar clipscore.

3. Tune-CLS Module:

   • Deze module gebruikt de berekende VQS als een weegfactor om de classificatie-features te kalibreren.
   • Voor video's met een hoge VQS wordt het vertrouwen in de classificatieoutput versterkt (de maximale feature-waarde wordt vermenigvuldigd met de VQS). Voor video's met een lage VQS wordt het vertrouwen onderdrukt.

4. Combined-SSL Mechanisme:

   • Koppeling van Taken: Het model gebruikt de kettingregel (chain rule) tijdens backpropagation. Omdat de VQS een parameter is die zowel de regressie (VQA) als de classificatie beïnvloedt, kunnen de parameters van de VQA-head worden geoptimaliseerd door de supervisie van de classificatietask, zelfs zonder VQA-labels.
   • Contrastive Learning: Het model heeft twee takken (boven en onder) die dezelfde gewichten delen. De onderste tak ontvangt een geschoonde of gemengde versie van de input. Door contrastive learning toe te passen, wordt de consistentie tussen de representaties van beide takken gemaximaliseerd voor positieve paren (zelfde klasse) en geminimaliseerd voor negatieve paren. Dit helpt bij het genereren van "nieuwe labels" en verbetert de feature-distinguishability.

5. CBS Loss (Combined Batch- and Subject-level Loss):

   • Een nieuwe verliesfunctie die bestaat uit:
     • Focal Loss: Om inter-klasse onbalans aan te pakken.
     • Contrastive Loss: Om intra-klasse onbalans binnen een mini-batch aan te pakken.
     • Binary Cross Entropy (BCE) op subject-niveau: Bereikt door aggregatie van voorspellingen per subject (alle clips van één persoon) in de laatste batch van een epoch.

Belangrijkste Bijdragen

• Combined-SSL Framework: Een theoretische innovatie die de wederzijdse relatie tussen VQA en Contrastive Learning benut om video's objectief te classificeren zonder VQA-labels.
• SSL-V3 Model: Een implementatie die ViViT combineert met een hiërarchische VQA-head en het Combined-SSL mechanisme.
• Hiërarchische VQA Head: Een ontwerp met SSR en VSR modules die kwaliteitsregressie uitvoeren van sequentie- naar clipscore.
• Nieuwe Loss-functie: De CBS Loss die training op zowel batch- als subject-niveau optimaliseert om class imbalance te beheersen.
• Empirische Validatie: Bewijs dat het integreren van VQA de classificatieprestaties significant verbetert in real-world scenario's.

Resultaten

Het model werd getest op twee datasets: I-CONECT (MCI detectie via video-interviews) en Hockey Fight Detection (violence detection).

• I-CONECT Dataset:

  • SSL-V3 bereikte een nauwkeurigheid van 94,87% op het thema "School Subjects" (37/39 correct), wat een verbetering is ten opzichte van modellen zonder VQA (87,80%).
  • Over alle thema's heen lagen de nauwkeurigheden boven de 88%.
  • De resultaten tonen aan dat het model robuust is tegen variaties in video-kwaliteit (belichting, resolutie).

• Hockey Fight Detection Dataset:

  • SSL-V3 behaalde een gemiddelde nauwkeurigheid van 98,6% (±0,8% STD) voor het detecteren van vechtpartijen.
  • Dit presteert vergelijkbaar met state-of-the-art modellen zoals SepConvLSTM-C (99,5%), maar met het voordeel van het gebruik van VQA voor robuustheid.

• Ablatie Studies:

  • Het verwijderen van de VQA-head resulteerde in een daling van de nauwkeurigheid met meer dan 8-12% in verschillende thema's.
  • Het verwijderen van de contrastive structuur leidde tot een daling van minimaal 12,5% in nauwkeurigheid, wat aantoont dat Contrastive Learning essentieel is voor Combined-SSL.
  • De CBS Loss bleek cruciaal; zonder de combinatie van Focal, Contrastive en Subject-level loss daalden de prestaties aanzienlijk.

Betekenis en Conclusie

De studie demonstreert dat het integreren van Video Quality Assessment in classificatiemodellen via een self-supervised mechanisme een krachtige strategie is om de prestaties van deep learning-modellen in real-world, "ruisige" omgevingen te verbeteren.

• Robuustheid: Het model is minder gevoelig voor slechte video-kwaliteit doordat het de kwaliteit expliciet meet en gebruikt om het vertrouwen in de classificatie te moduleren.
• Label-efficiëntie: De methode lost het probleem van het ontbreken van VQA-labels op door gebruik te maken van de classificatietask als supervisie voor de kwaliteitsregressie.
• Toepasbaarheid: De resultaten tonen aan dat SSL-V3 schaalbaar is en effectief werkt in diverse domeinen, van gezondheidszorg (MCI detectie) tot surveillance (geweldsdetectie).

De auteurs concluderen dat het rekening houden met video-kwaliteit een noodzakelijke stap is voor betrouwbare video-classificatie en dat Combined-SSL een nieuwe weg opent voor het oplossen van label-schaarste in multi-task learning.