Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition

Diese Arbeit stellt SSL-V3 vor, einen selbstüberwachten Video-Vision-Transformer, der durch die Integration einer No-Reference-Videoqualitätsbewertung (VQA) die Klassifizierung von Videos, insbesondere bei unscharfen Aufnahmen wie im medizinischen Bereich, erheblich verbessert.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung von Jian Sun und Mohammad H. Mahoor, die sich mit der Verbesserung von Video-Klassifizierungen beschäftigt – ganz ohne komplizierte Fachbegriffe.

Das Grundproblem: Ein verschwommener Blick auf die Welt

Stellen Sie sich vor, Sie versuchen, jemanden an einem lauten, dunklen Ort zu erkennen. Wenn das Licht gut ist und die Person klar zu sehen ist, fällt es Ihnen leicht, zu sagen: „Das ist Herr Müller!" Aber wenn die Person hinter einem dichten Nebel steht oder das Bild wackelt, sind Sie sich nicht mehr so sicher. Vielleicht verwechseln Sie ihn sogar mit jemand anderem.

Genau dieses Problem haben die Forscher bei Computern gefunden. Wenn ein Computerprogramm Videos analysiert (zum Beispiel um zu erkennen, ob eine Person gesund ist oder ob im Videospiel gekämpft wird), funktioniert es super, wenn das Video scharf und klar ist. Aber sobald das Video unscharf, verwackelt oder schlecht beleuchtet ist, macht der Computer viele Fehler.

Die Lösung: Ein neuer „Augenarzt" für den Computer

Die Forscher haben eine clevere Idee entwickelt, die sie SSL-V3 nennen. Man kann sich das wie einen Computer vorstellen, der nicht nur schaut, sondern auch bewertet, wie gut er überhaupt schauen kann.

Stellen Sie sich das System wie ein Zwei-Team-System vor:

1. Der Detektiv (Die Klassifizierung): Dieser Teil versucht, die Handlung im Video zu erkennen (z. B. „Ist das eine Schlägerei?" oder „Hat diese Person eine leichte kognitive Beeinträchtigung?").
2. Der Qualitäts-Prüfer (Die Video-Qualitäts-Bewertung): Dieser Teil schaut sich das Bild an und sagt: „Hey, das Bild ist hier sehr unscharf" oder „Das ist ein kristallklares Bild."

Der Trick: Wie sie zusammenarbeiten

Das Geniale an dieser neuen Methode ist, wie diese beiden Teams miteinander reden. Normalerweise lernt ein Computer nur aus den Antworten (z. B. „Richtig" oder „Falsch"). Aber hier passiert etwas Magisches:

• Der Qualitäts-Prüfer gibt dem Detektiv eine Warnung: Wenn der Prüfer sagt: „Das Bild ist sehr schlecht!", dann sagt das System dem Detektiv: „Okay, ich vertraue deiner Antwort gerade nicht so sehr. Sei vorsichtig!"
• Der Detektiv hilft dem Prüfer: Das ist der kreative Teil. Da es oft keine menschlichen Experten gibt, die jedem Video eine „Qualitätsnote" geben (das wäre zu teuer und zeitaufwendig), nutzen sie den Detektiv als Lehrer. Wenn der Detektiv bei einem klaren Bild eine richtige Antwort gibt, lernt der Qualitäts-Prüfer daraus: „Aha, bei diesem Bild war die Qualität also gut!"

Sie nennen das „Combined-SSL". Es ist wie ein Tanz, bei dem sich zwei Partner gegenseitig helfen, besser zu werden, ohne dass ein Dritter (ein menschlicher Lehrer) ständig eingreifen muss.

Die Analogie: Der Schiedsrichter mit dem Fernglas

Stellen Sie sich ein Fußballspiel vor, bei dem der Schiedsrichter (der Computer) entscheiden muss, ob ein Foul vorliegt.

• Ohne die neue Methode: Der Schiedsrichter schaut durch ein Fernglas, das manchmal beschlagen ist. Wenn er nicht gut sehen kann, pfeift er trotzdem los. Das führt zu Fehlentscheidungen.
• Mit der neuen Methode (SSL-V3): Der Schiedsrichter hat einen Assistenten. Der Assistent schaut auf das Fernglas und sagt: „Schiedsrichter, dein Glas ist beschlagen! Vertraue deiner Entscheidung nicht zu 100 %, sondern sei skeptisch." Gleichzeitig lernt der Schiedsrichter aus seinen früheren Entscheidungen, wann das Glas beschlagen war und wann nicht.

Was haben sie herausgefunden?

Die Forscher haben ihr System an zwei sehr unterschiedlichen Orten getestet:

1. Im Gesundheitswesen: Sie haben Videos von älteren Menschen analysiert, um zu erkennen, ob sie leichte Gedächtnisprobleme haben. Bei schlechten Videos (z. B. durch schlechte Kameras) machte das alte System viele Fehler. Das neue System (SSL-V3) hat jedoch fast immer recht behalten, weil es wusste, wann es sich auf das Bild verlassen konnte.
2. Im Eishockey: Sie haben Videos von Eishockeyspielen analysiert, um Schlägereien zu erkennen. Auch hier, bei schnellen und oft unscharfen Bewegungen, war das neue System extrem genau (über 98 % Trefferquote).

Fazit

Die Botschaft dieser Forschung ist einfach: Ein Computer wird nicht klüger, wenn er einfach nur mehr Videos sieht. Er wird klüger, wenn er lernt, seine eigenen „Augen" zu bewerten.

Indem sie dem Computer beibringen, die Qualität des Bildes zu verstehen und diese Information in seine Entscheidung einfließen zu lassen, haben sie ein System geschaffen, das auch bei schlechten, unscharfen oder verrauschten Videos zuverlässig funktioniert. Das ist ein großer Schritt für die Zukunft der Videoanalyse in Krankenhäusern, Überwachungskameras und überall dort, wo die Bildqualität nicht immer perfekt ist.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Contrastive Learning-based Video Quality Assessment-jointed Video Vision Transformer for Video Recognition" (SSL-V3) auf Deutsch:

1. Problemstellung

Die Klassifizierung von Videos ist stark von der Videoqualität abhängig. Das Papier zeigt auf, dass Modelle wie der Video Vision Transformer (ViViT) bei hochwertigen Videos exzellente Ergebnisse liefern, bei unscharfen oder verrauschten Videos jedoch signifikant an Genauigkeit verlieren. Dies ist besonders kritisch in Anwendungsbereichen wie der Gesundheitsforschung (z. B. Erkennung von leichten kognitiven Beeinträchtigungen, MCI, durch Videointerviews) oder der Überwachung (Gewalterkennung), wo die Aufnahmedaten oft variieren.

Das Hauptproblem besteht darin, dass die meisten Videodatensätze keine Ground-Truth-Labels für die Videoqualität besitzen. Herkömmliche No-Reference Video Quality Assessment (NR-VQA) Methoden sind oft auf manuell erfasste Mean Opinion Scores (MOS) angewiesen, was teuer, zeitaufwendig und für große Datensätze unpraktisch ist. Ohne diese Labels ist es schwierig, die Videoqualität als Faktor in die Klassifizierung zu integrieren, um die Robustheit des Modells zu erhöhen.

2. Methodik: SSL-V3 und Combined-SSL

Die Autoren schlagen SSL-V3 (Self-Supervised Learning-based ViViT Combined with NR-VQA) vor, ein Framework, das Videoqualitätsschätzung und Videoklassifizierung in einem einzigen, selbstüberwachten Prozess vereint.

Kernkomponenten:

• Backbone: Ein ViViT (Video Vision Transformer) mit Factorised Encoder (FE), der räumlich-zeitliche Merkmale extrahiert.
• Zweigstruktur: Das Modell besteht aus zwei parallelen Zweigen (Upper und Bottom Branch), die sich die Gewichte teilen.
  • Der obere Zweig verarbeitet den Originalclip.
  • Der untere Zweig verarbeitet einen verschobenen (shuffled) Clip aus demselben Mini-Batch.
• VQA-Head (Video Quality Assessment): Ein hierarchischer Regressor-Kopf, der ohne Ground-Truth-Labels auskommt. Er besteht aus zwei Modulen:
  1. Sequence Score Regressor (SSR): Berechnet Qualitäts-Scores für einzelne Sequenzen innerhalb des Clips, indem er räumlich-zeitliche Merkmale gewichtet.
  2. Video Score Regressor (VSR): Aggregiert die Sequenz-Scores unter Berücksichtigung von zeitlichen Effekten (Bewegungseffekt und Hysterese-Effekt), um einen finalen Video-Qualitäts-Score (VQS) zu erzeugen.
• Tune-CLS Modul: Dieser Mechanismus nutzt den berechneten VQS, um die Klassifizierungsergebnisse anzupassen. Bei hochwertigen Clips (hoher VQS) wird das maximale Merkmalsgewicht der Klassifizierung verstärkt; bei schlechten Clips (niedriger VQS) wird es unterdrückt.
• Combined-SSL Mechanismus: Dies ist der innovative Kern der Arbeit. Er verbindet drei Elemente:
  1. Pretext Task (VQA): Die Schätzung der Qualität dient als selbstüberwachte Aufgabe.
  2. Downstream Task (Klassifizierung): Die eigentliche Klassifizierungsaufgabe.
  3. Contrastive Learning: Durch den Vergleich der beiden Zweige (gleiche Klasse = positives Paar, unterschiedliche Klasse = negatives Paar) wird ein Kontrastverlust berechnet.

Das „Chain Rule"-Prinzip:

Da keine Labels für die Videoqualität existieren, wird die Kettenregel der Backpropagation genutzt. Der VQS fungiert als Schnittstelle zwischen VQA und Klassifizierung. Der Gradient der Klassifizierungsaufgabe fließt zurück durch den VQS und optimiert so die Parameter des VQA-Moduls. Somit lernt das Modell die Videoqualität indirekt durch den Erfolg der Klassifizierungsaufgabe zu schätzen.

Verlustfunktion (CBS Loss):

Ein neuer Verlustfunktionstyp, Combined Batch- and Subject-level Loss (CBS Loss), wird eingeführt. Er kombiniert:

• Focal Loss: Adressiert Klassenungleichgewicht (Inter-Class Imbalance).
• Contrastive Loss: Adressiert Ungleichgewicht innerhalb einer Klasse (Intra-Class Imbalance) und verbessert die Merkmalsdiskriminierung.
• Binary Cross Entropy (BCE) auf Subjektebene: Wird nur am Ende eines Epochen-Batches berechnet, um die Vorhersagegenauigkeit pro Proband (Subjekt) zu aggregieren.

3. Wichtige Beiträge

1. Combined-SSL Framework: Ein theoretisches Konzept, das die reziproke Beziehung zwischen VQA und Contrastive Learning nutzt, um Videos objektiv zu klassifizieren, ohne dass VQA-Labels vorhanden sind.
2. SSL-V3 Modell: Eine Implementierung, die ViViT mit einem NR-VQA-Head und dem Combined-SSL-Mechanismus verbindet.
3. Hierarchischer VQA-Head: Ein neuartiger Regressor mit SSR und VSR, der Qualitäts-Scores von Sequenz- auf Clip-Ebene regressiert und zeitliche Dynamiken berücksichtigt.
4. Neue Verlustfunktion (CBS Loss): Ein Ansatz, der Training auf Batch- und Subjektebene gleichzeitig optimiert und Klassenungleichgewichte effektiv behandelt.
5. Validierung: Nachweis, dass die Integration von VQA die Klassifizierungsleistung in realen, verrauschten Szenarien signifikant steigert.

4. Ergebnisse

Das Modell wurde auf zwei Datensätzen getestet:

• I-CONECT (Gesundheitswesen): Erkennung von MCI vs. Normal Cognition (NC) in Interviewvideos.
  • SSL-V3 erreichte eine Genauigkeit von 94,87% im Thema „School Subjects" (37/39 korrekt).
  • Im Vergleich zu Modellen ohne VQA-Integration (z. B. reines ViViT oder SSL-V3 ohne VQA) zeigte sich eine deutliche Leistungssteigerung (bis zu +12% in einigen Szenarien).
  • SSL-V3 übertraf bestehende State-of-the-Art-Modelle (wie MC-ViViT oder textbasierte Ansätze) signifikant.
• Hockey Fight Detection (Überwachung): Erkennung von Gewalt in Eishockeyspielen.
  • Das Modell erreichte eine mittlere Genauigkeit von 98,6% mit einer sehr geringen Standardabweichung (0,8%), was die Robustheit gegenüber Bewegungsunschärfe und schlechter Bildqualität unterstreicht.

Ablationsstudien bestätigten, dass sowohl der VQA-Head als auch die kontrastive Lernstruktur sowie die CBS-Loss-Funktion essenziell für den Erfolg sind. Insbesondere zeigte sich, dass die Kombination aus VQA und Contrastive Learning notwendig ist, um die besten Ergebnisse zu erzielen.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass die Berücksichtigung der Videoqualität kein nachgelagerter Schritt, sondern ein integraler Bestandteil des Trainingsprozesses sein sollte.

• Lösung des Label-Mangels: Der vorgeschlagene Ansatz umgeht das Problem fehlender Qualitäts-Labels durch die Nutzung der Klassifizierungsaufgabe als Supervision für die Qualitätsbewertung.
• Robustheit: Das Modell ist besonders effektiv in „Wild"-Szenarien (unregelmäßige Beleuchtung, verschiedene Kameras, Bewegungsunschärfe), was es für medizinische Anwendungen und Überwachungssysteme hochrelevant macht.
• Skalierbarkeit: Da ViViT sequenzielle Daten effizient verarbeitet, ist das Modell skalierbar für längere Videos und Echtzeitanwendungen.

Zusammenfassend bietet SSL-V3 einen robusten, selbstüberwachten Weg, um die Leistung von Video-Klassifizierungsmodellen zu steigern, indem es Videoqualitätsschätzung und Klassifizierung in einem synergistischen Kreislauf verbindet.