Scaling Audio-Visual Quality Assessment Dataset via Crowdsourcing

Die Autoren schlagen einen praktischen Ansatz zur Erstellung eines groß angelegten Audio-Visuellen Qualitätsbewertungsdatensatzes (YT-NTU-AVQ) durch Crowdsourcing vor, der durch eine robuste Experimentierumgebung, eine systematische Datenvorbereitung und erweiterte Annotationen die bisherigen Einschränkungen bestehender Datensätze überwindet.

Das Wesentliche

Stell dir vor, du möchtest einen neuen, superschnellen Sportwagen bauen. Aber bevor du den Motor startest, brauchst du einen riesigen Parcours mit verschiedenen Straßen, Wetterbedingungen und Hindernissen, um zu testen, ob er wirklich gut fährt.

Genau das ist das Problem, mit dem sich die Forscher in diesem Papier konfrontiert sehen. Sie wollen KI-Modelle entwickeln, die beurteilen können, wie gut ein Video mit Ton ist (z. B. ein YouTube-Video). Aber bisher fehlte ihnen der „Parcours": Die vorhandenen Datensätze waren zu klein, zu langweilig und nicht vielfältig genug.

Hier ist die Lösung, die sie gefunden haben, einfach erklärt:

1. Das Problem: Der alte Test war zu streng

Bisher mussten Leute in einem stillen, kontrollierten Labor sitzen, um Videos zu bewerten. Das ist wie ein Formel-1-Test auf einer perfekten Rennstrecke. Das Problem: Es ist teuer, dauert ewig und man bekommt nur wenige Fahrer (Testpersonen).
Außerdem bewerten diese wenigen Leute oft nur eine einzige Zahl: „Ist das Video gut oder schlecht?" Das reicht nicht, um zu verstehen, warum es schlecht ist. Ist der Ton schlecht? Ist das Bild unscharf? Oder passt beides nicht zusammen?

2. Die Lösung: Ein riesiges, globales Testgelände (Crowdsourcing)

Die Forscher haben eine geniale Idee gehabt: Statt 10 Leuten im Labor, fragen sie Tausende von Menschen auf der ganzen Welt, direkt von ihren eigenen Sofas aus. Das nennt man „Crowdsourcing".

Aber wie verhindert man, dass die Leute nur Quatsch antworten?
Stell dir vor, du bittest 1.000 Menschen, eine Torte zu schmecken. Manche sind müde, manche essen nur die Sahne und ignorieren den Boden, manche lügen einfach.
Die Forscher haben einen drei-stufigen Sicherheitsgurt eingebaut:

• Schritt 1: Der Probelauf (Pretest): Sie lassen alle Teilnehmer erst ein paar Testvideos bewerten. Wer hier chaotisch bewertet (z. B. alles auf „3" setzt), fliegt raus.
• Schritt 2: Die Qualifikation: Nur die Besten dürfen an den echten Test. Sie müssen beweisen, dass sie konsequent bewerten.
• Schritt 3: Der große Test: Die qualifizierten „Profis" bewerten nun die echten Videos.

Zusätzlich haben sie eine intelligente Filter-Maschine gebaut. Wenn jemand sagt: „Das Video war super, aber der Ton war schrecklich" und dann bei der Gesamtnote trotzdem „5" gibt, merkt die Maschine: „Moment mal, das passt nicht zusammen!" und löscht diese Bewertung.

3. Der neue Parcours: YT-NTU-AVQ

Das Ergebnis ist ein riesiger Datensatz namens YT-NTU-AVQ.

• Größe: 1.620 Videos (das ist riesig im Vergleich zu den alten Datensätzen).
• Vielfalt: Es gibt Videos über alles: Musik, Sport, Kochen, Reden. Es gibt gute Qualität, schlechte Qualität, laute Töne, leise Töne.
• Der Clou: Die Leute bewerten nicht nur „Gut/Schlecht". Sie geben vier Antworten:
  1. Wie gut ist das Video insgesamt?
  2. Wie gut ist nur das Bild?
  3. Wie gut ist nur der Ton?
  4. Worauf hast du mehr geachtet? (Auf den Ton oder auf das Bild?)

4. Was haben sie herausgefunden? (Die Überraschung)

Als sie die Daten analysierten, stellten sie etwas Interessantes fest:

• Das Bild ist der Boss: Bei normalen Internet-Videos (User Generated Content) achten die Menschen viel mehr auf das Bild als auf den Ton. Wenn das Bild schlecht ist, finden sie das Video schlecht, selbst wenn der Ton perfekt ist.
• Der „Fehler-Fokus": Wenn der Ton schlecht ist, aber das Bild toll, achten die Leute trotzdem stark auf den Ton. Aber die Gesamtnote wird trotzdem vom besseren Teil (dem Bild) bestimmt. Es ist, als würdest du ein Auto kaufen: Wenn die Sitze bequem sind, aber der Motor quietscht, findest du das Auto immer noch okay, aber du störst dich am Quietschen.

Warum ist das wichtig?

Früher mussten KI-Modelle lernen, wie ein Mensch ein Video bewertet, aber sie hatten nur wenige, langweilige Beispiele. Jetzt haben sie einen riesigen, bunten Katalog mit echten Menschenmeinungen.

Das ist wie der Unterschied zwischen einem Koch, der nur in einer einzigen Küche geübt hat, und einem Koch, der in 1.000 verschiedenen Restaurants auf der ganzen Welt gearbeitet hat. Dank dieses neuen Datensatzes können die KI-Modelle viel besser lernen, wie wir Menschen Videos und Töne wirklich wahrnehmen.

Kurz gesagt: Die Forscher haben den „Labor-Käfig" aufgebrochen, Tausende von Menschen auf der ganzen Welt eingebunden, einen cleveren Filter gebaut und damit den bisher besten und vielfältigsten Test für Video-Qualität geschaffen.

Technische Zusammenfassung

1. Problemstellung

Die Forschung im Bereich der Audio-Visuellen Qualitätsbewertung (AVQA) steht vor erheblichen Hindernissen, die hauptsächlich auf die Limitationen bestehender Datensätze zurückzuführen sind:

• Skalierbarkeit und Größe: Existierende Datensätze sind oft klein und basieren auf aufwendigen Laborexperimenten, was die Anzahl der Probanden und die Datenvielfalt stark einschränkt.
• Mangelnde Vielfalt: Die Inhalte weisen eine geringe Diversität in Bezug auf semantische Szenarien, Verzerrungstypen und Qualitätsverteilungen auf. Sie spiegeln nicht die Komplexität von realen, nutzergenerierten Inhalten (UGC) wider.
• Eingeschränkte Annotationen: Die meisten Datensätze enthalten nur einen einzigen Gesamtwert (Overall Score). Dies verhindert tiefgehende Analysen darüber, wie verschiedene Modalitäten (Audio vs. Video) und semantische Faktoren die menschliche Wahrnehmung beeinflussen.
• Herausforderung beim Crowdsourcing: Während Crowdsourcing eine Möglichkeit zur Skalierung bietet, ist es für AVQA schwierig, da Audio und Video gemeinsam bewertet werden müssen und unkontrollierte Umgebungen (unterschiedliche Geräte, Kopfhörer, Hintergrundgeräusche) die Zuverlässigkeit der Bewertungen gefährden.

2. Methodik

Die Autoren schlagen einen umfassenden Ansatz vor, der aus drei Hauptkomponenten besteht, um einen großen, diversen und zuverlässigen AVQA-Datensatz zu erstellen:

A. Framework für Crowdsourcing-Experimente

Um Laboreinschränkungen zu überwinden, wurde ein maßgeschneidertes Crowdsourcing-Framework entwickelt (basierend auf jsPsych und Amazon Mechanical Turk):

• Umgebungsprüfung: Vor Beginn der Bewertung müssen Probanden ihre Umgebung bestätigen (ruhiger Raum, Desktop, Kopfhörer). Es werden automatische Checks für Bildschirmauflösung (>720p), Netzwerkstabilität und Audioausgabe durchgeführt.
• Mehrdimensionale Bewertung: Statt eines einzigen Scores werden vier Fragen gestellt:
  1. Gesamte Audio-Visuelle Qualität (AVQA).
  2. Nur Videoqualität (VQA).
  3. Nur Audioqualität (AQA).
  4. Gewichtung der Aufmerksamkeit (Wie viel Prozent der Bewertung entfällt auf Audio vs. Video?).
• Multi-Stufen-Prozess: Um die Datenqualität zu sichern, wird ein dreistufiger Prozess angewendet:
  1. Pretest: 120 Videos dienen zur Erstellung von Referenzwerten und zur Identifikation zuverlässiger Probanden.
  2. Qualifikationstest: Neue Probanden bewerten eine Teilmenge des Pretests. Nur wer die Filterkriterien erfüllt, darf weitermachen.
  3. Formaler Test: Nur qualifizierte Probanden bewerten die restlichen 1.500 Videos.

B. Dynamische Datenfilterung

Um unzuverlässige oder zufällige Bewertungen zu entfernen, wurde eine innovative Filtermethode entwickelt, die zwei Metriken kombiniert:

• Rangkorrelation (SROCC): Misst die Übereinstimmung der Rangfolge der Bewertungen eines Probanden mit dem Gruppenkonsens (MOS).
• Standardabweichung (STD): Misst die Streuung der Bewertungen, um zu homogene oder zu konsistente (möglicherweise nicht nachdenkliche) Bewertungen zu erkennen.
• Nur Bewertungen, die beide Schwellenwerte (SROCC > 0,5 und STD > 0,5) überschreiten, werden als zuverlässig akzeptiert.

C. Datenaufbereitung und Stichprobenziehung

Um die Vielfalt zu maximieren, wurde eine geschichtete Stichprobenziehung (Stratified Sampling) mit manueller Ergänzung angewendet:

• Ausgangsmaterial: Nutzung des VALOR-Datensatzes (über 1 Mio. YouTube-Videos) als Kandidatenpool.
• Stratifizierung: Die Auswahl basierte auf drei Attributen: Audioqualität (pseudo-labels via AudioBox), Videoqualität (via FasterVQA) und Audio-Semantik (Kombinationen aus Sprache, Musik, Geräuschen).
• Manuelle Ergänzung: Um Aktualität und spezifische Kategorien abzudecken, wurden zusätzlich 324 lizenzierte YouTube-Videos (post-2017) manuell ausgewählt.
• Erweiterte Annotationen: Mit Hilfe von Gemini 2.5 und manueller Verifizierung wurden semantische Kategorien und Video-Zusammenfassungen hinzugefügt.

3. Wichtige Beiträge

1. YT-NTU-AVQ Datensatz: Der bisher größte und vielfältigste AVQA-Datensatz mit 1.620 nutzergenerierten Audio-Video-Sequenzen.
2. Skalierbares Crowdsourcing-Framework: Der Nachweis, dass zuverlässige AVQA-Bewertungen auch in nicht-laborähnlichen Umgebungen durch strikte Prozesskontrolle und dynamische Filterung möglich sind.
3. Multidimensionale Annotationen: Der Datensatz enthält nicht nur Gesamtwerte, sondern auch getrennte Audio-/Video-Scores und Aufmerksamkeitsgewichte, was neue Forschungsrichtungen zur multimodalen Wahrnehmung ermöglicht.
4. Öffentliche Verfügbarkeit: Der Datensatz und der Code sind auf GitHub verfügbar.

4. Ergebnisse und Analyse

• Datenqualität: Die mehrstufige Filterung führte zu einer signifikanten Steigerung der Zuverlässigkeit. Im formalen Test wurden 67,4 % der Bewertungen akzeptiert, mit einer hohen Konsistenz zwischen den Bewertungen.
• Korrelation der Scores: Es wurde eine extrem hohe Korrelation zwischen den Gesamtscores (AVQA) und den einzelnen Modalitätsscores (insbesondere Video) festgestellt (SROCC > 0,97).
  • Erkenntnis: Bei UGC-Inhalten dominiert die visuelle Qualität die Gesamtwahrnehmung. Audioqualitätsschwankungen haben weniger Einfluss, solange sie nicht extrem sind.
• Aufmerksamkeitsverteilung: Obwohl Probanden im Durchschnitt eine ausgeglichene Aufmerksamkeit für Audio und Video melden (ca. 50/50), zeigt sich ein asymmetrisches Verhalten: Wenn eine Modalität stark beeinträchtigt ist, rückt die Aufmerksamkeit dorthin, aber der Gesamtscore bleibt näher am Wert der besseren Modalität („Anker-Effekt").
• Modellleistung: Baseline-Modelle zeigten, dass reine Video-Qualitätsmodelle (z.B. Q-Align) auf diesem Datensatz überraschend gut abschneiden, was die Dominanz des visuellen Signals unterstreicht. Multimodale Modelle (GeneralAVQA) erreichen jedoch die besten Ergebnisse.

5. Bedeutung und Ausblick

Das Paper demonstriert erfolgreich, dass die Skalierung von AVQA-Studien über Laborsettings hinaus möglich ist. Der YT-NTU-AVQ-Datensatz füllt eine kritische Lücke in der Forschung, indem er:

• Die Generalisierbarkeit von Modellen auf reale, diverse UGC-Inhalte verbessert.
• Neue Einblicke in die Mechanismen der menschlichen multimodalen Wahrnehmung liefert (z.B. wie Audio und Video interagieren).
• Eine solide Basis für die Entwicklung robusterer, datengetriebener Qualitätsbewertungsalgorithmen bietet.

Zusammenfassend stellt diese Arbeit einen Meilenstein dar, der die AVQA-Forschung von kleinen, kontrollierten Laborexperimenten hin zu großen, realistischen und semantisch reichen Datensätzen führt.