Scaling Audio-Visual Quality Assessment Dataset via Crowdsourcing

Il paper propone un approccio pratico per la costruzione di dataset di valutazione della qualità audio-visiva tramite crowdsourcing, presentando YT-NTU-AVQ, il più grande e diversificato dataset esistente che supera i limiti delle raccolte precedenti in termini di scala, varietà e annotazioni.

L'essenziale

Immagina di voler insegnare a un robot a capire se un video su YouTube è "bello" o "brutto". Per farlo, il robot ha bisogno di un libro di testo pieno di esempi: video con voti dati da persone vere.

Il problema è che, fino a poco tempo fa, questi "libri di testo" per i video (che contengono sia audio che immagine) erano molto piccoli, noiosi e fatti solo in laboratori controllati, come se provassimo a insegnare a nuotare a un bambino solo in una vasca da bagno, mai in mare aperto.

Gli autori di questo articolo hanno detto: "Basta! Facciamolo in grande e in modo intelligente." Ecco come hanno fatto, spiegato con parole semplici:

1. Il Grande Esperimento: Dal Laboratorio al Mondo Reale

Invece di reclutare 20 persone in una stanza silenziosa con cuffie costose (il metodo vecchio), hanno aperto le porte a migliaia di persone su internet (crowdsourcing).

• La sfida: Chiedere a qualcuno di giudicare la qualità audio e video mentre è seduto sul divano di casa, magari con una TV piccola e un telefono che fa rumore, sembra rischioso.
• La soluzione: Hanno creato un "gioco" online molto strutturato. Prima di iniziare, il sistema controlla se hai le cuffie, se lo schermo è abbastanza grande e se la connessione internet va bene. Se non passi il controllo, non puoi giocare. È come se un allenatore ti controllasse le scarpe prima di farti entrare in campo.

2. Il Filtro Magico: Come trovare i "Giocatori Seri"

Su internet ci sono sempre persone che cliccano a caso o che non ascoltano davvero. Come fanno gli autori a non farsi ingannare?
Hanno usato un sistema a tre livelli, simile a un torneo di calcio:

1. Prova Generale (Pretest): Un gruppo di video di prova per vedere chi sa giocare.
2. Qualifica: Chi passa la prova generale ottiene il "pass" per la fase successiva.
3. Partita Ufficiale: Solo i giocatori qualificati valutano i 1.600 video finali.

Inoltre, hanno un "arbitro" invisibile (un algoritmo) che controlla: "Ehi, tu hai dato un voto alto a un video brutto e un voto basso a uno bello? O hai dato tutti i voti uguali? Se sì, il tuo voto non vale nulla." In questo modo, scartano i voti "spazzatura" e tengono solo quelli seri.

3. La Raccolta dei Video: Un Menù Variato

Non volevano solo video di gattini o di musica classica. Volevano un po' di tutto, proprio come la vita reale.

• Hanno usato un "seme" intelligente (un'intelligenza artificiale) per cercare milioni di video su YouTube.
• Hanno selezionato quelli che avevano:
  • Audio di qualità diversa (da pessimo a ottimo).
  • Video di qualità diversa.
  • Temi diversi (musica, parlato, suoni della natura, ecc.).
• Hanno aggiunto manualmente alcuni video recenti per assicurarsi che il "menù" fosse fresco e non vecchio di 10 anni.

Il risultato è YT-NTU-AVQ: un gigantesco database con 1.620 video di utenti reali, il più grande e vario mai creato fino ad oggi.

4. Cosa hanno scoperto? (Le Sorprese)

Dopo aver raccolto tutti questi voti, hanno analizzato i dati e scoperto cose interessanti:

• L'occhio è più importante dell'orecchio: Per i video fatti dagli utenti (UGC), se l'immagine è brutta, il video è brutto, anche se la musica è perfetta. Se l'immagine è bella, le persone tendono a perdonare piccoli difetti nell'audio. È come guardare un film: se la scena è bellissima, non noti se l'audio è leggermente sordo.
• L'attenzione cambia: Quando l'audio è molto brutto, le persone si concentrano di più sull'audio per giudicare il video. Ma se l'audio è buono, si rilassano e guardano solo il video. È come se il nostro cervello dicesse: "Se c'è un problema, lo cerco lì; se no, guardo il resto."

In sintesi

Questo lavoro è come aver costruito la più grande e completa "palestra" al mondo per addestrare l'intelligenza artificiale a capire la qualità dei video.
Hanno dimostrato che non serve un laboratorio costoso per ottenere dati seri: basta un metodo intelligente, un po' di controllo e tanta gente disposta a partecipare. Ora, grazie a questo dataset, i ricercatori possono creare algoritmi che capiscono meglio cosa piace davvero agli esseri umani quando guardano e ascoltano video su internet.

Sommario tecnico

1. Il Problema

La ricerca sulla Valutazione della Qualità Audio-Visiva (AVQA) è attualmente ostacolata dalla carenza di dataset adeguati. I dataset esistenti presentano tre limitazioni principali:

• Scalabilità limitata: Sono generalmente piccoli e raccolti in ambienti di laboratorio controllati, il che rende difficile l'addestramento di modelli data-driven avanzati.
• Mancanza di diversità: Coprono poco la varietà dei contenuti generati dagli utenti (UGC), i tipi di distorsione e le distribuzioni di qualità reali.
• Annotazioni superficiali: Si limitano spesso a un punteggio di qualità globale, offrendo poche informazioni sui meccanismi percettivi multimodali o sulla relazione tra contenuto e qualità.

Inoltre, estendere gli esperimenti soggettivi AVQA tramite crowdsourcing è complesso a causa di condizioni ambientali variabili (dispositivi, audio, video non controllati) e della difficoltà di mantenere standard di valutazione coerenti senza un addestramento intensivo.

2. Metodologia

Gli autori propongono un approccio sistematico per costruire un dataset AVQA scalabile e diversificato, composto da tre pilastri fondamentali:

A. Framework Sperimentale Crowdsourced

È stato sviluppato un primo framework di esperimento soggettivo crowdsourced specifico per AVQA, basato sulla piattaforma Amazon Mechanical Turk (AMT) e su un'interfaccia personalizzata (jsPsych).

• Controllo dell'ambiente: Implementazione di controlli automatici (risoluzione schermo, presenza di cuffie, stabilità della rete) e istruzioni chiare per garantire condizioni di ascolto/visualizzazione accettabili.
• Interfaccia di valutazione: Gli utenti valutano 30 video per sessione con quattro domande:
  1. Qualità Audio-Visiva complessiva (AVQA).
  2. Qualità Video sola (AV VQA).
  3. Qualità Audio sola (AV AQA).
  4. Peso dell'attenzione (quale modalità influenza di più la valutazione).
• Filtraggio dei dati: Per gestire la qualità dei dati in ambienti non controllati, è stato introdotto un filtraggio dinamico basato su ranking. Vengono scartate le risposte inaffidabili calcolando la coerenza del ranking (SROCC rispetto al consenso del gruppo) e la dispersione dei punteggi (deviazione standard). Solo le risposte che superano entrambe le soglie vengono mantenute.

B. Strategia di Preparazione dei Dati

Per garantire diversità semantica e di qualità, è stata adottata una strategia ibrida:

• Campionamento Stratificato: Utilizzo del dataset VALOR (1M+ sequenze YouTube) come pool candidato. È stato applicato un campionamento stratificato basato su tre attributi: qualità audio (pseudo-labels da AudioBox), qualità video (previsioni da FasterVQA) e semantica audio (mappatura AudioSet in parlato, musica, suoni).
• Selezione Manuale: Integrazione di 324 sequenze recenti (post-2017) selezionate manualmente per coprire categorie semantiche specifiche e garantire l'attualità dei contenuti.
• Annotazioni Estese: Arricchimento del dataset con metadati semantici (categorie audio/video, riassunti) generati tramite Gemini 2.5 e verificati manualmente.

C. Screening Multi-stadio dei Soggetti

Per massimizzare l'affidabilità, i partecipanti sono stati sottoposti a un processo a tre stadi:

1. Pretest: Valutazione di un subset di riferimento per stabilire i punteggi MOS iniziali e identificare soggetti affidabili.
2. Test di Qualifica: Nuovi soggetti valutano un gruppo di pretest; solo quelli che superano i criteri di filtraggio dinamico vengono certificati.
3. Test Formale: Solo i soggetti qualificati procedono alla valutazione del dataset completo.

3. Contributi Chiave

• YT-NTU-AVQ: Il dataset AVQA più grande e diversificato a oggi, contenente 1.620 sequenze audio-video generate dagli utenti (UGC).
• Framework Crowdsourced Validato: Dimostrazione che esperimenti soggettivi AVQA affidabili possono essere condotti fuori dai laboratori, superando le limitazioni di scala.
• Annotazioni Multimodali Ricche: Oltre ai punteggi di qualità complessiva, il dataset include punteggi separati per audio e video, pesi di attenzione e categorie semantiche, permettendo studi sui meccanismi percettivi.
• Metodologia di Filtraggio Dinamico: Una tecnica efficace per pulire i dati crowdsourced, migliorando significativamente la qualità delle annotazioni rispetto ai metodi tradizionali.

4. Risultati e Analisi

• Qualità dei Dati: Il processo di filtraggio ha permesso di mantenere un alto tasso di accettazione dei dati affidabili (67,4% nel test formale) e ha mostrato un miglioramento progressivo dell'affidabilità tra le fasi di pretest, qualifica e test formale.
• Distribuzione delle Qualità: Il dataset mostra una distribuzione di qualità quasi gaussiana, con una buona copertura di livelli di qualità bassi, medi e alti.
• Dominanza Visiva: L'analisi delle correlazioni tra i punteggi (AVQA vs VQA vs AQA) rivela una forte dipendenza dalla qualità video. I modelli VQA esistenti raggiungono prestazioni sorprendentemente alte (SROCC > 0.93) nel predire la qualità AVQA, suggerendo che per i contenuti UGC "selvatici", la qualità visiva domina la percezione complessiva.
• Attenzione Asimmetrica: Sebbene l'attenzione media sia bilanciata (50% audio, 50% video), gli utenti tendono a spostare l'attenzione verso la modalità degradata, ma il punteggio finale rimane ancorato alla modalità di qualità superiore.
• Performance dei Modelli: I modelli di base (VQA, AQA, AVQA) sono stati valutati su YT-NTU-AVQ, confermando la validità del dataset come benchmark per lo sviluppo di nuovi algoritmi.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale per la comunità AVQA:

1. Scalabilità: Dimostra che è possibile superare il collo di bottiglia della raccolta dati in laboratorio, aprendo la strada a dataset di dimensioni molto maggiori.
2. Realismo: Fornisce un benchmark basato su contenuti reali (UGC) che riflette meglio le condizioni d'uso reali rispetto ai dataset sintetici o di laboratorio.
3. Comprensione Umana: Le annotazioni multidimensionali offrono nuove opportunità per studiare come gli esseri umani integrano segnali audio e video, specialmente in scenari dove la qualità di una modalità può compensare o influenzare l'altra.
4. Risorsa Futura: Il dataset e il codice della piattaforma sono open source, facilitando la riproducibilità e lo sviluppo di modelli di valutazione della qualità più robusti e generalizzabili.