Human-CLAP: Human-perception-based contrastive language-audio pretraining

Il paper introduce Human-CLAP, un modello di pre-addestramento contrasto linguaggio-audio basato sulla percezione umana che, addestrato su valutazioni soggettive, supera significativamente il CLAP tradizionale migliorando la correlazione tra i punteggi di similarità e le valutazioni umane.

L'essenziale

Immagina di avere un traduttore robotico molto intelligente che deve capire la connessione tra una descrizione scritta (come "un cane che abbaia") e un suono reale (la registrazione di un cane che abbaia).

Questo robot si chiama CLAP. È diventato molto famoso perché aiuta i computer a generare suoni partendo da testi o a cercare suoni usando le parole. Per capire quanto bene il robot ha fatto il suo lavoro, gli umani usano un "punteggio" chiamato CLAPScore: più il punteggio è alto, più il computer pensa che testo e suono siano perfetti.

Il Problema: Il Robot non ha "orecchie" umane
Gli autori di questo studio hanno scoperto una cosa strana: il punteggio dato dal robot (CLAPScore) non corrisponde affatto a quello che pensano le persone reali.
È come se il robot dicesse: "Oh, questa descrizione e questo suono sono un 9 su 10!", mentre un essere umano ascolta e dice: "Ma no, è un disastro, è un 2 su 10!".
Il robot è stato addestrato su milioni di dati, ma non ha mai chiesto a un umano: "Secondo te, quanto sono simili?". Di conseguenza, a volte si sbaglia grossolanamente.

La Soluzione: Human-CLAP (Il Robot con il Cuore Umano)
Per risolvere questo, i ricercatori hanno creato una nuova versione chiamata Human-CLAP.
Hanno fatto un esperimento semplice ma geniale:

1. Hanno preso un piccolo gruppo di persone reali.
2. Loro hanno ascoltato vari suoni e letto le relative descrizioni.
3. Hanno dato un voto da 0 a 10: "Quanto bene si adattano?".
4. Hanno usato questi voti umani per "rieducare" il robot.

Immagina che il robot originale sia uno studente che ha studiato solo sui libri di testo (i dati grezzi). Human-CLAP è lo stesso studente, ma che ora ha fatto un tirocinio con un insegnante umano che gli ha detto: "Ehi, guarda, qui hai sbagliato, per gli umani questo non va bene".

Come funziona la "Rieducazione"?
Invece di dire al robot "devi solo abbinare testo e suono", gli hanno detto: "Devi abbinare testo e suono proporzionalmente a quanto gli umani li trovano simili".
Hanno usato una formula matematica speciale (una miscela di due tipi di "correzione") che premia il robot quando indovina il voto umano e lo punisce quando si allontana dal giudizio umano.

I Risultati: Un salto di qualità
Dopo questa rieducazione, il nuovo robot (Human-CLAP) è diventato molto più bravo a capire cosa pensiamo noi umani.

• Prima: Il robot e gli umani erano d'accordo solo nel 28% dei casi (una correlazione bassa).
• Dopo: Con Human-CLAP, l'accordo è salito a oltre il 45%.

È come se il robot avesse finalmente imparato a "mettere le orecchie" e a giudicare la musica e i suoni non solo come dati freddi, ma come un essere umano li percepisce.

In sintesi:
Questo studio ci dice che per far sì che l'intelligenza artificiale capisca davvero il mondo dei suoni, non basta darle più dati; bisogna darle il giudizio umano. Human-CLAP è il primo passo per creare assistenti audio che non solo "sentono" i suoni, ma li "capiscono" come li capiamo noi.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Human-CLAP: Human-perception-based contrastive language–audio pretraining", presentato al 2025 APSIPA ASC.

1. Il Problema

Il modello CLAP (Contrastive Language–Audio Pretraining) è diventato uno standard per collegare audio e testo, utilizzato sia per compiti di generazione (Text-to-Audio, TTA) che di riconoscimento. Una metrica derivata, il CLAPScore, calcola la similarità coseno tra i vettori di embedding di testo e audio per valutare la rilevanza tra i due.

Tuttavia, il paper identifica un problema critico: la correlazione tra il CLAPScore e le valutazioni soggettive umane è scarsa.

• Sebbene il CLAPScore sia usato come metrica oggettiva per valutare la qualità della generazione audio, non riflette accuratamente la percezione umana di quanto un testo descriva correttamente un audio.
• I modelli CLAP convenzionali sono addestrati sull'assunzione che tutte le coppie audio-testo nel dataset siano perfettamente corrispondenti. In realtà, i dataset contengono "rumore" (testi che non coprono tutto il contenuto audio o descrizioni imprecise), portando il modello a imparare relazioni errate.
• La raccolta di dati audio-testo puliti e perfettamente etichettati è estremamente costosa, rendendo difficile migliorare i modelli esistenti con semplici tecniche di raccolta dati.

2. Metodologia Proposta: Human-CLAP

Gli autori propongono Human-CLAP, un modello CLAP fine-tunato utilizzando punteggi di valutazione soggettiva umana come segnale di supervisione aggiuntivo. L'obiettivo è allineare lo spazio di embedding alle percezioni umane reali.

A. Dataset di Addestramento

• Utilizzo del dataset RELATE, che contiene valutazioni soggettive (scala 0-10) sulla rilevanza tra coppie audio-testo.
• Il dataset include audio naturali (da AudioCaps) e audio sintetizzati (da modelli come AudioLDM, Tango, ecc.).
• I dati sono stati filtrati per garantire la qualità degli ascoltatori, rimuovendo quelli che non seguivano le linee guida di valutazione.
• Il numero di campioni utilizzati per il fine-tuning è circa 1/320 rispetto ai dati di addestramento originali del CLAP convenzionale, dimostrando l'efficienza dell'approccio.

B. Funzione di Perdita (Loss Function)

Il modello viene addestrato minimizzando una funzione di perdita ibrida che combina l'apprendimento contrastivo e la regressione:

1. Regressione (MSE/MAE): Il modello deve predire la similarità coseno ($y_i$) in modo che corrisponda al punteggio soggettivo riscalato ($a_i \in [0, 1]$).

   • $L_{MSE} = \frac{1}{N} \sum (a_i - y_i)^2$
   • $L_{MAE} = \frac{1}{N} \sum |a_i - y_i|$

2. Apprendimento Contrastivo Pesato (wSCE): Viene modificata la perdita a entropia incrociata simmetrica (SCE) convenzionale. Invece di trattare tutte le coppie positive allo stesso modo, il contributo di ogni coppia alla perdita è pesato dal punteggio soggettivo ($a_i$).

   • Questo permette al modello di dare più importanza alle coppie ad alta rilevanza percepita e di gestire meglio le coppie a bassa rilevanza, riflettendo la gradazione della percezione umana.
   • $L_{wSCE} = -\frac{1}{2N} \sum a_i (\dots)$

3. Perdita Totale:

   • $L = \lambda_1 L_{wSCE} + \lambda_2 L_{reg}$ (dove $L_{reg}$ è MSE o MAE).

3. Contributi Chiave

1. Analisi della Correlazione: Dimostrazione empirica che il CLAPScore convenzionale ha una correlazione bassa con le valutazioni umane (SRCC ~0.28).
2. Proposta di Human-CLAP: Introduzione di un nuovo modello fine-tunato con punteggi soggettivi, che utilizza una funzione di perdita ibrida (contrastiva pesata + regressione).
3. Efficienza dei Dati: Dimostrazione che è possibile migliorare significativamente l'allineamento umano utilizzando una frazione minima dei dati di addestramento originali (circa 0.3%).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti confrontando Human-CLAP con i modelli baseline (LAION CLAP e MS CLAP) su 2.405 coppie audio-testo.

• Miglioramento della Correlazione:

  • Il modello Human-CLAP (wSCE + MAE) ha raggiunto un SRCC (Coefficiente di Correlazione di Ranghi di Spearman) di 0.457, rispetto a 0.280 del baseline LAION CLAP.
  • Questo rappresenta un miglioramento di +0.17 nel coefficiente di correlazione, indicando un allineamento molto più stretto con la percezione umana.
  • Anche la correlazione lineare (LCC) è migliorata significativamente (da 0.294 a 0.481).

• Analisi per Tipo di Audio:

  • Il miglioramento è consistente sia per audio naturali che sintetizzati, con guadagni particolarmente elevati su audio generati da modelli avanzati come AudioLDM2 (SRCC da 0.288 a 0.589).

• Analisi della Funzione di Perdita:

  • L'uso combinato di wSCE + MAE ha prodotto i risultati migliori.
  • L'uso di solo MAE (senza il contrasto pesato) tendeva a sovrastimare i punteggi per le coppie a bassa rilevanza (faticando ad assegnare punteggi vicini a 0).
  • L'uso di wSCE è cruciale per insegnare al modello a discriminare correttamente le coppie poco pertinenti, assegnando loro punteggi bassi coerenti con la valutazione umana.

5. Significato e Impatto

Questo lavoro è significativo per il campo dell'elaborazione del segnale audio e dell'intelligenza artificiale generativa per diversi motivi:

• Metrica di Valutazione più Affidabile: Human-CLAP fornisce una metrica (Human-CLAPScore) che è statisticamente più affidabile per valutare la qualità dei modelli Text-to-Audio rispetto al CLAPScore standard.
• Allineamento Umano: Dimostra che è possibile allineare modelli foundation su larga scala con la percezione umana utilizzando piccoli set di dati annotati soggettivamente, superando il problema del "rumore" nei grandi dataset non curati.
• Guida per la Ricerca Futura: Suggerisce che le future metriche di valutazione per l'IA generativa dovrebbero incorporare esplicitamente feedback umani o punteggi soggettivi durante l'addestramento, piuttosto che affidarsi esclusivamente alla similarità di embedding grezza.

In sintesi, il paper risolve il divario tra l'ottimizzazione matematica dei modelli CLAP e la realtà della percezione umana, offrendo un metodo efficiente ed efficace per creare modelli audio-testo più "umani".