Forgive or forget: Understanding the context of hate in audio retrieval systems

Sintesi Tecnica: Perdonare o Dimenticare: Comprendere il Contesto dell'Odio nei Sistemi di Recupero Audio

Problematica
I sistemi di recupero testo-audio, guidati da encoder audio su larga scala e modelli linguistici basati su transformer, hanno raggiunto prestazioni significative su benchmark come AUDIOCAPS e CLOTHO. Tuttavia, questi sistemi affrontano una sfida critica e poco esplorata: il recupero involontario di audio tossici o d'odio. I dataset di addestramento su larga scala contengono inevitabilmente discorsi dannosi, inclusi imprecazioni, epiteti offensivi e bullismo. Sebbene la rilevazione della tossicità nel testo sia ben studiata, le strategie di mitigazione esistenti per il recupero testo-audio — come la riformulazione o la sintesi — rischiano di alterare l'intento originale dell'utente o di omettere dettagli semantici cruciali. La difficoltà principale risiede nelle dipendenze contestuali del linguaggio d'odio, dove lo stesso concetto semantico può essere espresso in modo tossico o sicuro a seconda della formulazione.

Metodologia: Un Framework di Debias Causal Post-Hoc
Gli autori propongono un framework di debiasing causale post-hoc, agnostico rispetto al modello, progettato per sopprimere il linguaggio dannoso preservando al contempo la rilevanza semantica. L'approccio utilizza un mediatore controllato dal sentimento all'interno di una struttura causale di aggiustamento front-door.

• Struttura Causale: Nel recupero standard, un prompt di input $T$ viene incorporato come $X$ da un modello $M$ per determinare il ranking $Y$. Poiché $M$ agisce come un confonditore non osservato, gli aggiustamenti standard del backdoor sono insufficienti. Gli autori introducono un mediatore $Z$, che rappresenta varianti stilistiche di $X$ infuse con sei specifici intenti tossici: Odio, Imprecazioni, Linguaggio Pornografico, Epiteti Offensivi, Violenza e Bullismo. Ciò crea un percorso mediato $X \to Z \to Y$, consentendo al sistema di osservare e sopprimere i bias derivanti dalla tossicità.

Il framework opera tramite due strategie complementari:

1. Dimenticare (Soppressione a livello di Modello):

   • Meccanismo: Questa strategia genera varianti tossiche controfattuali del prompt di query utilizzando un LLM (Large Language Model). Applica l'averaging dei logit (ispirato al principio Noise2Noise) tra il prompt originale e le sue varianti tossiche.
   • Logica: I bias tossici fluttuano attraverso diverse varianti stilistiche, mentre la rilevanza semantica rimane stabile. Mediando i logit di recupero ($\ell_f = \frac{1}{|L|} \sum \ell^{(i)}_Y$), il sistema cancella sistematicamente i segnali tossici mantenendo il significato centrale. Ciò impedisce il recupero di clip audio che classificano elevatamente solo a causa di una formulazione tossica.

2. Perdonare (Filtraggio a livello di Audio):

   • Meccanismo: Questa strategia opera sui candidati audio recuperati. Le clip recuperate vengono prima trascritte utilizzando un modello leggero di Speech-to-Text (Silero ASR) e poi classificate per tossicità tramite Detoxify.
   • Logica: Le clip audio tossiche all'interno dei candidati Top-$k$ vengono declassate tramite renormalizzazione softmax. Questo approccio è "leniente" poiché filtra l'odio esplicito ma mantiene i contenuti "borderline" che sono sicuri, garantendo che l'audio utile ma sensibile non venga interamente scartato.

Contributi Chiave

• Framework Innovativo: Introduzione di un framework di post-processing che integra l'aggiustamento front-door causale con un mediatore controllato dal sentimento per il recupero audio.
• Approccio a Doppia Strategia: Lo sviluppo di "Dimenticare" (generazione di prompt controfattuali e mediazione dei logit) e "Perdonare" (trascrizione basata su ASR e re-ranking), che affrontano la tossicità sia a livello di modello che di audio.
• Nuove Metriche di Valutazione: Proposta di tre metriche specifiche per valutare il recupero non tossico:
  • Tasso di Successo (Success Rate): La proporzione di audio recuperato che è non tossico.
  • Accuratezza (Accuracy): Quanto bene l'audio recuperato non tossico si allinea con la classe target.
  • Sensibilità (Sensitivity): La proporzione di audio non tossico correttamente recuperato all'interno delle occorrenze totali di una classe.
• Agnosticismo rispetto al Modello: Il framework è progettato per integrarsi perfettamente con le pipeline di recupero esistenti (testato su ATNLL, TUAR e WavCaps).

Risultati Sperimentali
Gli esperimenti sono stati condotti sui dataset AUDIOCAPS e CLOTHO utilizzando tre modelli allo stato dell'arte. I risultati dimostrano che:

• Riduzione della Tossicità: L'approccio combinato "Dimenticare + Perdonare" produce costantemente il Tasso di Successo più elevato, superando significativamente i baseline. Ad esempio, su AUDIOCAPS a Top@10, il Tasso di Successo per ATNLL è migliorato da 0.60 (baseline) a 0.92 con il metodo combinato.
• Preservazione della Rilevanza: Nonostante il filtraggio aggressivo della tossicità, il framework mantiene un'alta Accuratezza e Sensibilità. L'approccio combinato ottiene spesso la migliore Accuratezza complessiva, indicando che la rilevanza semantica è preservata.
• Robustezza: L'analisi della qualità audio tramite correlazione di rango di Spearman, correlazione di Pearson e Non-Matching Audio Distance (NOMAD) mostra che gli audio mitigati mantengono oltre il 90% di somiglianza con la ground truth, indicando che non vi è una degradazione percepibile nella qualità audio.
• Ablazione: "Dimenticare" è identificato come il driver principale per la soppressione della tossicità (Tasso di Successo), mentre "Perdonare" contribuisce a una maggiore Accuratezza e Sensibilità preservando i contenuti borderline sicuri.

Significatività e Rivendicazioni
L'articolo sostiene che gestire temi sensibili come l'odio nel recupero testo-audio richiede più di un semplice filtraggio; richiede una comprensione delle dipendenze contestuali. Il framework proposto offre una soluzione che riduce sensibilmente il recupero tossico senza compromettere l'utilità del sistema. Combinando la rigorosa soppressione sistemica ("Dimenticare") con un filtraggio fine a livello audio ("Perdonare"), gli autori ottengono un recupero testo-audio sicuro allo stato dell'arte. Il lavoro sottolinea che sicurezza e affidabilità possono essere migliorate simultaneamente, affrontando una lacuna critica nei sistemi di recupero multimodale attuali senza richiedere il riaddestramento dei modelli sottostanti.