Forgive or forget: Understanding the context of hate in audio retrieval systems

Technische Samenvatting: Vergeven of Vergeten: Het Begrijpen van de Context van Haat in Audio-retrieversystemen

Probleemstelling
Tekst-naar-audio-retrieversystemen, aangedreven door grootschalige audio-encoders en transformer-gebaseerde taalmodellen, hebben aanzienlijke prestaties geleverd op benchmarks zoals AUDIOCAPS en CLOTHO. Deze systemen worden echter geconfronteerd met een kritische, onderbelichte uitdaging: de onbedoelde retrieval van toxische of haatdragende audio. Grootschalige trainingsdatasets bevatten onvermijdelijk schadelijke spraak, waaronder vloeken, beledigingen en pestgedrag. Hoewel toxiciteitsdetectie in tekst goed onderzocht is, riskeren bestaande mitigatiestrategieën voor tekst-naar-audio-retrieval — zoals herformulering of samenvatting — de oorspronkelijke intentie van de gebruiker te veranderen of cruciale semantische details weg te laten. De kern van de moeilijkheid ligt in de contextuele afhankelijkheden van haatspraak, waarbij hetzelfde semantische concept op een toxische of veilige manier kan worden uitgedrukt, afhankelijk van de formulering.

Methodologie: Een Post-Hoc Causaal Debiasing Framework
De auteurs stellen een model-agnostisch, post-hoc causaal debiasing framework voor dat ontworpen is om schadelijke spraak te onderdrukken terwijl de semantische relevantie behouden blijft. De aanpak maakt gebruik van een sentiment-gecontroleerde mediator binnen een front-door adjustment causale structuur.

• Causale Structuur: In standaard retrieval wordt een input prompt $T$ door een model $M$ geëmbed als $X$ om de ranking $Y$ te bepalen. Omdat $M$ fungeert als een niet-geobserveerde confounder, zijn standaard backdoor adjustments ontoereikend. De auteurs introduceren een mediator $Z$, die stilistische varianten van $X$ vertegenwoordigt die zijn doordrenkt met zes specifieke toxische intenties: Haat, Vloeken, Pornografische Taal, Beledigingen, Geweld en Pesten. Dit creëert een gemedieerd pad $X \to Z \to Y$, waardoor het systeem toxische bias-geïnduceerde signalen kan observeren en onderdrukken.

Het framework werkt via twee complementaire strategieën:

1. Vergeten (Model-niveau Onderdrukking):

   • Mechanisme: Deze strategie genereert contrafeitelijke toxische varianten van de input query met behulp van een Large Language Model (LLM). Het past logit-averaging toe (geïnspireerd door het Noise2Noise-principe) over de originele prompt en de toxische varianten.
   • Logica: Toxische biases fluctueren over verschillende stilistische varianten, terwijl de semantische relevantie stabiel blijft. Door de retrieval-logits te middelen ($\ell_f = \frac{1}{|L|} \sum \ell^{(i)}_Y$), kan het systeem systematisch toxische signalen elimineren terwijl de kernbetekenis behouden blijft. Dit voorkomt dat audiofragmenten die hoog scoren louter vanwege toxische formulering, worden geretrieved.

2. Vergeven (Audio-niveau Filtering):

   • Mechanisme: Deze strategie opereert op de geretourneerde audio-kandidaten. De geretourneerde clips worden eerst getranscribeerd met behulp van een lichtgewicht Speech-to-Text model (Silero ASR) en vervolgens geclassificeerd op toxiciteit met Detoxify.
   • Logica: Toxische audiofragmenten binnen de Top-$k$ kandidaten worden gedegradeerd via softmax renormalisatie. Deze aanpak is "vergevingsgezind" in die zin dat het expliciete haatspraak filtert, maar "grensgevallende" inhoud die veilig is behoudt, waardoor wordt voorkomen dat nuttige maar gevoelige audio volledig wordt weggegooid.

Belangrijkste Bijdragen

• Nieuw Framework: Introductie van een post-processing framework dat causale front-door adjustment integreert met een sentiment-gecontroleerde mediator voor audio-retrieval.
• Dual-Strategy Aanpak: De ontwikkeling van "Forget" (contrafeitelijke promptgeneratie en logit-averaging) en "Forgive" (ASR-gebaseerde transcriptie en re-ranking), die toxiciteit aan zowel het model- als het audioniveau aanpakken.
• Nieuwe Evaluatiemetrieken: Voorstel van drie specifieke metrieken om niet-toxische retrieval te evalueren:
  • Success Rate: Het aandeel van de geretourneerde audio dat niet-toxisch is.
  • Accuracy: Hoe goed de niet-toxische geretourneerde audio overeenkomt met de doelklasse.
  • Sensitivity: Het aandeel van de correct geretourneerde niet-toxische audio binnen de totale voorkomens van een klasse.
• Model-Agnosticisme: Het framework is ontworpen om naadloos te integreren met bestaande retrieval-pipelines (getest op ATNLL, TUAR, en WavCaps).

Experimentele Resultaten
Experimenten werden uitgevoerd op de AUDIOCAPS en CLOTHO datasets met behulp van drie state-of-the-art modellen. De resultaten tonen aan:

• Reductie van Toxiciteit: De gecombineerde "Forget + Forgive" aanpak levert consistent de hoogste Success Rate op en presteert aanzienlijk beter dan de baselines. Bijvoorbeeld, op AUDIOCAPS bij Top@10 verbeterde de Success Rate voor ATNLL van 0,60 (baseline) naar 0,92 met de gecombineerde methode.
• Behoud van Relevantie: Ondanks agressieve toxiciteitsfiltering behoudt het framework een hoge Accuracy en Sensitivity. De gecombineerde aanpak bereikt vaak de beste algehele Accuracy, wat aangeeft dat de semantische relevantie behouden blijft.
• Robuustheid: Audio-kwaliteitsanalyse met behulp van Spearman's rangcorrelatie, Pearson-correlatie en Non-Matching Audio Distance (NOMAD) laat zien dat de gemitigeerde audio meer dan 90% gelijkenis behoudt met de ground truth, wat wijst op geen waarneembare degradatie in audiokwaliteit.
• Ablatie: "Forget" wordt geïdentificeerd als de primaire drijfveer voor toxiciteitsonderdrukking (Success Rate), terwijl "Forgive" bijdraagt aan hogere Accuracy en Sensitivity door grensgevallende veilige content te behouden.

Betekenis en Claims
Het artikel stelt dat het afhandelen van gevoelige onderwerpen zoals haatspraak in tekst-naar-audio-retrieval meer vereist dan eenvoudige filtering; het vereist een begrip van contextuele afhankelijkheden. Het voorgestelde framework biedt een oplossing die de retrieval van toxische inhoud aanzienlijk vermindert zonder de bruikbaarheid van het systeem in gevaar te brengen. Door strikte systemische onderdrukking ("Forget") te combineren met fijnmazige filtering op audioniveau ("Forgive"), bereiken de auteurs een state-of-the-art veilige tekst-naar-audio-retrieval. Het werk benadrukt dat veiligheid en betrouwbaarheid gelijktijdig kunnen worden verbeterd, waarmee een kritiek gat in huidige multimodale retrieval-systemen wordt gedicht zonder de onderliggende modellen opnieuw te hoeven trainen.