Forgive or forget: Understanding the context of hate in audio retrieval systems

Resumo Técnico: Perdoar ou Esquecer: Compreendendo o Contexto do Ódio em Sistemas de Recuperação de Áudio

Declaração do Problema
Sistemas de recuperação de texto para áudio, impulsionados por codificadores de áudio de larga escala e modelos de linguagem baseados em transformadores, alcançaram um desempenho significativo em benchmarks como AUDIOCAPS e CLOTHO. No entanto, esses sistemas enfrentam um desafio crítico e subexplorado: a recuperação inadvertida de áudios tóxicos ou de ódio. Conjuntos de dados de treinamento de larga escala contêm inevitavelmente discursos prejudiciais, incluindo profanidades, insultos e bullying. Embora a detecção de toxicidade em texto seja bem estudada, as estratégias de mitigação existentes para a recuperação de texto para áudio — como reformulação ou sumarização — correm o risco de alterar a intenção original do usuário ou omitir detalhes semânticos cruciais. A dificuldade central reside nas dependências contextuais do discurso de ódio, onde o mesmo conceito semântico pode ser expresso de forma tóxica ou segura dependendo da formulação.

Metodologia: Uma Estrutura de Desenviesamento Causal Post-Hoc
Os autores propõem uma estrutura de desenviesamento causal post-hoc e agnóstica ao modelo, projetada para suprimir o discurso prejudicial enquanto preserva a relevância semântica. A abordagem utiliza um mediador controlado por sentimento dentro de uma estrutura causal de ajuste de porta frontal (front-door adjustment).

• Estrutura Causal: Na recuperação padrão, um prompt de entrada $T$ é incorporado como $X$ por um modelo $M$ para determinar o ranking $Y$. Como $M$ atua como um confundidor não observado, os ajustes de porta traseira (backdoor) padrão são insuficientes. Os autores introduzem um mediador $Z$, representando variantes estilísticas de $X$ infundidas com seis intenções tóxicas específicas: Ódio, Profanidades, Linguagem Pornográfica, Insultos, Violência e Bullying. Isso cria um caminho mediado $X \to Z \to Y$, permitindo que o sistema observe e suprima os vieses impulsionados pela toxicidade.

A estrutura opera via duas estratégias complementares:

1. Esquecer (Supressão ao Nível do Modelo):

   • Mecanismo: Esta estratégia gera variantes tóxicas contrafatuais do prompt de entrada usando um Modelo de Linguagem Grande (LLM). Ela aplica a média de logits (inspirada no princípio Noise2Noise) entre o prompt original e suas variantes tóxicas.
   • Lógica: Os vieses tóxicos flutuam através de diferentes variantes estilísticas, enquanto a relevância semântica permanece estável. Ao calcular a média dos logits de recuperação ($\ell_f = \frac{1}{|L|} \sum \ell^{(i)}_Y$), o sistema cancela sistematicamente os sinais tóxicos enquanto retém o significado central. Isso evita que clipes de áudio que ranqueiam alto apenas devido à formulação tóxica sejam recuperados.

2. Perdoar (Filtragem ao Nível do Áudio):

   • Mecanismo: Esta estratégia opera nos candidatos de áudio recuperados. Os clipes recuperados são primeiro transcritos usando um modelo leve de Fala-para-Texto (Silero ASR) e, em seguida, classificados quanto à toxicidade usando o Detoxify.
   • Lógica: Clipes de áudio tóxicos dentro dos candidatos Top-$k$ são rebaixados via renormalização softmax. Esta abordagem é "leniente" no sentido de que filtra o discurso de ódio explícito, mas retém conteúdo "limítrofe" que é seguro, garantindo que áudios úteis, porém sensíveis, não sejam totalmente descartados.

Principais Contribuições

• Estrutura Inovadora: Introdução de uma estrutura de pós-processamento que integra ajuste de porta frontal causal com um mediador controlado por sentimento para recuperação de áudio.
• Abordagem de Estratégia Dupla: O desenvolvimento de "Esquecer" (geração de contra-exemplos de prompts e média de logits) e "Perdoar" (transcrição baseada em ASR e re-ranqueamento), que abordam a toxicidade tanto nos níveis de modelo quanto de áudio.
• Novas Métricas de Avaliação: Proposta de três métricas específicas para avaliar a recuperação não tóxica:
  • Taxa de Sucesso (Success Rate): A proporção de áudio recuperado que é não tóxico.
  • Acurácia (Accuracy): O quão bem o áudio recuperado não tóxico se alinha com a classe alvo.
  • Sensibilidade (Sensitivity): A proporção de áudio não tóxico corretamente recuperado dentro das ocorrências totais de uma classe.
• Agnosticismo de Modelo: A estrutura foi projetada para se integrar perfeitamente com pipelines de recuperação existentes (testada em ATNLL, TUAR e WavCaps).

Resultados Experimentais
Experimentos foram conduzidos nos conjuntos de dados AUDIOCAPS e CLOTHO utilizando três modelos de última geração. Os resultados demonstram:

• Redução de Toxicidade: A abordagem combinada "Esquecer + Perdoar" produz consistentemente a maior Taxa de Sucesso, superando significativamente os baselines. Por exemplo, no AUDIOCAPS em Top@10, a Taxa de Sucesso para o ATNLL melhorou de 0.60 (baseline) para 0.92 com o método combinado.
• Preservação de Relevância: Apesar do filtragem agressiva de toxicidade, a estrutura mantém alta Acurácia e Sensibilidade. A abordagem combinada frequentemente atinge a melhor Acurácia geral, indicando que a relevância semântica é preservada.
• Robustez: A análise de qualidade de áudio via correlação de rank de Spearman, correlação de Pearson e Distância de Áudio Não Correspondente (NOMAD) mostra que os áudios mitigados retêm mais de 90% de similaridade com o ground truth, indicando que não há degradação perceptível na qualidade do áudio.
• Ablação: O "Esquecer" é identificado como o principal motor para a supressão de toxicidade (Taxa de Sucesso), enquanto o "Perdoar" contribui para uma maior Acurácia e Sensibilidade ao preservar o conteúdo limítrofe seguro.

Significância e Alegações
O artigo afirma que lidar com tópicos sensíveis, como o discurso de ódio na recuperação de texto para áudio, exige mais do que simples filtragem; demanda uma compreensão das dependências contextuais. A estrutura proposta oferece uma solução que reduz substancialmente a recuperação tóxica sem comprometer a utilidade do sistema. Ao combinar a supressão sistêmica estrita ("Esquecer") com a filtragem refinada ao nível do áudio ("Perdoar"), os autores alcançam a recuperação de texto para áudio segura de última geração. O trabalho enfatiza que a segurança e a confiabilidade podem ser melhoradas simultaneamente, abordando uma lacuna crítica nos atuais sistemas de recuperação multimodal sem exigir o retreinamento dos modelos subjacentes.