Forgive or forget: Understanding the context of hate in audio retrieval systems

Resumen Técnico: Perdonar o Olvidar: Comprendiendo el Contexto del Odio en los Sistemas de Recuperación de Audio

Declaración del Problema
Los sistemas de recuperación de texto a audio, impulsados por codificadores de audio a gran escala y modelos de lenguaje basados en transformadores, han logrado un rendimiento significativo en evaluaciones como AUDIOCAPS y CLOTHO. Sin embargo, estos sistemas enfrentan un desafío crítico y poco explorado: la recuperación inadvertida de audio tóxico o de odio. Los conjuntos de datos de entrenamiento a gran escala contienen inevitablemente discursos dañinos, incluyendo profanidades, insultos y acoso. Si bien la detección de toxicidad en texto está bien estudiada, las estrategias de mitigación existentes para la recuperación de texto a audio —como el parafraseo o la sumarización— corren el riesgo de alterar la intención original del usuario o de omitir detalles semánticos cruciales. La dificultad central reside en las dependencias contextuales del discurso de odio, donde un mismo concepto semántico puede expresarse de forma tóxica o segura dependiendo de la formulación.

Metodología: Un Marco de Mitigación Causal Post-Hoc
Los autores proponen un marco de mitigación causal post-hoc, agnóstico al modelo, diseñado para suprimir el discurso dañino preservando la relevancia semántica. El enfoque utiliza un mediador controlado por sentimiento dentro de una estructura causal de ajuste de puerta frontal (front-door adjustment).

• Estructura Causal: En la recuperación estándar, un prompt de entrada $T$ es embebido como $X$ por un modelo $M$ para determinar el ordenamiento $Y$. Dado que $M$ actúa como un confuso no observado, los ajustes de puerta trasera estándar son insuficientes. Los autores introducen un mediador $Z$, que representa variantes estilísticas de $X$ infundidas con seis intenciones tóxicas específicas: Odio, Profanidades, Lenguaje Pornográfico, Insultos, Violencia y Acoso. Esto crea una ruta mediada $X \to Z \to Y$, permitiendo que el sistema observe y suprima los sesgos impulsados por la toxicidad.

El marco opera mediante dos estrategias complementarias:

1. Olvidar (Supresión a Nivel de Modelo):

   • Mecanismo: Esta estrategia genera variantes tóxicas contrafácticas del prompt de consulta utilizando un Modelo de Lenguaje de Gran Escala (LLM). Aplica un promedio de logits (inspirado en el principio Noise2Noise) a través del prompt original y sus variantes tóxicas.
   • Lógica: Los sesgos tóxicos fluctúan a través de diferentes variantes estilísticas, mientras que la relevancia semántica permanece estable. Al promediar los logits de recuperación ($\ell_f = \frac{1}{|L|} \sum \ell^{(i)}_Y$), el sistema cancela sistemáticamente las señales tóxicas mientras retiene el significado central. Esto evita que se recuperen clips de audio que clasifican alto únicamente debido a una formulación tóxica.

2. Perdonar (Filtrado a Nivel de Audio):

   • Mecanismo: Esta estrategia opera sobre los candidatos de audio recuperados. Los clips recuperados son primero transcritos mediante un modelo ligero de Voz a Texto (Silero ASR) y luego clasificados para toxicidad usando Detoxify.
   • Lógica: Los clips de audio tóxicos dentro de los candidatos Top-$k$ son degradados mediante una renormalización softmax. Este enfoque es "indulgente" en tanto que filtra el discurso de odio explícito pero retiene el contenido "limítrofe" que es seguro, asegurando que el audio útil pero sensible no sea descartado por completo.

Contribuciones Clave

• Marco Novedoso: Introducción de un marco de post-procesamiento que integra el ajuste de puerta frontal causal con un mediador controlado por sentimiento para la recuperación de audio.
• Enfoque de Doble Estrategia: El desarrollo de "Olvidar" (generación de variantes contrafácticas de prompts y promedio de logits) y "Perdonar" (transcripción basada en ASR y re-clasificación) que abordan la toxicidad tanto en el nivel del modelo como en el nivel del audio.
• Nuevas Métricas de Evaluación: Propuesta de tres métricas específicas para evaluar la recuperación no tóxica:
  • Tasa de Éxito (Success Rate): La proporción de audio recuperado que es no tóxico.
  • Precisión (Accuracy): Qué tan bien el audio recuperado no tóxico se alinea con la clase objetivo.
  • Sensibilidad (Sensitivity): La proporción de audio no tóxico correctamente recuperado dentro de la totalidad de las ocurrencias de una clase.
• Agnosticismo de Modelo: El marco está diseñado para integrarse sin problemas en los procesos de recuperación existentes (probado en ATNLL, TUAR y WavCaps).

Resultados Experimentales
Los experimentos se realizaron en los conjuntos de datos AUDIOCAPS y CLOTHO utilizando tres modelos de vanguardia. Los resultados demuestran:

• Reducción de Toxicidad: El enfoque combinado "Olvidar + Perdonar" produce consistentemente la mayor Tasa de Éxito, superando significativamente a los modelos base. Por ejemplo, en AUDIOCAPS en Top@10, la Tasa de Éxito para ATNLL mejoró de 0.60 (base) a 0.92 con el método combinado.
• Preservación de la Relevancia: A pesar del filtrado agresivo de toxicidad, el marco mantiene una alta Precisión y Sensibilidad. El enfoque combinado a menudo logra la mejor Precisión general, lo que indica que la relevancia semántica se preserva.
• Robustez: El análisis de calidad de audio mediante la correlación de rango de Spearman, la correlación de Pearson y la Distancia de Audio No Coincidente (NOMAD) muestra que los audios mitigados retienen más del 90% de similitud con la verdad de campo (ground truth), indicando que no hay degradación perceptible en la calidad del audio.
• Ablación: Se identifica a "Olvidar" como el principal motor para la supresión de toxicidad (Tasa de Éxito), mientras que "Perdonar" contribuye a una mayor Precisión y Sensibilidad al preservar el contenido limítrofe seguro.

Significancia y Reivindicaciones
El artículo sostiene que manejar temas sensibles como el discurso de odio en la recuperación de texto a audio requiere más que un simple filtrado; demanda una comprensión de las dependencias contextuales. El marco propuesto ofrece una solución que reduce sustancialmente la recuperación tóxica sin comprometer la utilidad del sistema. Al combinar la supresión sistémica estricta ("Olvidar") con un filtrado fino a nivel de audio ("Perdonar"), los autores logran una recuperación de texto a audio segura con un estado del arte. El trabajo enfatiza que la seguridad y la confiabilidad pueden mejorarse simultáneamente, abordando una brecha crítica en los sistemas actuales de recuperación multimodal sin requerir el re-entrenamiento de los modelos subyacentes.