Forgive or forget: Understanding the context of hate in audio retrieval systems

기술 요약: 용서할 것인가 잊을 것인가: 오디오 검색 시스템에서 혐오의 맥락 이해하기

문제 정의
대규모 오디오 인코더와 트랜스포머 기반 언어 모델에 의해 구동되는 텍스트-오디오 검색 시스템은 AUDIOCAPS 및 CLOTHO와 같은 벤치마크에서 상당한 성능을 달را 성과를 거두었습니다. 그러나 이러한 시스템은 독성(toxic) 또는 혐오(hate) 오디오를 의도치 않게 검색하는 결정적이고 미개척된 과제에 직면해 있습니다. 대규모 학습 데이터셋에는 욕설, 비속어, 괴롭힘을 포함한 유해한 발화가 필연적으로 포함됩니다. 텍스트에서의 독성 탐지는 잘 연구되어 있지만, 텍스트-오디오 검색을 위한 기존의 완화 전략(예: 재구문 또는 요약)은 사용자의 원래 의도를 변경하거나 중요한 의미적 세부 사항을 누락시킬 위험이 있습니다. 핵심적인 어려움은 혐오 표현의 맥락적 의존성에 있으며, 동일한 의미적 개념이라도 표현 방식에 따라 독성 여부가 결정될 수 있다는 점입니다.

방법론: 사후적 인과적 디바이어싱(Debiasing) 프레임워크
저자들은 유해한 발화를 억제하면서 의미적 관련성을 보존하도록 설계된 모델 불가지론적(model-agnostic) 사후적 인과적 디바이어싱 프레임워크를 제안합니다. 이 접근 방식은 전방 문(front-door) 조정 인과 구조 내에서 **감정 제어 매개체(sentiment-controlled mediator)**를 활용합니다.

• 인과 구조: 표준 검색에서 입력 프롬프트 $T$는 모델 $M$에 의해 $X$로 임베딩되어 순위 $Y$를 결정합니다. $M$이 관찰되지 않은 혼란 변수(unobserved confounder)로 작용하기 때문에, 표준 백도어 조정은 불충분합니다. 저자들은 혐오(Hate), 비속어(Profanities), 포르노그래피적 언어(Pornographic Language), 슬러(Slurs), 폭력(Violence), 괴롭힘(Bullying)의 6가지 특정 독성 의도가 주입된 $X$의 스타일 변형을 나타내는 매개체 $Z$를 도입합니다. 이는 $X \to Z \to Y$라는 매개 경로를 생성하여, 시스템이 독성 편향을 관찰하고 억제할 수 있도록 합니다.

프레임워크는 두 가지 상호 보완적인 전략을 통해 작동합니다:

1. 잊기 (Forget - 모델 수준의 억제):

   • 메커니즘: 이 전략은 대규모 언어 모델(LLM)을 사용하여 입력 쿼리의 역사실적(counterfactual) 독성 변형을 생성합니다. 이는 Noise2Noise 원리에 영감을 받은 **로짓 평균화(logit-averaging)**를 원본 프롬프트와 그 독성 변형들에 대해 적용합니다.
   • 논리: 독성 편향은 서로 다른 스타일 변형에 따라 변동하지만, 의미적 관련성은 안정적으로 유지됩니다. 검색 로짓($\ell_f = \frac{1}{|L|} \sum \ell^{(i)}_Y$)을 평균함으로써, 시스템은 독성 신호를 체계적으로 상쇄하는 동시에 핵심 의미를 유지합니다. 이를 통해 독성적인 문구 때문에 순위가 높아진 오디오 클립이 검색되는 것을 방지합니다.

2. 용서하기 (Forgive - 오디오 수준의 필터링):

   • 메커니즘: 이 전략은 검색된 오디오 후보군에 대해 작동합니다. 검색된 클립은 먼저 경량 음성-텍스트 모델(Silero ASR)을 통해 전사된 후, Detoxify를 사용하여 독성 여부를 분류합니다.
   • 논리: Top-$k$ 후보 내의 독성 오디오 클립은 **소프트맥스 재정규화(softmax renormalization)**를 통해 순위가 낮아집니다. 이 방식은 명시적인 혐오 발화는 필터링하되, 안전한 "경계선상의" 콘텐츠는 유지하여 유용하지만 민감한 오디오가 완전히 버려지지 않도록 하는 "관대한" 접근 방식입니다.

주요 기여

• 새로운 프레임워크: 인과적 전방 문 조정을 감정 제어 매개체와 통합한 사후 처리 프레임워크를 도입했습니다.
• 이중 전략 접근법: 모델 수준과 오디오 수준 모두에서 독성을 다루는 "Forget"(역사실적 프롬프트 생성 및 로짓 평균화)과 "Forgive"(ASR 기반 전사 및 재순위화)를 개발했습니다.
• 새로운 평가 지표: 비독성 검색을 평가하기 위한 세 가지 특정 지표를 제an합니다:
  • 성공률(Success Rate): 검색된 오디오 중 비독성 오디오의 비율.
  • 정확도(Accuracy): 비독성 검색된 오디오가 타겟 클래스와 얼마나 잘 일치하는지.
  • 민감도(Sensitivity): 전체 클래스 발생 횟수 중 올바르게 검색된 비독성 오디오의 비율.
• 모델 불가지론: 이 프레임워크는 기존의 검색 파이프라인(ATNLL, TUAR, WavCaps에서 테스트됨)에 원활하게 통합되도록 설계되었습니다.

실험 결과
실험은 세 가지 최첨단 모델을 사용하여 AUDIOCAPS 및 CLOTHO 데이터셋에서 수행되었습니다. 결과는 다음과 같습니다:

• 독성 감소: 결합된 "Forget + Forgive" 접근 방식은 일관되적으로 가장 높은 성공률을 보이며, 베이스라인을 크게 상회합니다. 예를 들어, AUDIOCAPS의 Top@10에서 ATNLL의 성공률은 결합된 방법을 통해 베이스라인 0.60에서 0.92로 향상되었습니다.
• 관련성 보존: 공격적인 독성 필터링에도 불구하고, 프레임워크는 높은 정확도와 민감도를 유지합니다. 결합된 접근 방식은 종종 최고의 전체 정확도를 달성하며, 이는 의미적 관련성이 보존됨을 나타냅니다.
• 강건성: Spearman의 순위 상관계수, Pearson 상관계수 및 Non-Matching Audio Distance (NOMAD)를 이용한 오디오 품질 분석 결과, 완화된 오디오는 실제 정답(ground truth)과 90% 이상의 유사성을 유지하여 오디오 품질의 가시적인 저하가 없음을 보여주었습니다.
• 절제 연구(Ablation): "Forget"이 독성 억제(성공률)의 주요 동력인 반면, "Forgore"는 경계선상의 안전한 콘텐츠를 보존함으로써 더 높은 정확도와 민감도에 기여하는 것으로 확인되었습니다.

의의 및 주장
본 논문은 텍스트-오디오 검색에서 혐오 발화와 같은 민감한 주제를 다루는 데는 단순한 필터링 이상의 것, 즉 맥락적 의존성에 대한 이해가 필요하다고 주장합니다. 제안된 프레임워크는 하부 모델을 재학습할 필요 없이, 시스템의 유용성을 해치지 않으면서 독성 검색을 대폭 줄이는 솔루션을 제공합니다. 엄격한 시스템적 억제("Forget")와 세밀한 오디오 수준의 필터링("Forgive")을 결합함으로써, 저자들은 최첨단의 안전한 텍스트-오디오 검색을 달성했습니다. 이 연구는 안전성과 신뢰성을 동시에 개선할 수 있음을 강조하며, 기존의 다중 모달 검색 시스템의 중요한 공백을 메우고 있습니다.