지금까지 인터넷상의 욕설을 감지하는 시스템은 대부분 **"듣기 → 글자로 옮기기 (ASR) → 글자 분석"**이라는 3 단계 과정을 거쳤습니다.
하지만 이 방식에는 치명적인 약점이 있습니다.
비유: 마치 감동적인 연극을 대본 (글자) 만으로 분석하는 것과 같습니다. 배우의 목소리 톤, 화난 표정, 떨리는 숨소리 같은 '감정'이 대본에는 적혀 있지 않죠.
현실: 특히 인도 같은 다언어 지역에서는 사투리나 섞인 말투가 많아 글자로 옮기는 과정 (전사) 에서 오류가 자주 발생합니다. "이 사람이 화난 건지, 장난친 건지"를 구분하는 중요한 **목소리의 리듬과 감정 (억양)**이 글자로 바뀌는 순간 사라져버리는 것입니다.
🧠 2. 해결책: "CLAP 이라는 '소리의 번역가'"
연구팀은 CLAP이라는 인공지능 모델을 사용했습니다. CLAP 은 소리와 텍스트를 동시에 배우는 모델입니다.
비유: CLAP 은 음악을 듣는 동시에 가사를 읽는 천재 음악가입니다. 이 음악가는 악보 (텍스트) 가 없어도, 노래를 듣고 "이 곡은 슬프다", "이 곡은 공격적이다"라고 바로 감지할 수 있습니다.
핵심: 이 연구는 이 천재 음악가 (CLAP) 가 글자로 옮기지 않고도, 소리만 듣고 욕설을 찾아낼 수 있는지 확인했습니다.
🎯 3. 실험: "적은 데이터로 가르치는 법 (Few-Shot)"
인도 언어들은 데이터가 매우 부족합니다. 수천 개의 욕설 샘플을 구하기 어렵죠. 그래서 연구팀은 **"적은 예시 (Few-Shot)"**로 모델을 가르치는 실험을 했습니다.
비유: 새로운 나라에 가서 그 나라의 '나쁜 말'을 배우는 상황입니다.
기존 방식: 그 나라의 모든 나쁜 말 10,000 개를 외워서 시험을 봄 (완전 감시 학습).
이 연구 방식: 그 나라 사람 5 명에게 "이건 나쁜 말이고, 이건 좋은 말이야"라고 5 번만 가르쳐주고 시험을 봄 (Few-Shot 학습).
연구팀은 두 가지 방법을 비교했습니다.
프로젝션만 수정 (Projection-only): 천재 음악가 (CLAP) 는 그대로 두고, 그 사람이 내리는 '판단 기준'만 살짝 조정하는 것. (가벼운 수정)
음악가도 함께 수정 (Fine-tuning): 천재 음악가 자체의 뇌 구조를 다시 가르치는 것. (무거운 수정)
📊 4. 결과: "적은 데이터로도 놀라운 성과"
결과는 매우 흥미로웠습니다.
성공 사례:펀자브어 (Punjabi) 같은 언어에서는, 5 개의 예시만 보고 학습한 모델이, 수천 개의 데이터를 다 보고 학습한 기존 시스템보다 더 좋은 점수를 받았습니다!
비유: 천재 음악가가 5 번의 짧은 연습만으로도 그 나라의 악성 소리를 완벽하게 알아챈 셈입니다.
중요한 발견:
언어마다 다르다: 어떤 언어는 5 개 예시로 충분했지만, 어떤 언어는 25 개가 필요했습니다. "무조건 예시를 많이 주면 좋은 것"은 아니라는 뜻입니다.
가벼운 수정이 낫다: 천재 음악가 (CLAP) 의 뇌를 건드리지 않고, 판단 기준 (프로젝션) 만 살짝 고치는 것이 오히려 더 안정적이고 효과적이었습니다.
🌍 5. 교차 언어 테스트: "한 언어를 배워도 다른 언어를 알 수 있을까?"
이 모델이 특정 언어 (예: 힌디어) 를 배울 때, 그 언어를 완전히 배제하고 다른 언어들만 학습시켰을 때, 힌디어 욕설을 잘 찾아낼 수 있는지 확인했습니다.
결과: 놀랍게도, 자신의 언어를 전혀 배우지 않았음에도 다른 언어들을 통해 배운 '공통된 악성 소리의 패턴'을 잘 활용했습니다.
비유: 프랑스어, 스페인어, 이탈리아어를 공부한 사람이, 이탈리아어를 전혀 배우지 않았더라도 로망스어군 (유사한 언어족) 의 공통된 특징을 통해 이탈리아어 문장을 어느 정도 이해하는 것과 비슷합니다.
한계: 하지만 완벽하지는 않았습니다. 특정 언어는 여전히 그 언어 자체를 직접 배워야 더 잘 알아챘습니다.
💡 6. 결론: "소리로 세상을 지키는 새로운 길"
이 논문은 **"데이터가 부족한 언어에서도, 소리의 감정과 리듬을 직접 분석하는 AI 가 텍스트 번역을 거치지 않고도 욕설을 잘 찾아낼 수 있다"**는 것을 증명했습니다.
핵심 메시지: 우리는 더 이상 "소리를 글자로 바꾸는" 번거롭고 오류가 많은 과정을 거치지 않아도 됩니다. 소리 그 자체의 감정을 읽는 AI가 소셜 미디어의 악성 콘텐츠를 막는 더 빠르고 정확한 해결책이 될 수 있습니다.
이 기술이 발전하면, 인도나 아프리카 같은 데이터가 부족한 지역에서도 소수 언어 사용자들이 겪는 온라인 괴롭힘을 효과적으로 막을 수 있는 희망이 생깁니다.
1. 문제 정의 (Problem Statement)
배경: 소셜 미디어가 텍스트 기반에서 음성 기반 상호작용 (숏폼 비디오, 음성 메모, 라이브 오디오 등) 으로 빠르게 전환되면서, 음성을 통한 학대 및 혐오 표현 탐지의 중요성이 증가하고 있습니다.
기존 접근법의 한계: 현재 대부분의 시스템은 자동 음성 인식 (ASR) 을 거쳐 텍스트로 변환한 후 텍스트 기반 분류기를 적용하는 파이프라인을 사용합니다. 그러나 저자원 언어 (특히 인도어 계열) 에서는 다음과 같은 치명적인 단점이 있습니다.
전사 오류: 비공식적, 구어체, 코드 믹스 (Code-mixed), 욕설이 풍부한 음성은 ASR 전사 오류를 유발하여 학대 의도를 왜곡하거나 맥락을 잃게 합니다.
초음향 정보 손실: 음성의 학대성은 어휘뿐만 아니라 피치, 강조, 리듬, 감정적 강도 등의 초음향적 (Paralinguistic) 및 운율적 (Prosodic) 특성에 크게 의존하는데, 텍스트 변환 시 이러한 정보가 소실됩니다.
오류 누적: ASR 과 텍스트 분류 단계별 오류가 누적되어 시스템 실패 위험을 높입니다.
목표: 텍스트 변환 없이 직접 오디오 신호에서 학대 음성을 탐지할 수 있는 저자원 및 다국어 환경에 적합한 프레임워크를 구축하는 것입니다.
2. 방법론 (Methodology)
이 연구는 Contrastive Language-Audio Pre-training (CLAP) 모델을 기반으로 한 오디오 - 텍스트 임베딩을 활용합니다.
데이터셋: 10 가지 인도어 (인도 언어) 를 포함하는 ADIMA 데이터셋 (11,775 개의 오디오 클립) 을 사용합니다.
모델 아키텍처:
CLAP: 오디오와 텍스트를 공유된 의미 공간에 정렬하는 대비적 학습 (Contrastive Learning) 모델.
Zero-shot 추론: "이 오디오는 혐오 발언을 포함한다/포함하지 않는다"와 같은 텍스트 프롬프트를 사용하여 오디오와 직접 비교합니다.
Few-shot Supervised Contrastive Adaptation (핵심):
각 언어별 클래스당 소수의 레이블된 데이터 (k-shot) 만을 사용하여 임베딩 공간을 미세 조정합니다.
적응 전략 비교:
Projection-only: CLAP 인코더는 고정 (Frozen) 하고, 경량의 프로젝션 헤드 (Projection Head) 만 학습합니다.
Projection + Fine-tuning: 프로젝션 헤드와 오디오 인코더의 마지막 레이어를 함께 학습합니다.
손실 함수: 지도 대비적 손실 (Supervised Contrastive Loss) 을 사용하여 동일 클래스 샘플은 가깝게, 다른 클래스 샘플은 멀리 배치되도록 임베딩 공간의 기하학적 구조를 개선합니다.
평가 설정:
단일 언어 (Monolingual): 해당 언어로만 학습 및 테스트.
교차 언어 (Cross-lingual): 모든 언어로 학습하여 특정 언어 테스트.
Leave-One-Language-Out (LOLO): 목표 언어를 학습 데이터에서 완전히 제외하고 테스트 (전이 학습 능력 평가).
분류기: 적응된 임베딩을 기반으로 SVM 과 ANN-MLP 를 학습시켜 성능을 평가합니다.
3. 주요 기여 (Key Contributions)
ASR 의존성 제거: 텍스트 변환 없이 오디오 원본에서 직접 학대 음성을 탐지하는 CLAP 기반 프레임워크를 제안하여, 저자원 언어 환경에서의 전사 오류와 초음향 정보 손실 문제를 해결했습니다.
저자원 적응 전략 검증: 완전한 지도 학습이 불가능한 환경에서 소량의 레이블 (Few-shot) 만으로도 CLAP 임베딩을 효과적으로 적응시킬 수 있음을 입증했습니다. 특히 경량의 Projection-only 적응이 인코더 전체 파인튜닝보다 효율적이고 안정적인 성능을 보였습니다.
다국어 전이 분석: 10 가지 인도어에 대한 교차 언어 및 LOLO 평가를 통해, CLAP 모델이 언어에 무관한 학대 관련 음향 특징을 학습하고 있음을 확인했습니다.
4. 실험 결과 (Results)
성능:
**펀자브어 (Punjabi)**에서 Projection-only 적응 (5-shot) 이 83.65% 의 Macro-F1을 기록하여, 완전한 지도 학습으로 훈련된 기존 ADIMA 벤치마크 (83.40%) 를 소폭 상회했습니다.
하리야니 (Haryanvi), 오디아 (Odia), 말라얄람 (Malayalam) 등에서도 제한된 레이블 (25-shot 또는 50-shot) 로 기존 완전 감독 시스템과 경쟁력 있는 성능을 달성했습니다.
벤골리, 힌디어, 칸나다, 타밀어에서는 완전 감독 시스템 대비 2~4 포인트 차이가 있었으나, 이는 완전 감독 (전체 데이터) 과 퓨샷 (최대 50 개 샘플) 의 학습 조건 차이를 고려할 때 매우 의미 있는 결과입니다.
적응 전략 비교:
Projection-only가 Projection+Fine-tuning 보다 일반적으로 더 안정적이고 우수한 성능을 보였습니다. 이는 인코더의 사전 학습된 지식을 유지하면서 경량 헤드로만 작업별 정보를 추출하는 것이 저자원 환경에 더 적합함을 시사합니다.
Shot 수와 성능의 비단조성: 일부 언어 (예: 구자라트어) 는 0-shot(프롬프트만) 에서 가장 좋은 성능을 보인 반면, 다른 언어는 25-shot 에서 최적화되었습니다. 즉, 레이블 양이 많다고 해서 항상 성능이 향상되는 것은 아닙니다.
전이 학습 (LOLO 분석):
목표 언어를 학습 데이터에서 제외하는 LOLO 설정에서도 교차 언어 설정과 유사한 성능을 유지했습니다. 이는 모델이 특정 언어에 의존하지 않고 언어 중립적인 학대 음향 특징을 학습했음을 의미합니다.
다만, LOLO 가 항상 교차 언어 설정보다 우월한 것은 아니며, 언어에 따라 전이 효과가 다르게 나타났습니다.
5. 의의 및 결론 (Significance & Conclusion)
기술적 의의: CLAP 과 같은 대비적 오디오 - 텍스트 모델이 저자원 다국어 환경에서 오디오 학대 탐지를 위한 강력한 기반이 될 수 있음을 입증했습니다.
실용적 가치: 대규모 레이블 데이터 수집이 어려운 저자원 언어 지역에서도 소량의 데이터만으로도 효과적인 학대 탐지 시스템을 구축할 수 있는 경량 적응 (Projection-only) 방법을 제시했습니다.
한계 및 향후 과제:
단일 벤치마크 (ADIMA) 에만 의존하여 다른 데이터셋이나 비인도어 언어로의 일반화 여부는 불확실합니다.
퓨샷 설정에서 데이터 샘플링에 따른 변동성 (Variance) 이 존재할 수 있으므로, 향후 다양한 시드 (Seed) 를 통한 평가와 공정한 편향 분석이 필요합니다.
프롬프트 설계 최적화 및 멀티모달 융합 등을 통해 성능을 더욱 향상시킬 수 있습니다.
요약: 이 논문은 ASR 기반 파이프라인의 한계를 극복하고, CLAP 모델을 활용한 직접 오디오 기반의 퓨샷 학대 탐지가 저자원 인도어 환경에서 유효함을 입증했습니다. 특히 경량 프로젝션 적응이 효율적인 해결책임을 보여주었으며, 이는 다국어 콘텐츠 규제 시스템 개발에 중요한 통찰을 제공합니다.