Improving Implicit Hate Speech Detection via a Community-Driven Multi-Agent Framework

기술 요약: 커뮤니티 주도형 멀티 에이전트 프레임워크를 통한 암시적 혐오 표현 탐지 개선

문제 정의
유해한 온라인 콘텐츠의 확산은 포용적인 디지털 환경에 심각한 위협이 되고 있습니다. 대규모 언어 모델(LLM)과 트랜스포머 기반 아키텍처를 활용한 자동화된 중재 시스템은 전반적인 분류 정확도를 개선했으나, 공정성과 암시적 혐오 표현(implicit hate speech) 탐지 측면에서는 어려움을 겪고 있습니다. 현재의 시스템은 보수적인 편향을 보이는 경우가 많습니다. 즉, 무해한 콘텐츠를 올바르게 식별함으로써 높은 진음성률(True Negative Rate, TNR)을 달agt하지만, 미묘하거나 암호화되거나 맥락 의존적인 혐오 표현을 탐지하는 데 실패하여 낮은 진양성률(True Positive Rate, TPR)을 보입니다. 이러한 불균형은 소외된 공동체에 불균형적인 피해를 줍니다. 나아가, 혐오 표현은 본질적으로 사회적이고 맥락적인 구성물이며, 그 해석은 관련된 정체성에 크게 의존합니다. 지배적인 관점을 학습 데이터로부터 체득하는 기존의 자동화된 접근 방식은 소수자의 관점을 체계적으로 통합하지 못하며, 이는 오분류를 초래하여 중재 노력에 대한 신뢰를 저해합니다.

방법론
저자들은 Gemini-2.5-Flash LLM을 사용하여 AutoGen 라이브러리 내에서 구현된 맥락화된 탐지 프레임워크를 제안합니다. 이 아키텍처는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 중재 에이전트(Moderator Agent): 소셜 미디어 게시물의 초기 의미 및 맥락적 평가를 담당하는 중앙 에이전트입니다. 이 에이전트는 견고한 중재 정책에 따라 작동하며, 초기 분류(혐오/비혐오/불확실), 근거, 그리고 전문가 자문이 필요한지를 나타내는 메타 인지 플래그를 생성합니다.
2. 커뮤니티 에이전트(Community Agents): 혐오 표현의 표적이 되는 특정 사회문화적 집단을 대변하는 특화된 에이전트입니다. 이들은 전문 고문 역할을 수행합니다.
   • 구축: 대상 집단이 식별되면, 시스템은 배경 정보를 위키피디아 지식 베이스에서 검색하기 위해 검색 쿼리를 자동으로 생성합니다. 이 사실적 데이터는 트랜스포머 인코더를 통해 토큰 임베딩으로 인코딩됩니다. 이후 그룹 쿼리와 검색된 텍스트 간의 교차 주의(cross-attention)를 통해 커뮤니티 에이전트 임베딩이 도출되며, 이를 통해 에이전트의 '페르소나'가 환각된 편향이 아닌 공적이고 사실적인 사회문화적 맥락에 근거하도록 보장합니다.
   • 워크플로우: 프로세스는 3단계 절차를 따릅니다.
     1. 예비 평가: 중재자가 게시물을 분석합니다.
     2. 조건부 자문: 중재자가 불확실성(정의된 불확실성 범위 내)을 느낄 경우, 관련 커뮤니티 에이전트에게 타겟팅된 자문을 요청합니다.
     3. 의사결정 합성: 중재자는 커뮤니티 에이전트의 통찰력을 자신의 초기 평가와 통합하여 최종적이고 정보에 기반한 분류 및 근거를 생성합니다.

시스템은 암시적 독성(toxic examples의 98% 이상이 미묘함)을 탐지하도록 설계된 ToxiGen 데이터셋을 통해 평가되었습니다. 연구는 흑인, 아시아인, 유대인, 무슬림, 여성, LGBTQ 커뮤니티 등 6개 대상 집단에 초점을 맞추었습니다.

주요 기여

1. 멀티 에이전트 프레임워크: 본 논문은 표적이 된 인구통계학적 집단을 대변하는 특화된 커뮤니티 에이전트를 통합함으로써 공정성 원칙을 실행하는 새로운 커뮤니티 주도형 탐지 프레임워크를 도입합니다.
2. 맥락적 통합: 표준적인 프롬프팅 방법과 달리, 이 접근 방식은 정체성 인식 중재를 가능하게 하기 위해 공개된 지식 소스(위키피디아)로부터 사회문화적 맥락을 명시적으로 통합합니다.
3. 평가의 엄격성: 본 연구는 **균형 정확도(Balanced Accuracy, bACC)**를 핵심 지표로 우선순위에 둠으로써 기술적 평가를 강화했습니다. 이 지표는 혐오 탐지와 정당한 발언의 억제 사이의 트레이드오프를 해결하기 위해 진양성률(TPR)과 진음성률(TNR)에 동일한 가중치를 부여합니다.

결과
ToxiGen 데이터셋에 대한 실험 결과, 제안된 멀티 에이전트 프레임워크는 최신 프롬프팅 베이스라인(Zero-shot, Few-shot, Chain-of-Thought 프롬프팅) 및 커뮤니티 에이전트가 없는 절제된(ablated) 버전의 성능을 유의미하게 상회했습니다.

• 성능 지표: 에이전트 방식은 평균 TPR 0.75를 달성하여, 베이스라인(0.42 ~ 0.59 범위)보다 실질적으로 높았습니다. 또한 높은 TNR(0.969)을 유지하여, Chain-of-Thought 프롬프팅의 0.774와 비교되는 우수한 평균 균형 정확도(bACC) 0.86을 기록했습니다.
• 공정성: 프레임워크는 모든 대상 집단에 걸쳐 탐지 공정성을 개선했습니다. 절제 연구(ablation study)에 따르면, 커뮤니티 에이전트의 자문 없이 중재자 단독으로 수행할 경우, 특히 중재자가 암시적 혐오를 탐지하는 데 어려움을 겪는 LGBTQ 및 여성과 같은 소외 계층에 대해 성능이 크게 하락하는 것으로 나타났습니다.
• 통계적 유의성: 에이전트 방식과 다른 방법들 간의 성능 차이는 통계적으로 유의미했습니다 ($p < 0.001$).

의의 및 주장
저자들은 이 연구가 콘텐츠 중재를 위한 에이전트 기반 인공지능의 실질적인 진보를 나타낸다고 주장합니다. 텍스트 중심 및 모델 중심의 개선을 넘어, 이 프레임워크는 암시적 혐오 표현을 형성하는 풍부한 사회적, 문화적 맥락을 통합하는 명시적 메커니즘의 부재라는 현재 시스템의 근본적인 한계를 해결합니다.

본 연구는 커뮤니티 주도형의 협의 설계가 탐지 정확도와 중재 공정성 모두에 상당한 이점을 제공한다고 단언합니다. 이는 시뮬레이션된 커뮤니티 에이전트를 통해 "전문가 참여형(expert-in-the-loop)" 거버넌스를 통합함으로써, 시스템이 암호화된 언어와 역사적 암시를 더 잘 해석하고, 결과적으로 더 정확하고 사회적으로 정렬된 중재 결정을 내릴 수 있음을 입증합니다. 본 연구는 표적 커뮤니티의 삶의 경험을 반영하는, 더 적응적이고 사회적으로 민감한 중재 관행을 향한 단계로 자리매김하고 있습니다.