🤖 AI

SPAR-Hate: An Auditor-Guided Multi-Agent Framework for Bilingual Hate Speech Parsing

이 논문은 문서를 절 단위의 유닛으로 분해하고, 피해자, 중재자, 문화적 방관자의 관점에서 증거에 기반한 판단을 생성하며, 중재를 통해 갈등을 해결함으로써 구조화된 추출 벤치마크에서 최첨단 결과를 달성하는 감사인 유도형 멀티 에이전트 프레임워크인 SPAR-Hate를 소개한다.

원저자: Yifan Lyu, Dianqing Lin, Xinran Li, Jiaqi Qiao, Xiujuan Xu

게시일 2026-08-25

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yifan Lyu, Dianqing Lin, Xinran Li, Jiaqi Qiao, Xiujuan Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷은 인간의 표현이 모이는 거대하고 소란스러운 시장이며, 단 하나의 문장이 누군가에게는 무해한 농담이 될 수 있는 반면 다른 이에게는 배제의 무기가 될 수도 있는 공간입니다. 수년 동안 컴퓨터는 이 공간을 관리하려고 노력해 왔지만, 단순한 나쁜 단어를 찾는 데 치중하여 사회적 맥락을 이해하는 데는 서툴고 투박한 경우가 많았습니다. 컴퓨터는 친구 사이의 친근한 모욕과 특정 개인의 정체성을 겨냥한 진짜 공격을 구분하는 데 어려움을 겪으며, 특히 그 공격이 지역 슬랭, 문화적 참조 또는 미묘한 고정관념 뒤에 숨겨져 있을 때 더욱 그렇습니다. 이것이 혐오 표현 탐지의 핵심 과제입니다. 즉, 단순히 불쾌한 단어를 찾는 것이 아니라, 누가 표적이 되는지, 논거가 무엇인지, 그리고 왜 그것이 해를 끼치는지 이해하는 것입니다. 언어가 영어가 아니거나, 특정 문화권의 사람들만이 알아챌 수 있는 방식으로 혐오가 암호화되어 있을 때 이 어려움은 더욱 가중됩니다.

한 연구팀이 이 문제를 해결하기 위한 새로운 방법을 제안하며, 단일 컴퓨터 프로그램이 빠르게 판단을 내리는 방식에서 벗어나고자 했습니다. 대신, 그들은 서로 다른 '에이전트(agent)'들이 동일한 텍스트를 다양한 각도에서 살펴본 후 최종 결론에 도달하는, 마치 인간 전문가 패널을 모방한 시스템을 구축했습니다. 중국어와 영어 텍스트 모두에서 테스트된 이들의 연구는, 긴 게시물을 작은 조각으로 나누고 다각적인 관점을 통해 논거를 펼치게 하는 것이 현상에 대한 훨씬 더 정확한 이해로 이어진다는 것을 시사합니다. 이 시스템은 단순히 추측하는 것이 아니라, 컴퓨터가 자신의 추론을 설명하고, 증거를 확인하며, 레이블을 붙이기 전에 의견 차이를 해결하도록 강제합니다.

Yifan Lyu와 동료들이 이끄는 연구진은 SPAR-Hate라는 프레임워크를 도입했습니다. 그 이름은 긴 문서를 관리 가능한 작은 문장이나 절 단위로 쪼개는 구조화된 과정을 의미합니다. 이는 매우 중요한데, 하나의 게시물이 세 가지 다른 집단을 세 가지 다른 방식으로 공격할 수 있기 때문입니다. 전체를 한꺼번에 읽으려는 컴퓨터는 종종 누가 공격받고 있는지와 무엇이 말해지고 있는지를 혼동하곤 합니다. 텍text를 작은 단위로 분리함으로써 시스템은 한 번에 하나의 구체적인 주장에 집중할 수 있습니다. 일단 텍스트 조각이 격리되면, 시스템은 단 하나의 AI에게 혐오 표현 여부를 결정하라고 묻는 대신, 각각 특정한 역할을 수행하는 세 명의 가상 에이전트에게 이를 검토하도록 요청합니다.

첫 번째 에이전트는 '피해자(Victim)'입니다. 이 관점은 해악, 배제, 그리고 타겟팅되는 느낌에 매우 민감하도록 설계되었습니다. 이 에이전트는 미세한 공격(micro-aggressions), 고정관념, 그리고 특정 집단이 안전하지 않다고 느끼게 하거나 비인간화하는 언어를 찾아냅니다. 두 번째 에이전트는 '중재자(Moderator)'로, 소셜 미디어 플랫폼의 규칙집 역할을 합니다. 이 에이전트는 명백한 폭력 위협, 직접적인 괴롭힘과 같은 안전 정책 위반 사항을 찾되, 학대로 넘어가지 않는 주관적인 의견 대립은 무시합니다. 세 번째 에이전트는 지역적 맥락에 정통한 '문화적 방관자(Cultural Bystander)'입니다. 이 에이전트는 외부자에게는 무해해 보일 수 있지만 특정 공동체 내에서는 깊은 모욕이 될 수 있는 암호화된 언어, 동음이의어적 언어유희, 지역 슬랭을 인식하도록 훈련되었습니다. 중국어 버전의 시스템에서는 이 에이전트에게 숨겨진 모욕을 포착할 수 있도록 특화된 지역 혐오 용어 사전이 제공됩니다.

이 세 명의 에이전트가 동일한 텍스트 조각을 읽은 후에는 종종 의견이 갈립니다. 어떤 이는 해롭지 않다고 말하는 반면, 다른 이는 명백한 공격이라고 말할 수 있습니다. 여기서 시스템의 가장 중요한 혁신이 등장합니다. 바로 '감사관(Auditor)'입니다. 이 네 번째 에이전트는 단순히 표를 세는 것이 아닙니다. 대신, 그는 판사로서 세 명의 에이전트가 제공한 증거를 검토합니다. 그는 그들의 주장이 실제 텍스트에 근거하고 있는지, 규칙과 일치하는지, 그리고 문화적 맥락에서 타당한지를 확인합니다. 만약 '중재자'가 '방관자'가 포착한 미묘한 문화적 모욕을 놓쳤다면, 감사관은 중재자의 견해를 뒤집을 수 있습니다. 만약 '피해자'가 중립적인 진술에 대해 지나치게 민감하다면, 감사관은 이를 바로잡을 수 있습니다. 시스템은 에이전트들에게 자신의 주장을 뒷받침할 구체적인 인용구를 제공하도록 강제하여, 최종 결정이 막연한 느낌이 아닌 증거에 기반하도록 보장합니다.

연구진은 이 접근 방식을 영어와 중국어에 대한 두 가지 주요 벤치마크(컴퓨터가 혐오 표현을 얼마나 잘 이해하는지 측정하는 표준 데이터 세트)에서 테스트했습니다. 영어 벤치마크의 경우, 공개 데이터 세트가 테스트 세트만 제공했기 때문에 연구진은 연구를 위해 이를 결정론적으로 섞고 다시 나누어 학습 및 테스트 하위 집합을 만들었습니다. 그들은 이 멀티 에이전트 시스템을 단일 AI에게 작업을 수행하도록 요청하는 단순 프롬프트 및 기타 복잡한 추론 프레임워크를 포함한 다른 방법들과 비교했습니다. 결과는 SPAR-Hate 시스템이 특히 가장 어려운 과제에서 다른 방식들을 지속적으로 능가했다는 것을 보여주었습니다. 이 시스템은 공격의 구체적인 대상, 사용된 정확한 단어, 그리고 해악에 대한 올바른 레이블을 식별하는 데 훨씬 더 뛰어났습니다. 이러한 개선은 컴퓨터가 대상, 논거, 레이블을 모두 동시에 정확히 맞추어야 하는 엄격한 평가를 요구할 때 가장 눈에 띄었습니다. 이는 시스템이 단순히 더 자주 추측하는 것이 아니라, 실제로 혐오 표현의 구조를 더 잘 이해하고 있음을 시사합니다.

가장 놀라운 발견 중 하나는 이 시스템이 특정 데이터에 대해 별도로 훈련되지 않고도 잘 작동했다는 점입니다. 연구진은 이 특정 작업을 위해 미세 조정(fine-tuning)되지 않은 대규모 언어 모델을 사용했으며, 대신 그들이 작성한 프롬프트의 품질과 멀티 에이전트 프레임워크의 구조에 의존했습니다. 이는 이 문제가 해결되는 방식, 즉 문제를 분해하고 다양한 관점을 사용하는 것이 단순히 더 크거나 전문화된 모델을 갖는 것보다 더 중요하다는 것을 시사한다는 점에서 매우 유의미합니다. 또한 이 시스템은 더 작고 빠른 모델로 '증류(distilled)'될 수 있음을 보여주었습니다. 더 큰 팀의 단계별 추론 과정을 작은 컴퓨터가 모방하도록 가르침으로써, 연구진은 정확도는 거의 비슷하면서도 훨씬 효율적인 버전을 만들어냈으며, 이는 시스템의 논리가 더 단순한 기술로도 전이될 수 있음을 입증했습니다.

본 연구는 현재 기술의 한계 또한 강조했습니다. 이 고급 프레임워크를 사용하더라도, 시스템은 때때로 논거의 경계를 다루는 데 어려움을 겪어 공격의 정의에 너무 많은 텍스트를 포함하기도 했습니다. 그러나 연구진은 시스템이 다른 모델들을 당황하게 만드는 문화적 뉘사스를 처리하는 데 특히 뛰어나다는 것을 발견했습니다. 예를 들어, 중국어 텍스트에서 시스템은 '문화적 방관자' 에이전트의 특화된 지식을 사용하여, 무해한 용어처럼 들리지만 다르게 표기되어 모욕적인 의미를 갖는 동음이의어적 비속어를 성공적으로 식별했습니다. 영어의 경우, 공동체 내에서 재사용되는 슬랭과 외부인이 무기로 사용하는 동일한 단어를 구분하는 데 더 뛰어난 모습을 보였습니다.

이 연구는 혐오 탐지 문제를 완전히 해결했다고 주장하지 않습니다. 연구진은 현재 시스템이 중국어와 영어로 제한되어 있으며, 모든 언어나 문화적 환경에 대해 테스트되지 않았음을 인정합니다. 또한, 유해한 콘텐츠를 표시하도록 설계된 모든 시스템은 검열이나 감시에 악용될 위험을 수반한다는 점도 언급합니다. 논문은 이 방식이 의사 결정 과정을 더 투명하고 추적 가능하게 만들지만, 실세계 배치 시에는 특정 집단을 부당하게 표적으로 삼지 않도록 인간의 감독, 이의 제기 절차, 그리고 지속적인 모니터링이 여전히 필요함을 강조합니다.

궁극적으로, 이 논문은 컴퓨터에게 인간의 갈등을 이해하도록 가르치는 방식에 대한 사고의 전환을 제시합니다. 모든 것을 아는 단일하고 완벽한 알고리즘을 구축하려 하기보다, 연구진은 서로 다른 전문화된 관점이 무게를 두고 균형을 이루는 협력적 접근 방식이 더 효과적이라는 점을 제안합니다. 인간과 유사한 토론과 중재 과정을 시뮬레이션함으로써, 시스템은 이전의 방식들이 가졌던 한계를 넘어 복잡하고 주관적이며 문화에 의존적인 혐오 표현의 본질을 정밀하게 헤쳐나갈 수 있습니다. 이 연구 결과는 콘텐츠 중재의 미래가 더 큰 모델이 아니라, 우리가 이미 가진 모델을 더 똑똑하고 구조적인 방식으로 사용하는 데 달려 있음을 시사합니다.

기술 요약: SPAR-Hate

문제 정의

혐오 표현 탐지는 단순한 범주형 분류에서 구조적 파싱(structured parsing)으로 진화하고 있으며, 이에 따라 시스템은 혐오 대상(target), 이를 뒷받침하는 근거(argument), 그리고 대상 수준의 레이블(label)을 공동으로 식별해야 합니다. 그러나 기존 방식들은 세 가지 결정적인 한계에 직면해 있습니다:

완화 격차(Mitigation Gap): 현재의 연구들은 유해 콘텐츠에 대한 완화 전략보다는 평가 지표 자체에 우선순위를 두고 있습니다.
문화적 및 언어적 맹목성(Cultural and Linguistic Blindness): 대규모 언어 모델(LLM)은 서구 중심의 문화적 편향을 보이며, 암시적, 코드화된, 또는 문화적으로 국지화된 혐오 표현(예: 중국어의 동음이의어 비속어 또는 지역적 스테레오타입)을 처리하는 데 어려움을 겪습니다. 이는 맥락 의존적인 공격을 해석할 때 실패를 초래합니다.
구조적 불일치(Structural Inconsistency): 다중 대상 시나리오에서 모델은 대상-근거 간의 결합 오류(misbinding), 유효한 튜플 누락, 또는 공유된 대상에 대한 잘못된 레이블 할당 문제를 겪는 경우가 많습니다.

본 논문은 혐오 표현이 문화적으로 위치 지어져 있으며(culturally situated), 판단은 사회적 위치(예: 피해자 vs. 중재자)에 따라 달라진다고 주장합니다. 결과적으로, 구조적 파싱은 단일하고 잠재적으로 편향된 판단 경로로 수렴하기보다는 이러한 관점의 변화를 보존하는 결정 프로세스를 필요로 합니다.

방법론: SPAR-Hate 프레임워크

저자들은 이중 언어(중국어 및 영어) 혐오 표현 파싱을 위해 설계된 감사인 가이드 기반 멀티 에이전트 프레임워크인 SPAR-Hate를 제안합니다. 이 프레임워크는 작업을 네 가지 별도의 단계로 분해합니다.

1단계: 목표 지향적 절 단위 세분화 (Objective-Driven Clause-Level Segmentation)

문서를 하나의 거대한 블록으로 처리하는 대신, 시스템은 LLM 기반 세분화 도구를 사용하여 입력을 절 단위의 결정 단위( $G$ )로 나눕니다. 이러한 "분할 정복(divide-and-conquer)" 접근 방식은 로컬 대상과 근거를 격리하여, 긴 텍스트에서 흔히 발생하는 서로 다른 사건의 병합 및 대상-근거 불일치를 방지합니다.

2단계: 관점 가이드 역할 생성 (Perspective-Guided Role Generation)

각 세분화된 단위에 대해, 프레임워크는 근거에 기반한 후보 판단을 생성하기 위해 세 가지 상호 보완적인 역할 에이전트를 인스턴스화합니다:

피해자 (Victim): 느껴지는 해악, 배제, 마이크로어그레션(microaggressions), 그리고 정서적 영향에 집중합니다.
중재자 (Moderator): 플랫폼 거버넌스 경계, 정책 위반, 그리고 명시적인 규칙 위반을 준수합니다.
문화적 방관자 (Cultural Bystander): 로컬 문화적 맥락, 커뮤니티 은어, 그리고 실용적 역사를 활용합니다. 결정적으로, 중국어 입력의 경우 이 에이전트는 **사전 주입(Lexicon Injection)**을 사용하여 안전한 혐오 사전으로부터 관련 항목을 검색함으로써, 텍스트 증거를 덮어쓰지 않으면서도 동음이의어 비속어와 코드화된 표현을 식별합니다.

각 역할은 엄격한 JSON 스키마에 의해 제약된 구조화된 후보(대상, 근거, 레이블, 근거/이유)를 생성합니다.

3단계: 동적 비콘 감사 엔진 (Dynamic Beacon Auditor Engine)

이 단계는 역할별 후보들 사이의 충돌을 해결합니다. 단순히 다수결 투표에 의존하지 않고 동적 비콘 중재(dynamic beacon arbitration) 프로세스를 채택합니다:

후보 점수 산정 (Candidate Scoring): 후보들은 근거성, 대상 명시성, 구조적 타당성, 그리고 레이블 일관성을 기준으로 점수가 매겨집니다.
클러스터링 (Clustering): 후보들은 대상, 근거, 레이블의 유사성에 따라 클러스터링됩니다.
트리아지 및 라우팅 (Triage & Routing): 역할 간의 합의 여부와 신호 품질에 따라 단위들은 "합의(consensus)", "결함(defective)", 또는 "충돌(conflict)" 레인으로 라우팅됩니다.
중재 (Arbitration): 감사인 LLM은 소프트 프라이어(soft priors, 예: 코드화된 은어에 대한 사전 보너스, 잘못 식별된 대상에 대한 가중치 감소)를 적용하여 최종 튜플을 선택합니다. 역할에 결함이 있는 경우, 제한된 재생성 라운드가 트리거됩니다.

4단계: 샘플 수준 재조립 (Sample-Level Reassembly)

절 단위의 결정들은 샘플 수준의 예측으로 다시 집계됩니다. 프레임워크는 내부 결정 추적(provenance)을 보존하면서 벤치마크에서 요구하는 최종 튜플 세트를 출력하며, 이를 통해 정확한 중복 제거 및 다중 클러스터 유지 전략을 모두 지원합니다.

주요 기여

언어 독립적 정식화 (Language-Decoupled Formulation): 본 논문은 중국어와 영어의 과업을 하나의 경직된 스키마로 강제하지 않고, 각자의 고유한 어노테이션 계약(예: STATE-ToxiCN의 4중 구조 vs. TBO의 3중 구조)을 정렬하는 이중 언어 혐오 파싱 정식화를 정의하며, 평가를 샘플 수준의 다중 튜플 예측으로 공식화합니다.
감수인 가이드 멀티 관점 프레임워크: 절 세분화, 다중 역할 생성, 그리고 동적 중재를 결합한 새로운 파이프라인을 도입합니다. 이는 대상, 근거, 그리고 해악 판단의 결합된 일관성을 모델링하는 동시에, 문화적 방관자를 통해 문화적으로 코드화된 언어를 명시적으로 처리합니다.
구조적 결정 프로세스의 증류 (Distillation of Structured Decision Processes): 저자들은 멀티 에이전트 결정 프로세스가 더 작은 규모의 학생 모델(4B 파라미터)로 증류될 수 있음을 보여주며, 이 모델은 거대 교사 모델(14B)의 구조적 추론 능력을 유지합니다.

실험 결과

실험은 STATE-ToxiCN(중국어) 및 TBO(영어) 벤치마크를 대상으로 수행되었습니다.

성능 향상: SPAR-Hate는 로컬 모델(Qwen3-14B)과 API(DeepSeek-v4-Pro, GPT-5.4) 설정 모두에서 직접 프롬프팅 베이스라인 및 적응형 추론 프레임워크(SynChain, Dance)를 지속적으로 능가했습니다.
- ZH-main에서 평균 점수는 29.83(0-shot 베이스라인)에서 32.82(SPAR-Qwen3-14B)로 향상되었습니다.
- EN-main에서 평균 점수는 29.59에서 37.51로 향상되었습니다.
구조적 지표: 가장 유의미한 향상은 더 엄격한 공동 구조 지표(예: Target-Argument-Harmful 3중 구조)에서 관찰되었으며, 이는 프레임워크가 단순히 키워드를 탐지하는 것을 넘어 대상을 근거에 올바르게 결합하는 데 성공했음을 나타냅니다.
증류 (Distillation): 교사의 구조적 추적 데이터를 학습한 4B 학생 모델은 중국어 트랙에서 교사 모델(32.82)과 대등하거나 이를 능가하는 성능(33.67)을 달성했으며, 영어 트랙에서도 경쟁력 있는 성능을 유지하여 구조적 결정 프로세스의 전이 가능성을 입증했습니다.
절제 연구 (Ablation): 세분화기(1단계)를 제거하면 대상 재현율(recall)은 높아졌으나 구조적 지표는 저하되었습니다. 중재 단계(3단계)를 제거하면 전체 성능이 크게 낮아져, 갈등 해결의 필요성을 확인시켜 주었습니다.

의의 및 주장

본 논문은 SPAR-Hate를 모든 혐오 표현 탐지를 위한 결정적인 해결책이 아니라, 해석 가능하고 구조화된 파싱 프레임워크의 검증으로 포지셔닝합니다. 그 의의는 다음과 같습니다:

문화적 뉘앙스 해결: "문화적 방관자"를 명시적으로 모델링하고 사전 주입을 사용함으로써, 비서구권 맥락에서 제로샷 모델의 취약성을 해결합니다.
구조를 통한 완화: 과업을 분해하고 증거에 의해 제약된 중재를 통해 갈등을 해결함으로써, 시스템은 단순한 분류를 넘어 감사 가능한 구조적이고 추적 가능한 판단을 제공합니다.
효율성: 증류 결과는 복잡한 멀티 에이전트 추론이 더 작은 모델로 압축될 수 있음을 시사하며, 이를 통해 구조적 혐오 파싱을 더 쉽게 접근 가능하게 만듭니다.

저자들은 SPAR-Hate가 현재 주로 중국어와 영어 벤치마크에서 평가되었으며, 더 넓은 범위의 언어를 다루거나 가능한 모든 과업 특화 미세 조정 시스템과 비교되지 않았음을 인정하며 겸허한 입장을 유지합니다. 또한, 구조화된 출력이 운영상의 모더레이션 범위를 넓힐 수 있으므로, 실제 배포에는 인간의 검토와 편향 평가가 필요함을 강조합니다.