VARM-Bench: Benchmarking Verifiable Structured Reasoning in Chinese Abusive Speech Moderation

기술 요약: VARM-Bench

문제 정의

현재의 중국어 욕설 탐지 벤치마크는 주로 최종 라벨 정확도(예: 유해함 vs 유해하지 않음)를 평가합니다. 그러나 올바른 최종 라벨은 그 기저에 깔린 추론 과정의 중대한 오류를 가릴 수 있습니다. 모델이 텍스트를 "유해함"으로 올바르게 분류하더라도, 대상을 잘못 식별하거나, 저자의 태도(예: 인용이나 반대를 지지로 혼동하는 경우)를 오해하거나, 일관되지 않은 위해 카테고리를 할당할 수 있습니다. 이는 특히 암시적 참조, 동음이의어 치환, 부정, 비꼬기 등이 의미를 변화시키는 중국 소셜 미디어 환경에서 매우 중요합니다. 기존 벤치마크는 개별 구성 요소(라벨, 스팬 또는 분류 체계)는 제공하지만, 중재 결정의 '근거'를 결정론적으로 검증할 수 있는 통합된 표현 방식은 결여되어 있습니다. 자유 형식의 근거(rationale)는 일관되게 평가하기 어렵고, 구조화된 필드 튜플은 입력값에 특화된 정당성을 결여하는 경우가 많습니다.

방법론

VARM-Bench 구축

저자들은 VARM-Bench(Verifiable Abusive Reasoning Moderation Benchmark, 검증 가능한 욕설 추론 중재 벤치마크)를 소개합니다. 이 데이터셋은 8,000개의 중국 소셜 미디어 댓글(훈련용 5,600개, 개발용 800개, 테스트용 1,600개)로 구성됩니다. 데이터셋에는 인용, 반대, 중립적 언급, 행동 비판을 포함하는 1,440개의 까다로운 비유해 사례가 포함되어 있습니다.

• 데이터 파이프라인: 데이터는 Bilibili, Zhihu, Baidu Tieba, Hupu에서 수집되었습니다. 중복 및 저품질 텍스트를 제거하기 위해 정규화, 익명화 및 필터링 과정을 거쳤습니다.
• 어노테이션: LLM이 초기 사전 어노테이션을 수행하고, 이후 대학원생과 박사 과정 학생이 공유된 코드북을 바탕으로 엄격한 인간 검수를 진행하는 하이브리드 프로세스가 사용되었습니다.
• 구조: 각 인스턴스는 입력 텍스트, 참조 중재 기록, 그리고 필드 기반의 사고 사슬(Chain-of-Thought, CoT) 근거로 구성됩니다.

태스크 정의

핵심 태스크는 모델이 특정 중재 결정에 대응하는 **6개의 명시적 앵커(anchor)**를 포함하는 단일 자연어 CoT 설명을 생성하도록 요구합니다:

1. 대상 (Target): 욕설 주장의 참조 대상.
2. 대상 유형 (Target Type): 범위 (단일 객체, 집단 또는 불분명).
3. 대상 명시성 (Target Explicitness): 대상이 명시적인지 암시적인지 여부.
4. 저자 태도 (Author Stance): 주장과 저자의 관계 (예: 공격/지지, 반대, 인용, 중립).
5. 유해성 라벨 (Harmfulness Label): 유해함 vs 유해하지 않음.
6. 세밀한 카테고리 (Fine-grained Category): 위해의 근거 (예: 성별, 지역, 직업).

**결정론적 파서(Deterministic Parser)**는 생성된 CoT에서 이러한 앵커 값을 추출하여 완전한 중재 기록을 재구성합니다. 이를 통해 자연어 설명과 구조화된 결정 필드 간의 추적 가능성을 확보합니다.

평가 프로토콜

평가는 단순한 라벨 정확도를 넘어 다층적인 평가로 이동합니다:

• 필드 정확도 (Field Correctness): 이산형 필드에 대한 Macro-F1 점수 및 자유 텍스트 대상에 대한 문자 중첩 F1(T-F1).
• 구조적 유효성 (Structural Validity): 파싱 성공률 (6개 앵커가 모두 존재하고 순서가 올바른지 여부).
• 전체 기록 일치도 (Complete-Record Agreement, JREM): 파싱된 기록이 모든 필드에서 참조 값과 동시에 일치해야 함을 요구하는 지표.
• 숨겨진 기록 오류 (Hidden Record Errors, HER-C/L): 최종 라벨이나 카테고리가 올바른 경우를 조건으로 하여 대상, 태도 또는 카테고리에서 발생하는 오류율을 측정합니다. 이는 모델이 "틀린 이유로 정답을 맞히는" 빈도를 구체적으로 정량화합니다.
• LLM 판사 배제 (No LLM Judge): 본 프로토콜은 결정론적 파싱과 참조 값과의 정확한 매칭에 의존하며, LLM 기반 판사의 주관성을 피합니다.

주요 기여

1. 통합 벤치마크: 6개의 중재 결정이 단일 자연어 CoT 내에 포함되어 있으며, 이를 결정론적으로 재구성하여 완전한 기록을 만드는 중국어 욕설 벤치마크입니다.
2. 다층 평가 프로토콜: 결정 품질, 필드 정확도, 기록 유효성 및 전체 기록 일치도를 분리하고, 참조 근거 및 근거의 충분성을 감사하는 프레임워크를 제공합니다.
3. 진단적 분석: 제로샷(zero-shot), 분류 체계 가이드(taxonomy-guided), CoT 지도 학습(CoT-supervised) 설정에서의 오픈 및 폐쇄 모델 평가를 통해 숨겨진 기록 오류와 필드 수준의 병목 현상을 밝혀냅니다.

실험 결과

본 논문은 Qwen2.5-7B, Llama-3.1-8B, InternLM3-8B, GPT-5.5, Qwen3.7-Max, DeepSeek-V4-Pro 등의 모델을 평가합니다.

• 라벨 vs 추론: 상위 모델들의 높은 최종 라벨 정확도(종종 90% 이상)는 완전한 중재 기록에서의 상당한 오류를 은폐합니다. 예를 들어, 제로샷 설정에서는 라벨 정확도가 높더라도, 결합 기록 평가 지표(JREM)는 현저히 낮습니다 (예: 소규모 모델의 경우 ~30-50%).
• 지도 학습의 영향: CoT 지도 미세 조정(CoT-SFT)은 제로샷이나 분류 체계 프롬프팅에 비해 JREM과 필드 수준 정확도를 포함한 모든 지표에서 성능을 크게 향 향상시킵입니다.
• 숨겨진 오류: 올바른 최종 라벨을 예측하는 모델 중 상당수가 대상 식별이나 태도 해석에서 "숨겨진 오류"를 보입니다.
• 병목 현상: 분석 결과, 고정된 참조 점수 산출 시 참조 대상 국소화(정확한 대상을 식별하는 것)가 라벨 분류보다 더 주요한 병목 현상임을 확인했습니다.

의의 및 주장

본 논문은 VARM-Bench가 중국어 욕설 중재의 검증 가능한 추론을 연구하기 위한 감사 가능하고 재현 가능한 토대를 제공한다고 주장합니다. 평가의 초점을 고립된 라벨에서 추적 가능한 완전한 중재 기록으로 전환함으로써, 본 벤치마크는 맥락적 이해보다는 부수적인 어휘 단서에 의존하는 현재 모델들의 한계를 드러냅니다. 저자들은 자신들의 결정론적 프로토콜이 "잘못된 추론을 가진 올바른 라벨"을 탐지할 수 있게 해주며, 이는 전통적인 벤치마크가 놓치는 실패 모드라고 강조합니다. 이 연구는 신뢰할 수 있는 중재를 위해서는 단순히 최종 출력이 이진 라벨과 일치하는 것이 아니라, 대상, 태도, 위해 카테고리가 공동으로 올바른지를 검증하는 것이 필수적임을 역설합니다.