When Surface Form Changes Moderation Decisions: A Paired Study of Code-Mixed Workflow Instability

기술 요약: 표면 형태의 변화가 중재 결정에 미치는 영향

문제 정의
현재의 혐오 표현 중재 연구는 주로 깨끗한 영어 입력을 대상으로 모델을 이진 분류기로 평가하며, 정확도(Accuracy), F1 점수, 또는 AUC와 같은 지표를 활용한다. 그러나 실제 배포된 중재 시스템은 콘텐츠를 특정 조치인 허용(ALLOW), 플래그 지정(FLAG), 또는 **검토(REVIEW)**로 라우팅하는 워크플로우 파이프라인으로 작동한다. 이는 표준적인 분류 평가와 콘텐츠 중재의 운영 현실 사이에 불일치를 발생시킨다. 본 논문은 이러한 불일치가 코드 혼용(예: 타밀어-영어)을 빈번하게 사용하는 다국어 환경에서 더욱 심화된다고 주장한다. 선행 연구들이 다국어 설정에서의 강건성 격차를 밝혀냈으나, 깨끗한 데이터에 맞춰 튜닝된 고정된 운영 지점(operating points) 하에서 표면 형태의 변화(예: 코드 혼용)가 어떻게 라우팅된 중재 조치를 변화시키는지에 대해서는 여전히 불분명하다. 구체적으로, 본 연구는 의미론적으로 동일한 콘텐츠가 서로 다른 표면 형태로 표현될 때, 어떻게 서로 다른 중재 결정을 유발하여 워크플로우의 불안정성을 초래하는지 조사한다.

방법론
저자들은 데이터 구성의 차이로부터 표면 변화의 효과를 분리하기 위해 **쌍을 이룬 평가 설정(paired evaluation setting)**을 채택한다.

• 데이터 구축: HateBenchSet의 레이블이 지정된 영어 혐오 표현 예시로부터 시작하여, 저자들은 의미론적으로 정렬된 타밀어-영어 코드 혼용 변형 및 타밀어 전용 변형을 구축한다. 생성 과정은 CodeMixBench 파이프라인을 따르며, 의미 보존과 레이블 일관성을 보장하기 위해 무작위 추출된 부분 집합에 대한 수동 검사를 수행한다. 생성된 후보 중 약 25%가 의미적 왜곡이나 잘못된 생성으로 인해 필터링되었다.
• 파이프라인 아키십: 참조 중재 파이프라인은 사전 학습된 탐지기(fine-tuned mBERT)가 위험 점수 $s(x)$를 출력하는 구조로 정의된다. 결정 레이어는 임계값 $\tau_{low}$와 $\tau_{high}$를 기준으로 이 점수를 세 가지 조치로 매핑한다:
  • $s(x) < \tau_{low}$ 이면 허용(ALLOW)
  • $s(x) > \tau_{high}$ 이면 플래그 지정(FLAG)
  • 그 외의 경우 검토(REVIEW)
• 운영 지점: 임계값은 혐오 오허용(HFA $\le$ 0.05) 및 비혐오 오플래그(NFF $\le$ 0.10)에 대한 엄격한 예산 내에서 검토율을 최소화하도록 깨끗한 영어 개발 세트에서 튜닝된다. 이 임계값들은 재튜닝 없이 깨끗한, 코드 혼용된, 그리고 타밀어 테스트 세트에 고정되어 적용된다.
• 지표: 본 연구는 워크플로우 수준의 지표에 집중한다:
  • HFA (Hate False-Accept): 혐오 콘텐츠를 허용할 확률.
  • NFF (Non-Hate False-Flag): 비혐오 콘텐츠를 플래그 지정할 확률.
  • 검토율 (Review Rate, RR): 인간의 검토로 라우팅될 확률.
  • 결정 반전율 (Decision Flip Rate): 쌍을 이룬 예시에서 깨끗한 뷰와 스트레스 상황의 뷰(코드 혼용 등) 사이에서 라우팅된 조치가 변하는 비율.
• 개입 전략: 저자들은 오류를 완화하기 위한 두 가지 유예(deferral) 전략을 평가한다:
  1. 신뢰도 기반 기권 (Confidence-based Abstention): 신뢰도가 낮은 단일 뷰 예측을 **검토(REVIEW)**로 라우팅함.
  2. 불일치 기반 유예 (Disagreement-based Deferral): 쌍을 이룬 뷰(깨끗한 뷰 vs. 코드 혼용 뷰)의 라우팅된 조치가 서로 다를 경우 **검토(REVIEW)**로 라우팅함.

주요 기여

1. 워크플로우 수준의 평가 프레임워크: 본 논문은 레이블 수준의 분류 정확도에서 고정된 운영 지점 하에서의 조치 라우팅 동작(ALLOW/FLAG/REVIEW)으로 초점을 전환한다.
2. 불안정성의 정량화: 쌍을 이룬 깨끗한 입력과 코드 혼용 입력을 사용하여, 저자들은 의미가 보존되더라도 표면 변화가 상당한 중재 조치 불안정성을 유발함을 입증한다.
3. 실패 모드의 차별화: 본 연구는 코드 혼용 불안정성(부분적인 표면 변화로 인한 조치 변화)과 언어 커버리지 저하(전체적인 교차 언어 전이 실패)를 구분하며, 이들이 워크플로우 지표에서 서로 다르게 나타남을 보여준다.
4. 유예 분석: 저자들은 단순하고 훈련이 필요 없는 불일치 기반 유서 규칙을 테스트하며, 자동 오류 감소와 인간 검토 부하 증가 사이의 트레이드오프를 분석한다.

결과

• 결정 불안정성: 깨끗한 영어에 튜닝된 임계값 하에서, 코드 혼용 입력은 0.265의 쌍 결정 반전율(95% CI [0.251, 0.281])을 기록한다. 이는 동일한 콘텐츠가 표면 변화만으로 4분의 1 이상 다른 중재 조치를 받게 됨을 의미한다.
• 워크플로우 효과:
  • 검토 부담: 검토율이 깨끗한 상태의 0.138에서 코드 혼용 시 0.297로 크게 증가한다.
  • 오플래그 (False-Flagging): 비혐오 오플래그율(NFF)이 0.069에서 0.104로 상승한다.
  • 오허용 (False-Acceptance): 흥미롭게도, 혐오 오허용율(HFA)은 감소한다(0.040에서 0.011으로). 이는 코드 혼용이 모델을 더 보수적으로 만들어, 혐오 콘텐츠를 수용하기보다는 "허용"에서 "검토" 또는 "플래그"로 사례를 이동시킴을 나타낸다.
• 타밀어 전용 vs. 코드 혼용: 타밀어 전용 입력은 더 강력한 저하를 보인다 (반전율 0.557, 검토율 0.637). 이는 코드 혼용에서 보이는 특정한 불안정성 패턴이라기보다 더 넓은 언어 커버리지의 한계를 시사한다.
• 유예 전략:
  • 신뢰도 기반 기권: 코드 혼용 입력에 대한 NFF를 감소시키지만(0.104 $\to$ 0.032), 검토율을 0.417로 높인다.
  • 불일치 기반 유예: 더 낮은 HFA(0.003)를 달려내고 중간 정도의 검토율(0.355)을 기록하지만, 신뢰도 기반 기권에 비해 더 높은 NFF(0.046)를 초래한다.
• 모델 민감도: 서로 다른 백본은 다양한 불안정성을 보인다. mBERT는 0.265의 반전율을 보이는 반면, MetaHateBERT는 0.608의 반전율과 급격한 NFF 상승을 보이며, 제로샷 HateBERT는 거의 100%에 가까운 검토 체제로 붕괴된다.

의의 및 주장
본 논문은 워크플로우 수준의 평가가 표준적인 분류 요약이 놓치는 중재 실패를 드러낸다고 주장한다. 구체적으로:

• 표준 지표(정확도나 F1 등)는 조치의 재분배(예: "허용"에서 "검토"로의 이동은 '올바른' 분류 변경처럼 보일 수 있으나, 이는 상당한 운영 비용 증가와 잠재적 사용자 마찰을 의미함)를 포착하지 못하기 때문에 운영상의 리스크를 은폐할 수 있다.
• 이 설정에서 코드 혼용의 주요 효과는 모든 유형의 오류가 균일하게 증가하는 것이 아니라, 조치의 재분배를 통해 인간의 검토 부담과 비혐서 콘텐츠에 대한 오플래그율을 높이는 것이다.
• 쌍을 이룬 뷰 사이의 불일치는 자동 오류를 줄이기 위한 실용적인 불확실성 신호로 기능할 수 있지만, 이는 검토 부하 증가라는 대가를 치러야 하며, 이는 안전 파이프라인의 근본적인 트레이드오프를 강조한다.
• 연구 결과는 중재의 강건성이 단순히 레이블 예측이 아니라 배포된 조치 수준에서 평가되어야 함을 시사한다. 왜냐하면 표면 형태의 변화는 의미론적 내용이 동일하더라도 다운스트림 결정에 실질적인 변화를 일으킬 수 있기 때문이다.

저자들은 자신의 결과가 타밀어-영어 설정 및 사용된 특정 생성 파이프라인에 국한됨을 명시하며, 본 연구가 배포 가능한 시스템이나 모든 다국어 중재 시나리오에 대한 포괄적인 설명을 제공한다고 주장하지 않는다는 점에서 신중한 범위를 유지한다.