Context-Aware Detection and Victim-Centered Response Generation for Online Harassment in Private Messaging

기술 요약: 사적 메시징에서의 온라인 괴롭힘을 위한 문맥 인식 탐지 및 피해자 중심 대응 생성

문제 제기
온라인 괴롭힘은 특히 청소년들에게 중요한 공중보건 문제이나, 계산적 탐지 및 개입 노력은 주로 공개적으로 보이는 소셜 미디어 콘텐츠에 집중되어 왔다. 사적 메시징 환경 (예: 인스타그램 다이렉트 메시지) 은 고유한 도전 과제를 제시한다: 해로운 상호작용은 종종 고립된 텍스트보다는 대화 기록, 풍자, 그리고 관계적 역학에 의존하는 문맥 의존적 다회전 교환을 통해 전개된다. furthermore, 기존 개입은 주로 사후 대응적 (예: 신고, 차단) 이거나 가해자 중심적 (예: 반박 발언) 이어서, 괴롭힘 발생 시 피해자에게 적시적이고 정서적 지지를 제공하는 데 실패하는 경우가 많다. 사적 맥락에서 괴롭힘을 탐지하기 위한 데이터셋과 확장 가능한 방법의 결정적 부재와 함께, AI 기반의 피해자 중심 대응 생성에 대한 간극이 존재한다.

방법론
본 연구는 자살 위험 요인이 있는 청소년을 포함한 26 명의 청소년이 기증한 80,053 개의 인스타그램 다이렉트 메시지 데이터셋을 활용하였다. 연구는 대규모 언어 모델 (LLM) 을 사용하여 두 가지 주요 연구 질문 (RQ) 을 다루었다.

1. 탐지 (RQ1): 문맥 인식 캐스케이드 분류

• 데이터 주석: 인간 주석자들이 온라인 괴롭힘을 위해 7,525 개의 메시지 (필터링 후) 에 라벨을 지정하였다. 문맥 인식을 보장하기 위해 주석자들은 대상 메시지와 앞서 있는 10 개의 메시지를 함께 검토하였다. 제 3 의 심판관이 참여하는 2 인 주석자 시스템으로 이견을 해결하여, 매우 불균형한 데이터셋 (괴롭힘 사례 41 건, 비괴롭힘 7,484 건) 을 산출하였다.
• 파이프라인 아키텍처: 저자들은 meta-llama/Llama-4-Scout-17B-16E-Instruct 모델을 사용한 2 단계 캐스케이드 LLM 파이프라인을 개발하였다.
  • 1 단계 (LLM 1): 대상 메시지와 앞서 있는 50 개의 메시지를 문맥으로 받아왔다. 메시지의 분류와 추론 설명을 제공하도록 프롬프트되었다.
  • 2 단계 (LLM 2): LLM 1 의 출력 (라벨 + 추론) 과 대화 문맥을 받아왔다. 이 단계는 1 단계에서 괴롭힘으로 플래그된 사례를 재평가하여 오탐지를 줄이는 보수적 필터 역할을 하였다.
• 기준선: 본 파이프라인은 사전 훈련된 독성 분류기 (toxic-bert) 와 공개 소셜 미디어 데이터로 훈련된 지도 학습 앙상블 프레임워크와 비교되었다.

2. 대응 생성 (RQ2): 피해자 중심 프레임워크

• 파이프라인 아키텍처: 동일한 LLM 모델을 사용한 2 단계 생성 파이프라인.
  • 1 단계 (전략 선택): 대화 문맥을 분석하여 증거 기반 대응 전략 (예: 긴장 완화, 공감, 도덕적 설득, 경고) 을 선택하고 그 근거를 생성하였다.
  • 2 단계 (언어적 실현): 선택된 전략과 원래 문맥을 조건으로 실제 대응 메시지를 생성하였다.
• 제약 조건: 생태학적 타당성을 보장하기 위해, 모델은 청소년의 의사소통 스타일 (예: 텍스트어, 비공식적 문법) 을 모방하는 응답을 생성하도록 제약되었으며, 특정 길이 제약 (메시지당 313 단어, 12 개의 연속 메시지) 을 적용받았다. 시스템은 보복을 피하고 긴장 완화를 우선시하도록 명시적으로 지시받았다.
• 평가: 100 건의 괴롭힘 사례에 대해 맹검 인간 평가가 수행되었다. 세 명의 평가자가 AI 생성 응답과 원래 참가자 응답을 괴롭힘 중단 효과, 긴장 완화, 피해자 위치 설정, 정서적 지지, 자연스러움, 무시 대 응답 선호도라는 여섯 가지 차원에서 비교하였다.

주요 결과

• 탐지 성능: 캐스케이드 LLM 파이프라인은 전체 정확도 0.98 및 매크로 F1 점수 0.63 을 달성하였다. 중요하게도, 괴롭힘 클래스에 대해 0.60 의 재현율과 0.28 의 F1 점수를 달성하였다. 이는 toxic-bert(양성 F1: 0.14) 와 앙상블 (양성 F1: 0.23) 을 포함한 두 기준선보다 현저히 우수하였다. 결과는 문맥 인식 LLM 이 고립된 공개 게시물로 훈련된 모델보다 사적 메시징 괴롭힘에 더 적합함을 시사한다.
• 대응 평가: 인간 평가자들은 AI 생성 응답을 원래 참가자 응답보다 유의미하게 더 도움이 된 것으로 인식하였다 (95% CI: 0.767–0.815, p < .001). AI 응답은 정서적 지지, 긴장 완화, 실용적 유용성 측면에서 80.2% 의 사례에서 선호되었다. 그러나 평가자들은 대화 스타일 측면에서 원래 참가자 응답을 더 "자연스럽다"고 평가하였다 (95% CI: 0.035–0.089, p < .001).
• 오류 분석: 2 단계 필터링이 오탐지 감소를 우선시하는 보수적 성격으로 인해, 파이프라인은 간접적이거나 암시적인 괴롭힘 (위음성) 을 놓쳤다.

의의 및 주장
본 논문은 문맥 인식 및 피해자 중심 AI 시스템이 사적 메시징 환경에서 "적시 (just-in-time)"지지를 제공하는 데 상당한 잠재력을 지닌다고 주장한다.

• 탐지: 본 연구는 캐스케이드 LLM 파이프라인을 통한 대화 문맥 활용이 사적 공간에서 괴롭힘을 탐지하는 데 필수적이며, 관계적 역학과 escalation 패턴을 포착하지 못하는 전통적 독성 분류기보다 우수함을 입증한다.
• 개입: 본 연구는 AI 생성 응답이 괴롭힘에 대응하는 정서적 및 인지적 부담을 흡수하는 "합성 버퍼링 (synthetic buffering)" 개념을 도입한다. 전략 기반의 긴장 완화 초안을 제공함으로써, 이러한 시스템은 피해자가 고통 중에 규제된 응답을 구성할 필요 없이 권한을 부여할 수 있다.
• 한계: 저자들은 AI 응답이 더 도움이 된 것으로 인식되지만, 현재 인간 응답의 언어적 자연스러움이 부족함을 겸손하게 지적한다. 이들은 이러한 시스템이 인간 지원이나 전문적 개입을 대체해서는 안 되며, 오용이나 의도치 않은 escalation 에 대한 안전 장치가 필요함을 강조한다. 연구 결과는 청소년의 특정 소규모 데이터셋에 기반하므로, 더 크고 다양한 인구 집단 및 실제 결과 평가에 대한 향후 연구가 필요하다.