기술 요약: SuiChat-CN

문제 제기

자살은 시의적절하고 효과적인 예방 전략이 필요한 중대한 글로벌 공중보건 과제입니다. 계산 연구가 트위터 (Twitter), 위보 (Weibo) 와 같은 게시물 기반 소셜 미디어 플랫폼에서 자살 위험 탐지를 발전시켰음에도 불구하고, 이러한 접근법은 고립된 메시지 분석에 의존합니다. 이 패러다임은 텔레그램 그룹 채팅과 같은 인스턴트 메시징 (IM) 환경에는 부적절합니다. 이러한 환경은 다음과 같은 독특한 언어적 및 상호작용적 특성을 보입니다:

• 분절성과 간결성: 메시지는 짧으며 종종 독립적인 맥락을 결여합니다.
• 다자간 역동성: 대화는 여러 참여자를 포함하므로 턴 테이킹과 화자 역할을 추적해야 합니다.
• 암시적 및 문화적 뉘앙스: 위험 신호는 명시적 키워드보다는 은유, 동음이의어, 은어, 또는 문화적으로 특정된 완곡어법에 의존하는 경우가 많습니다.
• 맥락 의존성: 논문에서 시사하듯, 고립된 상태에서는 무해해 보이는 메시지 (예: "소금") 는 대화 기록 내에서 볼 때 높은 위험 (약물 사용) 을 나타낼 수 있습니다.

기존 데이터셋은 특히 중국어의 경우 이러한 다중 턴 및 맥락 의존적 역동성을 모델링할 세밀함이 부족합니다.

방법론

저자들은 중국어 그룹 채팅에서의 맥락적 자살 위험 평가를 위해 특별히 설계된 SuiChat-CN이라는 벤치마크 데이터셋과 구축 파이프라인을 소개합니다.

1. 데이터셋 구축 파이프라인

구축은 4 단계 파이프라인 (그림 3) 을 따릅니다:

• 데이터 수집: 2020 년 1 월부터 2025 년 6 월까지 20 개의 공개 중국어 자살 관련 텔레그램 그룹에서 원시 로그를 수집했습니다. 사용자/그룹 ID 를 제거하기 위해 SHA-256 해싱을 사용하여 데이터를 익명화했습니다.
• 신호어 추출: 명시적 용어 (예: 직접적인 자살 언급) 와 암시적 신호 (예: 인터넷 은어, 동음이의어, 은유) 를 모두 포괄하는 3,508 개의 신호어 계층적 어휘를 구성했습니다. LLM(GLM4-32B) 이 암시적 후보를 추출하는 데 보조 역할을 했으며, 이는 심리학 전문가들에 의해 검증되었습니다.
• 맥락 확장: 의심스러운 메시지에 양방향 맥락 확장 알고리즘을 적용했습니다. 시드 메시지를 중심으로 이 알고리즘은 시간 간격 (MTS), 세그먼트 크기 (SS), 그리고 범위 (STS) 제약 조건에 따라 전방 및 후방으로 확장합니다. 또한 대화의 일관성을 유지하기 위해 답변 링크를 통해 참조된 역사적 메시지를 검색합니다.
• 주석 달기: 파일럿 주석 달기와 본 주석 달기를 포함하는 엄격한 2 단계 프로세스를 사용했습니다.
  • 분류 체계: 컬럼비아 자살 심각도 평가 척도 (C-SSRS) 에서 적응된 6 가지 위험 분류 체계가 정의되었습니다:
    1. 무관함 (위험 없음)
    2. 우울한 감정
    3. 자살 사고
    4. 자살 방법/행위
    5. 자살 시도
    6. 자살 유도/언어적 공격
  • 품질 관리: "실버"라벨을 생성하기 위해 인간 전문가와 다중 모델 투표 시스템 (17 개 LLM) 을 사용했습니다. 합의 ($\rho \ge 2/3$) 가 있어야만 수용되었으며, 이견이 있을 경우 인간이 판정했습니다.

2. 평가 프레임워크

저자들은 GPT-5, Gemini, Kimi 와 같은 독점 API 기반 LLM 과 Llama, Qwen, DeepSeek 와 같은 오픈 가중치 모델을 포함한 40 개 이상의 모델과 PLM 을 평가했습니다.

• 시나리오: 제로샷, 전문가 예시가 포함된 퓨샷, 마스킹된 키워드가 포함된 퓨샷, 그리고 제거된 맥락이 포함된 퓨샷.
• 부분 공개: 실시간 스트리밍 탐지를 시뮬레이션하기 위해 대화의 처음 $\tau \in \{30, 50, 70, 90, 100\}\%$만 표시되는 실험을 수행했습니다.
• 파인튜닝: 성능 향상을 평가하기 위해 선택된 모델을 데이터셋으로 파인튜닝했습니다.

주요 기여

1. SuiChat-CN 데이터셋: 1,406 명의 사용자로부터 258,228 개의 원시 메시지에서 파생된 13,312 개의 맥락 세그먼트를 포함한 벤치마크입니다. 이는 중국어 그룹 채팅에서 자살 위험의 다자간 및 맥락 의존적 성격에 초점을 맞춘 최초의 데이터셋입니다.
2. 구축 파이프라인: 신호어 발견, 전문가 검증, 양방향 맥락 확장을 결합하여 분절된 채팅 로그를 일관된 위험 평가 단위로 변환하는 새로운 방법론.
3. 종합 벤치마킹: 프롬프팅, 제거 실험, 파인튜닝, 그리고 부분 맥락 등 다양한 설정에서 PLM 과 40 개 이상의 LLM 을 광범위하게 평가하여 이 특정 도메인의 기준선을 확립.
4. 분류 체계 설계: 무관한 콘텐츠에서 능동적 유도까지 전체 스펙트럼을 포괄하며, 임상적 해석 가능성과 그룹 채팅 모니터링의 실용적 필요 사이의 균형을 맞춘 6 가지 위험 분류 체계.

주요 결과

• 맥락의 중요성: 대화 맥락을 제거하거나 키워드를 마스킹하는 것은 모델 성능을 보편적으로 저하시켰습니다. 고립된 메시지만을 의존하는 모델은 암시적 위험 신호를 포착하지 못했습니다.
• 모델 성능:
  • 독점 모델 (예: Gemini-2.5-Pro, Seed-OSS-36B, Kimi-K2) 은 일반적으로 오픈 가중치 모델보다 우수한 성과를 보였으며, 퓨샷 설정에서 70% 이상의 F1 점수를 달성했습니다.
  • 오픈 가중치 모델 중 DeepSeek-R1과 Llama-3.3-70B는 중급 독점 시스템의 성능에 근접했습니다.
  • 파인튜닝은 오픈 가중치 모델의 성능을 크게 향상시켰습니다 (예: Llama-3-8B 는 F1 점수 59.4 포인트 향상). 이는 독점 시스템과의 격차를 줄였으나, 맥락 부재를 완전히 보상할 수는 없었습니다.
• 부분 공개 결과:
  • 고위험 단서 (특히 자살 시도, 4 등급) 는 대화에서 종종 지연되어 나타났습니다. 대화의 처음 30% 만 표시될 때 모델은 이러한 위험을 탐지하는 데 어려움을 겪었습니다.
  • 더 많은 맥락이 드러남에 따라 고위험 클래스의 정확도가 크게 향상되었습니다 (예: 일부 모델의 L4 정확도는 30% 공개 시 약 40% 에서 100% 공개 시 80% 이상으로 급증).
  • 이는 긴급한 위험 단서가 항상 대화의 시작에 나타난다는 가정을 도전합니다. 그룹 채팅에서는 증거가 종종 여러 턴에 걸쳐 분산되어 있습니다.
• 암시적 신호: 분석 결과, 고위험 샘플에서 암시적 신호는 명시적 신호보다 2.3 배 더 자주 나타났으며, 이는 문화적으로 특정되고 진화하는 위험 표현을 모델링할 필요성을 강조합니다.

중요성과 주장

이 논문은 SuiChat-CN이 고립된 게시물에서 맥락적, 다자간 대화로 초점을 이동시킴으로써 자살 위험 평가의 중대한 격차를 해소한다고 주장합니다.

• 현실성: 이 데이터셋은 위험이 종종 암시적이고 분산되어 있는 인스턴트 메시징의 실제 역동성을 반영합니다.
• 맥락의 필요성: 결과는 그룹 채팅에서의 신뢰할 수 있는 조기 탐지가 키워드 매칭뿐만 아니라 대화 역사를 모델링해야 함을 보여줍니다.
• 윤리적 입장: 데이터의 민감성으로 인해 이 데이터셋은 공식적으로 공개되지 않습니다. 책임 있는 사용과 사용자 프라이버시 보호를 보장하기 위해 엄격한 데이터 사용 계약 하에 공인된 정신 건강 및 자살 예방 연구 기관에만 제공됩니다.
• 향후 방향: 이 연구는 실제 IM 시나리오에서 지연되거나 분산된 위험 신호를 효과적으로 식별하기 위해 지속적인 모니터링과 장문맥 모델링이 가능한 시스템의 필요성을 강조합니다.

저자들은 현재 모델이 유망한 성과를 보이고 있지만, 특히 누적된 대화 증거가 올바르게 식별되어야 하는 가장 심각한 위험 범주에 대해 다자간 환경에서의 조기 탐지 과제는 여전히 중요하다고 강조합니다.