The methodology of Constructing the Large-Scale Dataset for Detecting Presuicidal and Anti-Suicidal Signals in Social Media Texts in Russian

인터넷을 수백만 명의 사람들이 매초 자신의 생각, 농담, 그리고 가장 깊은 비밀을 공유하는 거대하고 북적이는 디지털 광장이라고 상상해 보십시오. 이 시끄러운 군중 속에서 어떤 이들은 조용히 도움을 요청하며, 절망감을 느끼거나 삶을 끝내고 싶다는 미묘한 힌트를 남기고 있습니다. 수년 동안 과학자들은 이 디지털 탐정들, 즉 소셜 미디어 게시물을 읽고 너무 늦기 전에 위험 신호를 포착할 수 있는 컴퓨터 프로그램을 만들기 위해 노력해 왔습니다. 자연어 처리(NLP)라고 알려진 이 분야는 로봇에게 단어를 통해 인간의 감정을 이해하도록 가르치는 것과 같습니다. 하지만 까다로운 점은, 컴퓨터는 인간이 이미 '슬픔', '분노' 또는 '위험함'이라고 라벨을 붙여놓은 방대한 예시 도서관을 통해 학습하지 않으면 감정을 추측하는 데 매우 서툴다는 것입니다. 이러한 세심하게 큐레이션된 도서관 없이는 컴퓨터는 그저 어둠 속에서 추측할 뿐입니다.

이것이 바로 러시아의 연구진이 매우 심각한 업무, 즉 러시아 소셜 미디어에서 자살 위험 신호를 찾는 데 특화된 거대한 전문 도서관을 구축하기로 결정하며 직면했던 도전 과제입니다. 그들은 단순히 슬픈 사람을 찾고자 한 것이 아니라, 자해를 향해 나락으로 떨어지는 중인 신호(자살 징후 신호)와 계속 살아갈 이유를 찾고 있는 신호(항자살 신호)를 구분하고 싶었습니다. 이것은 마치 뒤섞인 우편물 더미를 분류하는 것과 같습니다. 어떤 편지는 긴급한 구조 요청이고, 어떤 것은 미래에 대한 희망적인 메모이며, 대부분은 그냥 일반적인 스팸 메일입니다. 연구진은 수년간 엄격한 규칙을 만들고, 인간 '분류사' 팀을 훈련시키며, 컴퓨터가 차이점을 구별하는 법을 배울 수 있도록 57,000개 이상의 텍스트 예시로 구성된 데이터셋을 구축하는 데 시간을 보냈습니다. 그들의 연구는 이 작업이 매우 어렵고 주관적이지만, 잘 구조화된 데이터셋이 컴퓨터가 이러한 생명을 구하는 신호를 포착하는 데 훨씬 더 큰 도움을 줄 수 있음을 시사합니다.

임무: 건더기 속에서 바늘 찾기

연구진은 단순하지만 무서운 현실에서 시작했습니다. 자살은 주요한 문제이며, 많은 이들이 행동에 옮기기 전 온라인에 그 고통을 글로 남긴다는 사실입니다. 그러나 이러한 도움의 외침은 무관한 게시물들—밈(meme), 날씨에 대한 불평, 무작위적인 생각들—의 산더미 아래에 파묻혀 있습니다. 인간이 이들을 더 빨리 찾을 수 있도록 돕기 위해, 팀은 컴퓨터가 소음을 걸러내는 법을 훈련시킬 방법이 필요했습니다.

그들은 러시아어 자살 텍스트를 위한 '로제타 스톤'을 만들기로 했습니다. 그들의 목표는 단순히 "이 사람이 슬프다"라고 말하는 것이 아니라, 왜 그런지에 대한 구체적인 이유를 분류하는 것이었습니다. 이 사람은 절망감을 느끼고 있는가? 괴롭힘을 당하고 있는가? 계획이 있는가? 또는 반대로, 가족에 대한 사랑이나 내일에 대한 계획을 이야기하고 있는가? 이것들이 바로 "항자살 신호"—즉, 살아갈 이유들입니다.

규칙 제정: 설명서 만들기

컴퓨터를 훈련시키기 전에, 그들은 데이터를 라벨링할 인간들을 먼저 가르쳐야 했습니다. 이것이 프로젝트에서 가장 섬세한 부분이었습니다. 연구진은 사람들이 수천 개의 우울한 게시물을 읽는 것이 정서적으로 소모적일 수 있다는 점을 깨닫고 안전망을 구축했습니다. 그들은 어노테이터(데이터 라벨링을 수행하는 사람들)를 위한 지도 역할을 하는 상세한 지침서를 만들었습니다.

이 지침서에는 다음 내용이 포함되었습니다:

• "무드 보드" 형태의 클래스: 단순히 "슬픔" 또는 "슬프지 않음" 대신, 위험 신호를 위한 33개의 구체적인 카테고리(예: "죽음에 대한 생각", "알코올 문제", "가족 해체" 등)와 희망 신호를 위한 12개의 카테고리(예: "사랑의 표현", "긍정적 자아존중감" 등)를 만들었습니다.
• "1인칭" 규칙: 핵심적인 규칙은 텍스트가 반드시 저자 자신에 관한 것이어야 한다는 점이었습니다. 만약 누군가 "내 친구가 죽고 싶어 한다"라고 쓴다면, 그것은 관련이 없습니다. 하지만 "나는 죽고 싶다"라고 쓴다면, 그것은 신호입니다. 이 규칙은 오경보를 방지하기 위해 엄격하게 적용되었습니다.
• 정서적 체크인: 모든 작업 배치 전후로, 어노테이터들은 자신의 정신 건강 상태를 확인하기 위한 테스트를 받아야 했습니다. 만약 너무 압도되는 기분이 들면, 즉시 중단하라는 지시를 받았습니다.

인간적 요소: 혼돈을 분류하다

팀은 머신러닝 전문가와 일반인을 모두 포함한 어노테이터 그룹을 모집하여 57,000개 이상의 텍스트 예시를 라벨링했습니다. 그들은 단순히 데이터를 던져준 것이 아니라 스마트한 샘플링 전략을 사용했습니다. 데이터를 덩어리로 나누고 예비 컴퓨터 모델을 사용하여 어떤 텍스트가 흥미로울지 예측함으로써, 다양한 유형의 게시물이 잘 섞이도록 했습니다.

이 과정은 복잡하고 인간적이었습니다. 연구진은 엄격한 규칙 책이 있음에도 불구하고 사람들이 서로 의견이 다르다는 것을 발견했습니다. 어떤 사람은 은유를 도움 요청으로 보는 반면, 다른 사람은 이를 단순히 관용구로 봅니다. 이를 처리하기 위해 그들은 "소프트 다수결 투표(soft majority voting)" 시스템을 사용했습니다. 만약 세 사람이 하나의 게시물을 라벨링했고 두 사람이 특정 위험 신호에 동의했다면, 그 라벨이 채택되었습니다. 이 접근 방식은 모든 불일치에 얽매이지 않으면서도 데이터를 풍부하고 다양하게 유지할 수 있게 해주었습니다.

그들은 또한 "무관한" 게시물을 다루는 것이 가장 어렵다는 것을 발견했습니다. 때때로 어떤 게시물은 위험하게 들리지만, 실제로는 책 속 캐릭터에 대한 이야기나 영화 대사일 수 있었습니다. 팀은 컴퓨터가 제삼자의 이야기에 혼란을 느끼지 않도록 규칙을 정교화하며 수천 개의 이러한 "불확실한" 예시들을 다시 라벨링해야 했습니다.

결과: 컴퓨터를 가르치다

데이터가 정제되고 라벨링된 후, 팀은 텍스트를 읽도록 컴퓨터 모델(구체적으로 RuBERT라는 모델)을 훈련시켰습니다. 그들은 다음과 같은 다양한 방식으로 모델을 테스트했습니다:

• "거시적 관점" 테스트: 모델이 "위험", "희망", "없음"의 차이를 구별할 수 있는가? 네, 모델은 약 0.71의 점수를 기록하며 이 작업에 꽤 능숙했습니다.
• "미시적 디테일" 테스트: 모델이 "죄책감"과 "절망감"의 차이를 구별할 수 있는가? 이것은 더 어려웠습니다. 모델은 너무 구체적인 질문을 받을 때 더 고전했으며, 이는 컴퓨터가 정확한 뉘앙스를 파악하기보다 일반적인 분위기를 포착하는 것이 더 쉽다는 것을 시사합니다.

실험 결과, 카테고리가 더 구체적일수록 모델이 학습하기 더 어려워졌습니다. 그러나 모델은 유사한 감정들을 하나로 묶도록 허용되었을 때 가장 좋은 성능을 보였습니다. 이는 컴퓨터가 일반적인 위험 징후를 포착하는 법은 배울 수 있지만, 인간 감정의 미세한 디테일은 여전히 그들에게 미스터리로 남아 있음을 시사합니다.

이것이 의미하는 바

이 논문은 자살 탐지 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 강력한 도구를 제공합니다. 즉, 거대하고 정교하게 구축된 데이터셋과 이를 만드는 입증된 방법론입니다. 연구진은 가장 큰 장애물이 모호하거나, 은유적이거나, 타인에 관한 텍스트와 같은 "회색 지대"라는 것을 발견했습니다. 또한 그들은 "항자살" 신호(살아야 할 이유)가 위험 신호보다 모델이 학습하기 더 어려웠다는 점을 강조했는데, 이는 아마도 희망에 대한 카테고리가 다소 추상적이었기 때문일 것입니다.

결국, 이 작업은 토대입니다. 이는 누구나 더 나은 도구를 만들기 위해 사용할 수 있는 러시아 소셜 미디어 게시물의 거대하고 공개된 도서관입니다. 저자들은 향-후 연구에서 라벨링을 돕기 위해 더 똑똑한 AI를 사용할 수 있으며, 까다롭고 주관적인 언어 부분을 다루기 위해 규칙을 계속 정교화해야 한다고 제안합니다. 그들은 데이터, 코드, 지침을 공개함으로써, 더 정확하고 공감하며 궁극적으로 더 도움이 되는 디지털 안전망을 구축하는 노력에 다른 이들이 참여할 수 있도록 초대했습니다.