psytechlab at CLPsych 2026: Utilising Natural Language Processing methods and Large Language Models for Social Media Text Analysis

기술 요약: CLPsych 2026의 Psytechlab

문제 정의
본 논문은 사용자의 정신 건강 상태와 웰빙을 이해하기 위해 소셜 미디어 텍스트를 분석하는 과제를 다룹니다. 소셜 미디어는 우울증, 불안 및 기타 장애와 관련된 패턴을 식별할 수 있는 풍부한 데이터 소스를 제공하지만, 기존의 접근 방식은 몇 가지 중요한 한계에 직면해 있습니다. 즉, 노이즈가 섞일 가능성이 있는 자기 보고식 레이블에 대한 의존도, 임상적으로 신뢰할 수 있는 주석 데이터 확보의 어려움, 그리고 본질적으로 역동적인 정신 상태에 정적인 레이블을 부여하는 경향성입니다. 이러한 문제를 해결하기 위해 저자들은 MIND 프레임워크를 사용하여 전문적으로 주석이 달린 데이터셋을 활용한 CLPsych Shared Task 2026에 참여했습니다. 이 프레임워크는 인간의 경험을 지속적으로 진화하는 일련의 '자기 상태(self-states)'로 모델링합니다. 팀에게는 세 가지 구체적인 과제가 주어졌습니다:

1. Task 1: 지배적인 적응적(Adaptive) 및 부적응적(Maladaptive) ABCD (정동, 행동, 인지, 욕구) 하위 요소 예측 및 포스트 내 자기 상태의 존재 수치(1~5 척도) 추정.
2. Task 2: 포스트의 연대기적 시퀀스 내에서 "스위치(Switch)"(웰빙의 급격한 변화) 및 "에스컬레이션(Escalation)"(점진적 강화) 이벤트 식별.
3. Task 3: 자기 상태 역동성의 타임라인 수준 요약 생성(Task 3.1) 및 악화 또는 개선의 재발 패턴 식별(Task 3.2).

방법론
Psytechlab 팀은 전통적인 NLP 파이프라인, 지도 학습, 그리고 대규모 언어 모델(LLM)을 결합한 하이브리드 접근 방식을 채택했습니다.

• Task 1 (ABCD 예측 및 존재 추정):

  • 파이프라인 접근 방식 (Submission 1): 팀은 포스트를 문장 단위로 나누고 각 문장을 하위 요소 또는 "무관함(irrelevant)" 클래스로 분류했습니다. 데이터 부족 문제를 해결하기 위해, 의미론적으로 정렬된 소스(Buyanov et al., 2025)로부터 기존 데이터를 번역하고, 로컬 Qwen3.5-35B-A3B 모델을 사용하여 합성 예시를 생성함으로써 데이터셋을 증강했습니다. 이들은 BERT와 ModernBERT를 사용하여 분류기를 학습시켰으며, ModernBERT에서 동등한 성능(0.80 Macro F1)을 달성했습니다.
  • 집계: 문장 수준의 예측은 소스 데이터셋 내의 하위 요소 비율에서 도출된 가중치를 사용하여 집계되었습니다. 지배적인 하위 요소가 상태와 밸런스(valence)를 결정합니다.
  • 존재 추정: 전체 포스트 텍스트에 대해 ModernBERT를 회귀 모드로 사용하여 각 밸런스에 대한 존재 수치를 추정했습니다.
  • LLM 접근 방식 (Submission 2): 로컬 Qwen3.5-35B-A3B 모델에 하위 요소 이름을 프롬프트로 제공하여 분류 작업을 직접 수행하게 했으며, ModernBERT는 존재 추정을 담당했습니다.

• Task 2 (스위치 및 에스컬레이션 탐지):

  • 특징 추출: 포스트를 문장으로 분할하고, MiniLM-L6-v2의 임베딩을 BERTweet, EmoRoBERTa, twitter-roberta-emotion과 같은 감성 및 감정 모델의 확률 벡터와 결합했습니다.
  • 분류: BiLSTM 모델이 "스위치"와 "에스컬레이션" 레이블을 각각 별도로 예측했습니다. 하이퍼파라미터는 Optuna를 사용하여 최적화되었습니다.
  • 시계열 특징 (Submission 2): 추가 제출물에는 동일한 아키텍처에 포스트의 시계열 특징을 포함시켰습니다.
  • 대안 모델: 팀은 Tempoformer와 HoRoBERT를 실험했으나, 대회 기간 내에 Tempoformer를 학습시키는 데 어려움을 겪었습니다.

• Task 3 (타임라인 요약):

  • Task 3.1: 팀은 로컬 Qwen3.5-35B-A3B 모델을 사용하여 제로샷(zero-shot) 및 퓨샷(few-shot) 프롬프팅을 활용했습니다. 프로프트에는 MIND 프레임워크 설명과 Task 1 예측에서 도출된 개별 포스트의 중간 요약이 포함되었습니다.
  • Task 3.2: 재발 패턴 식별을 위해 Llama-3.2-3B-Instruct를 사용했습니다. LLM은 웰빙 변화 방향을 탐지하고, ABCD 요소를 식별하며, 자기 상태 레이블을 할당하도록 지시받았습니다. 변화 유형에 따른 적응적 vs 부적응적 상태의 통계적 분석을 통해 예시 타임라인의 요약을 생성했습니다.

주요 결과
팀의 시스템은 거의 모든 베이스라인을 능가하는 결과를 달성했으나, 모든 과제에서 최상위권에 도달하지는 못했습니다.

• Task 1: 평균 하위 요소 Macro F1 0.274(17개 중 12위) 및 존재 추정을 위한 평균 RMSE 1.407(17개 중 15위)을 달성했습니다. 저자들은 낮은 순위의 원인을 "무관한" 문장 클래스를 분류하는 것의 어려움으로 돌렸으며, 이것이 집계 과정에서 노이즈를 유발했다고 설명했습니다.
• Task 2: 결합 Macro F1 0.372(18개 중 15위)를 달성했습니다. 저자들은 "스위치" 탐지가 "에스컬레이션"보다 현저히 낮은 성능을 보였다고 언급하며, "스위치" 레이블이 텍스트에서 직접 추론하기 어려운 숨겨진 중간 계층(전반적 기능 평가 점수)에 의존하고 있다고 가설을 세웠습니다.
• Task 3: 시스템은 주목할 만한 성공을 거두어, Task 3.1에서 13개 중 8위(점수 7.3), Task 3.2에서 개선/악화 점수 기준 9개 중 5/6위를 기록했습니다. 저자들은 단순한 프롬프트를 가진 비교적 작은 규모의 모델이 일관성 및 모순 지표에서 높은 점수를 얻은 것에 대해 놀라움을 표했습니다.

의의 및 기여
본 논문은 이러한 정신 건강 상태 추정 시스템을 개발하고 테스트함으로써, 정신 건강 지원 시스템을 개선하려는 광범위한 목표에 기여했다고 주장합니다. 이 연구는 역동적인 정신 상태를 분석하기 위해 문장 수준의 분류와 LLM 기반 요약을 결합하는 방식의 실행 가능성을 입증합니다.

저자들은 다음과 같은 제한 사항과 겸허한 주장을 명시적으로 강조합니다:

• 근사치, 진단이 아님: 모델은 주석이 달린 자기 상태 패턴의 근사치를 출력하는 것이지, 개인의 임상적 정신 상태에 대한 직접적인 증거를 제공하는 것이 아닙니다.
• 데이터 제약: 번역 및 합성 생성된 데이터의 사용은 분포 불일치를 유발했을 수 있습니다.
• 개인정보 보호 및 범위: 본 연구는 개인정보 보호를 위해 로컬에 배포된 LLM만을 사용하는 제한된 액세스 환경에서 수행되었습니다. 저자들은 자신들의 시스템이 엄격히 연구 목적으로만 사용되어야 하며, 임상 진단이나 자율적인 의사결정에 사용되어서는 안 된다고 강조합니다.
• 향러 연구: 분석 결과에 따르면, 향후 개선을 위해서는 "무관한" 텍스트 클래스의 더 나은 처리, "스위치" 탐지를 위한 더 강력한 시계열 모델링, 그리고 요약의 구조적 정확성을 해치지 않으면서 콘텐츠 데이터를 주의 깊게 통합하는 작업이 필요합니다.