기술 요약: CLPsych 2026의 Team MKC

문제 정의

본 논문은 전 세계적으로 정신 건강 질환이 만연해 있음에도 불구하고 전문적인 케어에 대한 접근성이 제한적인 상황에서, 소셜 미디어 타임라인을 통해 정신 건강의 변화를 포착하고 특징짓는 도전 과제를 다룹니다. 거대 언어 모델(LLM)은 일반적인 영역에서는 유망한 성능을 보여주었으나, 개인정보 보호 문제로 인한 학습 데이터의 부족으로 인해 임상 심리학 분야에 적용하는 데 어려움을 겪고 있습니다. 저자들은 Tsakalidis 등(2022b)이 도입한 데이터셋을 활용하여 사용자의 기분 변화가 관찰 가능한 시점인 "변화의 순간(Moments of Change, MOC)"을 식축하는 CLPsych 2026 공유 태스크에 집중합니다. 핵심 문제는 다음의 다섯 가지 상호 연관된 태스크로 구성된 파이프라인입니다:

1. 포스트 수준 평가 (Post-level Assessment): 개별 포스트에 대해 ABCD 하위 요소 및 자기 상태(적응적/부적응적)를 분류합니다.
2. 사용자 수준 집계 (User-level Aggregation): 사용자의 이력 전반에 걸친 각 정신 상태의 존재율을 추정합니다.
3. 시계열 모델링 (Temporal Modeling): 시간 순서대로 정렬된 포스트들 사이에서 "스위치(Switch, 급격한 변화)"와 "에스컬레이션(Escalation, 점진적 강화)"을 식별합니다.
4. 요약 (Summarization): 변화 이벤트에 대한 요약을 생성합니다.
5. 패턴 추출 (Pattern Extraction): 개선 및 악화의 재발하는 역동적 시그니처를 탐지합니다.

주요 기술적 장애물은 데이터셋 내의 극심한 클래스 불균형과 데이터 희소성으로, 일부 하위 차원은 단 하나의 학습 인스턴스만을 포함하거나 아예 없는 경우도 존재합니다.

방법론

저자들은 포스트 수준의 평가와 사용자 수준의 시계열 모델링을 통합하도록 설계된 통합된 5단계 LLM 기반 파이프라인을 제안합니다.

1단계: 포스트 수준 분류

시스템은 포스트당 12개의 독립적인 타겟(적응적 상태를 위한 6개 하위 차원 및 부적응적 상태를 위한 6개 하위 차원)을 분류합니다.

• 아키텍처: Qwen3-4B-Embedding (Qwen Embed)이 특징 추출기 역할을 수행하며, LoRA를 통해 미세 조정됩니다.
• 학습 전략: 추출된 임베딩은 Cross-Entropy 손실 함수로 학습된 12개의 독립적인 분류기에 입력됩니다. 클래스 불균형 문제를 해결하기 위해 저자들은 역빈도 가중치(inverse-frequency weighting)(불안정성을 방지하기 위해 최대 10으로 제한)와 5-겹 교차 검증(5-fold cross-validation) 전략 및 앙상블을 사용합니다.

2단계: 자기 상태 존재율 측정

이 단계는 적응적 및 부적응적 자기 상태에 대한 수치 점수(1–5 리커트 척도)를 예측합니다.

• 아키텍처: 전용 예측기가 1단계 임베딩으로부터 스칼라 값을 회귀합니다.
• 학습 전략: 모델은 점수 빈도의 역수로부터 도출된 **가중 Huber 손실(weighted Huber loss)**을 사용합니다. 출력값은 [1, 5] 범위로 스케일링됩니다. 1단계와 마찬가지로 5-겹 교차 검증 앙상블이 사용됩니다.

3단계: 변화의 순간(MOC) 탐지

이 단계는 두 가지 전이 유형을 탐지합니다: 스위치(Switch, 연속된 포스트 간의 급격한 변화) 및 에스컬레이션(Escalation, 점진적 강화).

• 아키텍처: Qwen Embed가 LoRA로 미세 조정되며, 두 개의 독립적인 선형 분류기에 연결됩니다.
• 입력: 시간 $t$에서의 전이를 예측하기 위해 크기가 2인 슬라이딩 윈도우($t-1$과 $t$의 포스트)를 사용합니다.
• 학습 전략: 적응형 클래스 가중치를 적용한 Binary Cross-Entropy와 5-겹 교차 검증 앙상블을 사용합니다. 저자들은 더 큰 모델(8B)이 작은 데이터셋(~500개 샘플)에서 과적합되는 현상을 목격하여 4B 모델을 선호하게 되었다고 언급했습니다.

4단계: 시퀀스 요약

전체 시퀀스의 자연어 요약을 생성하는 것이 목표이며, 이전 단계의 주석을 포함합니다.

• 아키텍처: Qwen3.5-4B 및 Qwen3-4B를 대상으로 LoRA를 이용한 지도 미세 조정(SFT)을 수행합니다.
• 추론: 모델은 파이프라인 설정을 충실히 시뮬레이션하기 위해 정답(ground truth) 대신 1~3단계의 예측값을 입력으로 받습니다.
• 과제: 저자들은 이 작은 데이터셋에서 미세 조정을 하는 것이 노이즈 전파 및 모델의 사전 학습된 지식 덮어쓰기로 인해 제로샷 프롬프팅보다 성능을 저하시킬 수 있음을 관찰했습니다.

5단계: 역동적 시그니처 추출

마지막 단계는 시퀀스 전반에 걸쳐 자기 상태 구성 요소들이 어떻게 상호작용하는지 분석하여 개선 및 악화의 재발하는 패턴을 식별합니다.

• 접근 방식: Qwen3.5-9B를 사용한 제로샷(zero-shot) 접근 방식입니다.
• 과정: 메모리 부족(Out-of-Memory) 오류를 피하기 위해 시퀀스를 그룹으로 나누어 시그니처를 추출한 후 이를 요약합니다.

주요 결과

• 1단계 및 2단계 (분류 및 회귀): 검증 세트에서 적응적 가중치는 1단계의 성능을 일관되게 향상시켰습니다. 그러나 2단계의 경우, 가중치를 적용하지 않은 모델이 더 나은 성능을 보였습니다. 테스트 세트에서는 K-fold 앙상블이 두 단계 모두에서 단일 모델 베이스라인보다 명확한 개선을 제공했는데, 이는 학습 데이터를 더 완전하게 활용했기 때문입니다.
• 3단계 (MOC 탐지): Qwen3-4B 모델이 8B 변체보다 우수한 성능을 보였으며, 이는 더 큰 모델이 제한된 데이터셋에서 과적합된다는 점을 확인시켜 줍니다. K-fold 앙상블은 F1 점수를 0.55까지 끌어올렸습니다.
• 4단계 (요약): 미세 조정된 모델들(Qwen3.5-4B 및 Qwen3-4B)은 일관성 및 모순 점수 측면에서 제로샷 베이스라인보다 낮은 성능을 보였습니다. 저자들은 이를 이전 단계에서 유입된 노이즈와 저자원 환경에서 사전 학습된 지식을 지워버릴 위험 때문이라고 설명합니다.
• 5단계 (시그니처): 제로샷 접근 방식은 개선(Improvement)에 대해 0.7266, 악화(Deterioration)에 대해 0.2301의 점수를 산출했습니다.

의의 및 기여

본 논문은 정신 건강 분석을 위해 포스트 수준의 평가와 사용자 수준의 시계열 모델링을 통합하는 포괄적인 파이프라인을 제시합니다. 주요 기여는 다음과 같습니다:

1. 통합 프레임워크: 세밀한 포스트 분류부터 고수준의 시계열 패턴 추출까지의 스펙트럼을 처리하는 응집력 있는 시스템을 구축했습니다.
2. 불균형에 대한 강건성: 정신 건강 데이터셋 특유의 심각한 클래스 불균형과 데이터 희소성을 완화하기 위해 역빈도 가중치와 K-fold 앙상블을 효과적으로 사용했습니다.
3. 모델 스케일링에 대한 경험적 통찰: 저자원은 노이즈가 많고 자원이 부족한 도메인에서는 과적합되기 쉬운 더 큰 모델(8B)보다 작은 모델(4B)과 앙상블 전략을 결합하는 것이 더 효과적일 수 있음을 강조합니다.
4. 미세 조정에 대한 경고: 결과는 극도로 자원이 부족한 설정에서 제로샷 프롬프팅이 미세 조정보다 때때로 더 우월할 수 있음을 시사하며, 미세 조정은 귀중한 사전 학습 지식을 덮어쓸 위험이 있음을 보여줍니다.

한계 및 향후 과제

저자들은 주로 학습 데이터의 부족(약 500개 샘플)과 그로 인한 클래스 불균형을 주요 한계점으로 인정합니다. 일부 하위 차원은 신뢰할 수 있는 학습을 위한 데이터가 불충분했습니다.

• 제안된 해결책: 저자들은 미달된 하위 차원을 보완하기 위해 LLM을 사용하여 **합성 사용자 포스트(synthetic user posts)**를 생성함으로써 더 균형 잡힌 데이터셋을 만드는 방안을 제안합니다.
• 윤리적 고려 사항: 본 논문은 이 파이프라인이 연구용 산물이지 진단 도구가 아님을 강조합니다. 임상 환경에서의 위양성/위음성 위험과 자해와 같은 민감한 주제에 대한 합성 데이터를 생성하는 것의 윤리적 복잡성을 경고하며, 그러한 데이터가 학습에 사용되기 전에는 반드시 임상 전문가의 검토가 선행되어야 한다고 주장합니다.