기술 요약: 언어 모델 내 자해 표현 분석

문제 정의

소셜 미디어에서 자해 콘텐츠를 탐지하는 작업은 적시에 위험 사용자를 식별하고 개입하기 위해 높은 정확도를 요구하는 고위험 과업이다. LSTM, BERT 기반 트랜스포머, 그리고 LLM을 이용한 자동 탐지 시스템이 콘텐츠 중재 및 정신 건강 모니터링을 위해 개발되어 왔으나, 이러한 모델의 내부 메커니즘을 이해하는 데에는 여전히 상당한 격차가 존재한다. 구체적으로 다음과 같은 사항에 대한 지식이 제한적이다:

• 네트워크의 어느 지점에서 자해 개념이 "결정화(crystallize)"되는가.
• 레이어를 가로지르는 이러한 표현의 기하학적 안정성은 어떠한가.
• 자해의 구조적 표현이 서로 다른 아키텍처와 규모 전반에 걸쳐 일관되게 나타나는가.

저자들은 이러한 내부 표현을 이해하는 것이 프롬프트 엔지니어링을 넘어 개입과 거버넌스를 위한 명시적이고 테스트 가능한 구성 요소를 포함하는 더 안전한 시스템을 구축하는 데 필수적이라고 주장한다.

방법론

본 연구는 두 개의 데이터셋과 네 개의 인스트럭션 튜닝된 트랜스포머 모델을 사용하여 교차 아키텍처 분석을 수행한다.

데이터셋:

1. X-Sensitive (X-S): 6개 카테カテゴリ에 대해 주석이 달린 영어 소셜 미디어 포스트의 다중 레이블 코퍼스이다. 저자들은 200개의 자해 양성 포스트와 200개의 대조군 포스트(모든 카테고리가 0인 포스트)를 추출하였다.
2. SH-Detection (SH-D): 자해 포스트는 "self-harm"으로 레이블링되고 그 외의 모든 포스트는 대조군 역할을 하는 이진 데이터셋이다. 균형 잡힌 600-포스트 샘플이 사용되었다.
   전처리 과정에는 20자 미만의 포스트 제거, URL 제거, 공백 압축, 멘션 익명화가 포함되었다.

모델:
분석에 사용된 네 가지 인스트럭션 튜닝된 트랜스포머는 다음과 같다:

• Qwen3-0.6B (0.6B 파라미터, 28개 레이어)
• Llama 3.2-1B-Instruct (1B 파라미터, 16개 레이어)
• Llama 3.2-3B-Instruct (3B 파라미터, 28개 레이어)
• Gemma-3-4B-it (4B 파라미터, 34개 레이어)

실험 설정:

1. 레이어별 프로빙(Layer-wise Probing): 각 레이어 $\ell$에 대해, 저자들은 마지막 토큰의 잔차 스트림 활성화값($a_\ell$)을 추출하였다. 이들은 5-겹 층화 교차 검증(5-fold stratified cross-validation)을 사용하여 $\ell_2$-정규화된 로지스틱 회귀 프로브(선형 분류기)를 훈련시켰다. 주요 지표는 평균 ROC-AUC이며, 활성화값에 대한 사전 정규화 없이 보고되었다.
2. 대조 방향 분석(Contrastive Direction Analysis): Zou 등(2023)의 방식을 따라, 저자들은 각 레이어에서의 대조적 자해 방향 벡터 $d_\ell$을 자해 포스트의 평균 활성화값($\bar{a}^+$)과 대조군 포스트의 평균 활성화값($\bar{a}^-$) 사이의 정규화된 차이로 계산하였다.
   • 분리 가능성(Separability): 최적의 분리 레이어에서 포스트들을 $d_\ell$에 투영한 스칼라 값에 대한 Cohen's $d$를 사용하여 측정하였다.
   • 안정성(Stability): 방향 벡터가 네트워크 깊이에 따라 일관되게 유지되는지 또는 회전하는지를 결정하기 위해, 레이어 간 $L \times L$ 쌍 코사인 유사도 행렬을 통해 평가하였다.

주요 결과

1. 자해 개념의 결정화
네 가지 모델과 두 데이터셋 모두에서, 자해 정보는 일관되게 마지막 3~7%의 네트워크 레이어(깊이 93% ~ 97%)에서 결정화된다.

• 성능: SH-Detection 데이터셋에서 모든 모델은 높은 성능(AUC 0.923 ~ 0.972)을 보였으며, X-Sensitive에 비해 낮은 분산을 나타냈다. X-Sensitive의 경우 성능이 더 낮았는데(AUC 0.703 ~ 0.817), 이는 해당 코퍼스에 비유적 표현이나 더 미묘한 부정적 사례들이 존재하기 때문인 것으로 보인다.
• 오류 분석: 허위 음성(False negatives)은 주로 비유적/은유적 언어나 3인칭 문맥에서 발생했다. 허위 양성(False positives)은 빈번하게 정신 건강 옹호 포스트나 위기 관련 어휘를 사용하면서도 1인칭 고통을 전달하지 않는 콘텐츠에서 나타났다.

2. 기하학적 분리성과 분류 정확도
가장 정확한 선형 프로브가 반드시 평균 차이 방향 측면에서 가장 선형적으로 분리 가능한 것은 아니라는 점이 핵심적인 발견이다.

• Gemma-3-4B의 특이점: Gemma-3-4B는 X-Sensitive에서 가장 높은 프로브 AUC(0.817)를 기록했으나, 모델 중 가장 낮은 Cohen's $d$(0.71)를 기록했다.
• 해석: 저자들은 Gemma의 자해 신호가 단일 방향에 집중되어 있지 않고 활성화 공간 전체에 분산되어 있다고 제안한다. 선형 프로브는 이 분산된 신호를 활용하는 초평면(hyperplane)을 찾아낼 수 있는 반면, 단순한 평균 차이 방향(Cohen's $d$)은 전체 분리성을 포착하는 데 실패한다.
• 괴리: Llama 3.2-3B의 경우, 대조 방향의 분리성(Cohen's $d$)은 레이어 14에서 정점을 찍었으나, 이는 프로브 AUC가 계속 상승하는 최종 레이어들보다 훨씬 앞선 시점이었다. 이는 중간 단계의 방향이 강력할 수는 있지만, 그 자체만으로는 정확한 분류를 수행하기에 불충분함을 시사한다.

3. 방향 안정성
자해 대조 방향은 네트워크 깊이에 따라 안정적이지 않다.

• 블록 대각 구조(Block-Diagonal Structure): 인접한 레이어들은 높은 정렬을 보이지만(코사인 유사도 0.76–0.92), 네트워크의 첫 1/3과 마지막 1/3 부분의 방향은 거의 직교한다(코사인 유사도 0.14–0.38).
• 함의: 자해 개념은 네트워크를 통과하면서 동적으로 재표현된다. 즉, 초기 레이어에서 추출된 방향은 후기 레이어로 전이되지 않는다. Gemma-3-4B는 SH-D 데이터셋에서 가장 낮은 교차 레이어 코사인 유사도(0.135)를 보였다.

의의 및 주장

본 논문은 안전 관련 임베딩의 내부 기하학을 밝힘으로써 더욱 효과적인 개입 전략을 위한 길을 열었다고 주장한다. 구체적으로:

• 표현 엔지니어링(Representation Engineering): 본 연구는 블랙박스 탐지를 넘어 명시적이고 테스트 가능한 구성 요소를 사용하는 표현 엔지니어링의 활용을 뒷받침한다.
• 아키텍처 차이: 결과는 서로 다른 모델(예: Gemma와 Llama)이 동일한 안전 개념(자해)을 구조적으로 다른 방식(집중형 vs 분산형 신호)으로 표현할 수 있음을 강조하며, 이는 안전 메커니즘이 특정 아키텍처에 어떻게 맞춤화되어야 하는지에 대한 시사점을 준다.
• 데이터 품질의 영향: X-Sensitive와 SH-Detection 데이터셋 사이의 체계적인 성능 격차는 레이블링 품질과 코퍼스의 구성이 표현의 질에 상당한 영향을 미친다는 것을 보여주며, 이는 안전 모델을 훈련하거나 평가할 때 반드시 고려되어야 할 요소이다.

저자들은 자해 개념이 일관되게 후기 레이어에서 결정화되지만, 이러한 표현의 기하학적 성질은 복잡하고 모델마다 다르다는 점을 들어, 모든 레이어와 아키텍처에 걸쳐 단일하고 안정적인 "안전 방향"이 존재한다는 가설에 도전하며 결론을 맺는다.