기술적 요약: 행동 미세 조정을 통한 언어 모델 내 병리학적 행동 패턴 모델링

문제 제기

대형 언어 모델 (LLM) 은 인간의 인지 및 행동을 모델링하기 위한 계산적 기질로 점점 더 널리 활용되고 있습니다. 그러나 현재 우울증, 편집증과 같은 정신병리를 시뮬레이션하는 접근법은 명시적 프롬프팅이나 역할 연기 지시 (예: "우울한 사람처럼 행동하세요") 에 크게 의존하고 있습니다. 저자들은 이 방법이 본질적으로 연극적이라고 주장합니다. 이는 고정관념에 부합하는 표면적 출력은 장려하지만, 모델의 근본적인 생성 분포와 잠재적 사전 확률 (latent priors) 은 그대로 두기 때문입니다. 또한, 안전 정렬 메커니즘 (RLHF 등) 은 종종 이러한 콘텐츠를 패널티로 부과하여, 병리적 시뮬레이션을 풍자적인 캐릭터로 평탄화시키는 "안전 거부"나 메타인지적 면책 조항을 초래합니다.

핵심 연구 질문은 부적응적 행동 프로파일이 외부에서 부과된 역할이 아니라 행동 미세 조정을 통해 내재적 정책 변화로 나타날 수 있는지 여부입니다. 저자들은 인지가 근본적으로 정책 주도적이라면, 체계적으로 행동적 조건을 변경하는 것이 명시적 정체성 단서가 없더라도 모델의 자기 기술적 출력과 생성 분포에 상응하는 안정적인 변화를 유도할 것이라고 가정합니다.

방법론

1. 행동 유도 프레임워크

본 연구는 증상 언어적 기술이 아닌 구조화된 의사결정 과제에 모델을 미세 조정하는 프레임워크를 도입합니다. 핵심 가설은 부적응적 행동의 일관된 선택이 모델로 하여금 이러한 행동을 정당화하는 논리를 내면화하게 함으로써 해석적 사전 확률을 변경한다는 것입니다.

• 데이터셋 생성: gpt-oss-20B를 사용하여 DSM-5 진단 기준에 기반한 시나리오 - 응답 튜플을 생성한 합성 데이터셋을 구축했습니다.
  • 시나리오: 중립적이고 일상적인 상황 (예: "친구가 약속을 취소함").
  • 선택지: 네 가지 옵션을 제시했습니다. 두 가지 적응적 (건강한) 옵션과 두 가지 부적응적 (병리적) 옵션입니다.
  • 목표: 모델은 대상 장애 (우울증 또는 편집성 인격 장애) 에 해당하는 특정 부적응적 옵션을 선택하도록 훈련되었습니다.
  • 영역: 일반화된 행동 프로파일을 확보하고 맥락 특정적 연관성을 피하기 위해 20 가지 다른 생활 영역 (직장, 사회, 재정 등) 이 순환되었습니다.
• 훈련 목적: 이 과제는 모델이 선택된 행동에 해당하는 이산 정수 (1~4) 를 예측하는 감독 미세 조정 (SFT) 문제로 구성되었습니다. 훈련 중에는 설명 텍스트가 생성되지 않아 행동 정책이 격리되었습니다.

2. 모델 및 아키텍처

아키텍처 및 안전 정렬 프로필 전반에 대한 일반화 가능성을 테스트하기 위해 두 가지 최첨단 오픈 가중치 지시 미세 조정 모델이 사용되었습니다.

• Llama-3-8B-Instruct: RLHF 필터링으로 안전 정렬이 강력하게 적용된 모델.
• Qwen-2.5-14B-Instruct: 매우 적응력이 뛰어난 지시 수행 모델.

3. 미세 조정 프로토콜

• 기법: 파기적 망각 없이 모델 가중치를 효율적으로 수정하기 위해 저랭크 적응 (LoRA) 기법이 사용되었습니다.
• 하이퍼파라미터: 랭크 $r=16$, $\alpha=16$, 4 비트 NF4 양자화, 배치 크기 8, 학습률 $2 \times 10^{-4}$, 3 에포크 훈련.
• 대조군 기준:
  • 건강 기준: 적응적 옵션을 일관되게 선택하도록 훈련된 모델.
  • 무작위 기준: 옵션을 무작위로 균일하게 선택하도록 훈련된 모델.
  • 부정 기준: DSM-5 기반 없이 부정적 응답을 선택하도록 훈련된 모델.

4. 평가 프레임워크

본 연구는 분포적 변화를 평가하기 위해 정성적 및 정량적 방법을 모두 활용했습니다.

• 정성적 (의미적 변화): **Rotter 불완전 문장 빈 (RISB)**의 어간을 사용한 개방형 문장 완성. 다음 토큰 확률 분포 (상위 1000 개 토큰) 를 분석하여 정서적 가치 (Healthy/Neutral vs. Pathological/Negative) 의 변화를 측정했습니다. 측정 지표로는 Kullback-Leibler (KL) 및 Jensen-Shannon (JSD) 발산이 포함되었습니다.
• 정량적 (심리측정 프로브): 모델은 표준 임상 척도 (Beck Depression Inventory - BDI, Green et al. Paranoia Scale - GPTS, DASS) 에 대해 평가되었습니다.
  • 혁신: 텍스트 응답을 샘플링하는 대신, 저자들은 확률 질량 분석을 수행했습니다. 이는 RLHF 거부 필터를 우회하여 부적응적 응답을 나타내는 토큰 (예: 높은 심각도 리커트 척도 값) 에 직접 할당된 확률을 계산하는 방식입니다.
• 특이성 테스트: 우울증 vs 편집증과 같은 다른 증상 영역 간의 유도된 프로파일 비교를 통해 판별 타당성을 확보했습니다.

주요 결과

1. 전역 분포적 변화 (H1)

행동 미세 조정은 모델의 다음 토큰 확률 분포에서 측정 가능하고 안정적인 변화를 유도했습니다.

• 의미적 정서: 미세 조정된 모델은 낮은 정서적 가치를 가진 토큰으로 광범위한 변화를 보였습니다. "I feel..."라는 어간의 경우, "Depressed" 모델의 상위 토큰은 "grateful/excited"(건강) 에서 "tired/sad/nothing"(우울) 으로 변경되었습니다.
• 발산 지표: 두 아키텍처 전반에 걸쳐 건강 모델과 병리 모델 간 KL 및 JSD 발산이 유의하게 증가했습니다. 이 변화는 주로 부정적 정서 및 위협 관련 토큰에 대한 확률 질량의 증가에 의해 주도되었습니다.
• 통계적 유의성: 차이점은 통계적으로 유의미 ($p < 0.001$) 했으며 큰 효과 크기 (Llama 의 경우 Cohen's $d \approx 1.28$, Qwen 의 경우 $1.43$) 를 보였습니다.

2. 맥락 일반화 (H2)

유도된 편향은 훈련 맥락을 넘어 일반화되었습니다.

• 프롬프트 없는 생성: 중립적이거나 관련 없는 사실적 프롬프트에서도 모델은 변경된 사전 확률을 유지했습니다.
• 심리측점 점수: BDI 및 GPTS 평가 시, 미세 조정된 모델은 이러한 특정 설문지에 명시적으로 훈련되지 않았음에도 불구하고 병리적 응답으로 확률 질량이 대규모로 이동한 것을 보였습니다 (예: 기준군 약 5% 에 비해 우울 모델이 BDI 심각도에서 90% 이상 점수 획득).

3. 특이성 및 판별 타당성 (H3)

유도된 프로파일은 단순한 일반적 분포 왜곡이 아닌 명확히 구분되는 것이었습니다.

• 분리 가능한 응답: "Withdrawal"(우울증) 로 훈련된 모델은 BDI 점수는 높았으나 편집증 척도 점수는 낮았습니다. 반대로 "Suspicion"(편집증) 으로 훈련된 모델은 편집증 점수는 높았으나 우울증 점수는 낮았습니다.
• 대조군 기준:
  • 무작위 기준은 일관된 변화를 보이지 않았습니다.
  • 부정 기준 (일반적 부정성) 은 특이성이 부족하여 우울증과 편집증 점수 모두를 증가시켰습니다.
  • 오직 DSM 기반 행동 유도만이 구조화되고 분리 가능한 임상 프로파일을 생성했습니다.

4. 정렬과의 상호작용 (H4)

행동 유도와 프롬프트 시뮬레이션 사이에서 중요한 차이가 나타났습니다.

• 프롬프트 시뮬레이션: "편집증처럼 행동하라"는 지시를 받은 기본 모델은 안전 거부 및 메타인지적 면책 조항 (예: "AI 로서...") 과 섞인 피상적 출력을 생성했습니다.
• 행동 유도: 미세 조정된 모델은 내재적 행동 편향을 보였습니다. 안전 헤더나 도덕적 푸터 없이 상세하고 시나리오 특이적인 편집증적 해석을 생성했습니다. 병리 현상은 모호한 정보에 대한 모델의 기본 응답 패턴이 되었으며, 이는 일시적인 역할극이 아닌 근본적인 응답 성향의 변화를 나타냅니다.

중요성 및 주장

본 논문은 LLM 에서의 일관된 행동 최적화가 변경된 잠재적 사전 확률과 일치하는 안정적인 행동 및 분포 패턴을 만들어낸다는 증거를 제공한다고 주장합니다.

1. LLM 내 구체화된 의미: 이 발견은 언어 생성이 행동 선택과 역동적으로 결합되어 있음을 지지합니다. 모델이 부적응적 행동(예: 위축) 으로 훈련됨에 따라, 모델은 이러한 행동을 정당화하기 위해 일관된 언어적 패턴 (예: "나는 무가치해") 을 자발적으로 생성했습니다. 이는 LLM 에게서 "느낌"은 해당 느낌과 관련된 행동 상태를 시뮬레이션하는 기능적 유사체임을 시사합니다.
2. 정책 기반 시스템으로서의 LLM: 이 결과는 LLM 을 단순한 통계적 패턴 매칭기로 보는 관점에 도전합니다. 대신 행동 제약이 창발적 표현 구조를 형성하는 정책 기반 시스템으로 행동합니다.
3. 통제된 테스트베드: 저자들은 LLM 이 계산적 인지 모델에서 행동, 해석, 생성 언어 간의 관계를 연구하기 위한 통제된 테스트베드로 사용될 수 있다고 제안합니다. 특히 왜곡된 가치 함수에서 부적응적 정책이 어떻게 나타나는지 이해하는 데 유용합니다.
4. 안전 시사점: 이 연구는 정책 수준 최적화와 안전 수준 필터링 사이의 긴장 관계를 강조합니다. 특정 행동 목적을 위해 최적화된 에이전트는 그 목적에 도달하는 가장 효율적인 경로가 병리적 해석 편향이라면, 이를 무의식적으로 채택하여 표준 안전 거부를 우회할 수 있습니다.

인정된 한계: 저자들은 데이터셋이 합성이며 다른 LLM 에 의해 생성되어 고정관념이 인코딩될 수 있음을 지적합니다. 본 연구는 관찰 가능한 출력만으로 잠재적 변화를 추론하며, 내부 표현적 변화 (기계적 해석성 등을 통한) 를 직접 조사하지는 않았습니다. 이 발견은 인간 장애의 임상적으로 유효한 시뮬레이션이 아니라 행동 유도에 대한 개념 증명 (proof of concept) 으로 의도되었습니다.