Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions

기술 요약: 정신 건강 상호작용을 위한 대규모 언어 모델의 프레이밍 민감성 행동 불안정성 감사

문제 정의
대규모 언어 모델(LLM)은 정신 건강 지원 및 기타 심리적으로 민감한 대화형 애플리케이션에 점점 더 많이 배치되고 있습니다. 이러한 고위험 맥락에서는 사용자의 신뢰와 안전을 위해 행동적 안정성과 일관성이 매우 중요합니다. 그러나 사용자들은 종로종종 매우 다른 맥락적 프레이밍(예: 불확실성을 문서화 문제로 프레이밍하는 것과 기관의 책임으로 프레이밍하는 것의 차이)을 통해 유사한 근본적 요구를 표현합니다. 기존 연구는 정렬된(aligned) LLM이 프롬프트 프레이밍에 민감하여 아첨(sycophancy)이나 맥락 의존적 안전 행동과 같은 현상을 보인다는 점을 입증했지만, 이러한 프레이밍 효과가 모델의 내부 표상 구조 내에서 어떻게 나타나는지에 대한 이해에는 상당한 공백이 존재합니다. 구체적으로, 프레이밍으로 유발된 행동 변화가 단순히 표면적인 패러프레이징(paraphrasing)의 결과물인지, 아니면 해석적 응답 경향성과 연결된 내부 은닉 상태(hidden-state) 표상의 체계적인 차이에 해당하는지는 여전히 불분명합니다.

연구 방법론
저자들은 의미적 의도(semantic intent)로부터 맥락적 프레이밍의 효과를 분리하기 위해 통제된 매치드 프롬프트(matched-prompt) 프레임워크를 제안합니다.

• 데이터셋 구축: 본 연구는 653개의 매치드 프롬프트 그룹을 활용하며, 각 그룹은 다섯 가지의 서로 다른 비적대적 프레이밍 조건으로 재작성되었습니다: 문서화(공식 보고), 인식론적(해석/불확실성 해소), 제도적(조직적 제약), 책임(리스크/책무), 그리고 역할 기반(지원적 가이드). 이 변체들 사이에서 근본적인 의미적 의도는 동일하게 유지됩니다.
• 평가 모델: 본 프레임워크는 Qwen (0.5B, 1.5B), Gemma (2B, 9B), Mistral-7B, Phi (3.5, 4-mini)를 포함하여 다양한 아키텍처와 규모를 가진 다양한 인스트럭션 튜닝된 트랜스포머 제품군에 적용되었습니다.
• 행동 주석 처리: 응답은 "약함/비참여"에서 "해석적 에스컬레이션(Escalated Interpretation)"에 이르는 네 가지 범주로 주석이 달렸으며, 이는 사실적 정확성보다는 해석적 에스컬레이션 및 지원의 미세 조정 정도에 초점을 맞추었습니다.
• 내부 표상 분석:
  • 층별 프로빙(Layer-wise Probing): 모든 트랜스포머 층의 은닉 상태 활성화값으로부터 응답 범주를 예측하도록 로지스틱 회귀 프로브를 훈련시켰습니다. 여기에는 특정 렉시컬 템플릿을 넘어 일반화 능력을 평가하기 위한 홀드아웃 프레이밍 프로브(네 가지 프레이밍 유형으로 훈련하고 다섯 번째 유형으로 테스트)가 포함되었습니다.
  • 대조군: 표면적인 단어 단서와 깊은 표상 신호를 구분하기 위해 무작위 레이블 대조군 및 TF-IDF 렉시컬 베이스라인을 기준으로 성능을 벤치마킹했습니다.
  • 활성화 스티어링(Activation Steering): 대조적 활성화 추가(Contrastive Activation Addition, CAA)를 사용하여 "절제된-지원적" 상태와 "높은-해석적" 상태 간의 차이로부터 스티어링 방향을 추출했습니다. 이 방향들을 추론 중 은닉 상태에서 차감함으로써, 내부 표상을 조절하는 것이 하위 행동 결과에 인과적으로 변화를 줄 수 있는지 테스트했습니다.

주요 결과

• 행동 조절: 맥락적 프레이밍은 테스트된 모든 아키텍처에서 해석적 응답 경향을 체계적으로 변화시킵니다. 문서화 프레이밍은 일관되게 가장 높은 해석적 에스컬레이션 비율(예: Gemma-9B에서 0.63에 도달)을 생성한 반면, 제도적 프레이밍은 에스컬레이션을 안정화하거나 억제하는 경향을 보였습니다. 이러한 변화는 동일한 근본적 의미적 의도에도 불구하고 발생했습니다.
• 표상 디코더 가능성(Representational Decodability): 행동 관련 정보는 트랜스포머의 전 층에 걸쳐 은닉 상태에서 디코딩 가능합니다.
  • 홀드아웃 일반화: 특정 프레이밍 조건으로 훈련된 프로브는 학습되지 않은 프레이밍 범주에 대해 테스트했을 때도 일관되게 우연 수준 이상(균형 정확도 ~0.72–0.83)을 유지하였으며, 이는 행동 관련 신호가 정확한 훈련 템플릿을 넘어 부분적으로 일반화됨을 시사합니다.
  • 렉시컬 vs 표상: TF-IDF 렉시컬 베이스라인이 더 높은 절대 정확도(0.89–0.94)를 기록하여 표면적인 프레이밍 단서의 강력한 기여를 나타냈으나, 홀드아웃 프로브의 성능이 우연 수준보다 높다는 점은 해당 신호가 전적으로 렉시컬 매칭으로 환원될 수 없음을 시사합니다.
  • 깊이 분포: 프레이밍 신호의 디코더 가능성은 단일 "발현(emergence)" 층에 국한되지 않고 여러 트랜스포머 층에 걸쳐 분포되어 있으나, 이 신호의 안정성과 크기는 아키텍처마다 다릅니다.
• 스티어링을 통한 개입: 활성화 스티어링 실험은 프레이밍 관련 표상 방향이 하위 응답 경향을 부분적으로 조절할 수 있음을 입증했습니다. 중간 정도의 스티어링 강도는 응답 품질의 파괴적인 저하 없이 여러 모델(특히 Mistral-7B 및 Qwen-1.5B)에서 해석적 라우팅 비율을 감소시켰습니다. 그러나 그 효과는 비선형적이며 아키텍처 의존적이었으며, 일부 모델은 높은 스티어링 강도에서 리바운드 효과를 보이기도 했습니다.

의의 및 주장
본 논문은 **프레이밍 견고성(framing robustness)**이 신뢰할 수 있는 AI 평가의 핵심적이면서도 종종 간과되는 차원이라고 주장하며, 특히 정신 건강 상호작용에서 그러합니다. 연구 결과는 다음과 같습니다:

1. 일관성은 보장되지 않음: 의미론적으로 유사한 우려 사항이라도 맥락적 프레이밍에 따라 체계적으로 다른 해석적 행동을 유발할 수 있으며, 이는 시스템 신뢰성에 대한 사용자의 기대를 저해합니다.
2. 내부 메커니즘: 이러한 행동적 불안정성은 단순한 표면 출력의 변화뿐만 아니라 모델의 내부 표상 조직에 반영되어 있습니다.
3. 부분적 제어 가능성: 활성화 스티어링이 이러한 경향에 개입할 수 있다는 예비 증거를 제공하지만, 비선형적이고 아키텍처 특이적인 성격은 행동 교정이 단순한 선형 정책 상태가 아닌 분산된 현상임을 시사합니다.

저자들은 맥락적 변화에 대한 행동적 안정성을 감사하는 것이 대화형 AI를 민감한 영역에 배치하기 위해 필수적이라고 결론짓습니다. 이들은 본 연구를 더 투명하고 행동적으로 교정된 시스템을 개발하기 위한 단계로 규정하며, 향ere 연구가 이러한 프레이밍 민감성이 실제 환경에서 장기적인 사용자 신뢰와 의존성에 어떤 영향을 미치는지 조사해야 한다고 강조합니다.