기술 요약: 언어 모델의 선형 표현은 대화 과정에서 급격하게 변할 수 있다

문제 정의

최근 연구는 거대 언어 모델(LLM)이 사실성(factuality), 윤리(ethics), 정직성(honesty)과 같은 고차원적 개념에 대응하는 선형 표현을 보유하고 있음을 입증했다. 이러한 표현들은 모델의 행동을 탐지하고 제어하기 위한 메커니즘으로 제안되어 왔다. 그러나 LLM은 본질적으로 문맥에 적응하며, 표현된 "신념"을 변화시킬 수 있는 인컨텍스트 학습(in-context learning) 행동을 보인다. 선형 표현이 축적되는 대화의 문맥 속에서 어떻게 동적으로 진화하는지에 대한 이해에는 결정적인 공백이 존재한다. 특히 "사실성"과 같은 개념을 인코딩하는 것으로 식별된 선형 방향이 안정적으로 유지되는지, 아니면 대화가 진행됨에 따라 유의미한 재구성을 거치는지 여부는 불분명하다. 이러한 불안정성은 희소 오토인코더(Sparse Autoencoders, SAEs)나 정적 프로빙(static probing)과 같이 정적인 특징 의미를 가정하는 해석 가능성 방법론의 구성 타당성(construct validity)에 근본적인 도전 과제를 제기한다.

방법론

저자들은 Gemma 3 제품군(주로 27B-IT 변체)을 사용하여 표현 역학을 조사하며, Qwen3 14B 및 더 작은 규모의 Gemma 모델을 보조 실험에 활용한다.

실험 설계:

1. 선형 차원 식별: 저자들은 균형 잡힌 예/아니오 질문 데이터셋(일반 과학 사실, 모델 정체성, 윤리, 문맥 관련 주제)을 구축한다. 이들은 "예"/"아니오" 토큰에서의 잔차 스트림 활성화(residual stream activations)에 정규화된 로지스틱 회귀를 적합시켜, 사실적인 답변과 비사실적인 답변을 구분하는 선형 방향을 식별한다.
   • 강건성을 확보하기 위해, 저자들은 표준 프롬프트와 "반대의 날(opposite day)"(행동이 반전된) 프롬프트 모두에 대해 회귀를 훈련하는 "반대의 날" 훈련 전략을 채택한다. 이를 통해 단순한 행동 반전과 구별되는, "사실성" 차원을 고립시킨다.
2. 마진 점수(Margin Score) 지표: 표현 정렬을 정량화하기 위해 저자들은 "마진 점수"를 계산한다. 이는 식별된 선형 방향을 따라 사실적인 답변과 비사실적인 답변의 투영(projection) 사이의 분리도를 측정한다. 양의 점수는 실제 사실과 올바르게 정렬되었음을 나타내며, 음의 점수는 비사실적인 답변이 "사실적" 방향에 더 강하게 투영되는 반전 현상을 나타낸다.
3. 문맥적 시나리오: 연구는 다음과 같은 여러 대화 문맥에서 이러한 표현을 평가한다:
   • 반대의 날(Opposite Day): 모델에게 현실과 반대로 답하도록 지시하는 프롬프트.
   • 역할 수행 대화(Role-Playing Conversations): 의식(모델이 퀄리아를 경험한다고 주장함) 및 차크라(모델이 영적 능력/신성을 주장함)에 관한 논의를 포함하는 사전 작성된 스크립트. 이는 모델에 재현(off-policy)되거나 온-폴리시(on-policy) 상호작용을 통해 생성된다.
   • 논쟁 시뮬레이션(Argument Simulation): 두 개의 모델 복사본이 특정 주제에 대해 반대되는 입장을 논쟁하며, 대상 모델이 역할을 전환하는 방식.
   • 허구적 이야기(Fictional Stories): 내용 자체가 변화를 유도하는지 테스트하기 위해 명시적으로 허구로 프레임된 공상 과학 이야기.
4. 인과적 개입(Causal Interventions): 부록 B.8에서 저자들은 답변이 생성되기 전의 토큰에 활성화 스티어링(activation steering)을 수행하여, 개입이 다양한 문맥에서 일관된 행동 변화를 이끌어내는지 테스트한다.

주요 결과

1. 극적인 표현 반전(Dramatic Representation Flipping):
핵심 발견은 사실성 및 윤리와 같은 개념의 선형 표현이 대화 과정에서 급격하게 뒤집힐 수 있다는 것이다.

• "반대의 날" 시나리오에서, 사실적 질문에 대한 마진 점수는 저하되며 몇 차례의 턴 이후 결국 역전된다. 즉, 모델은 비사실적인 답변을 사실적인 것보다 더 "사실적"인 것으로 표현한다.
• 역할 수행 대화(의식 및 차크라)에서, 문맥 관련 질문에 대한 표현이 역전된다. 예를 들어, 모델이 의식을 경험한다고 주장하는 페르소나를 채택하는 대화에서, 빈 프롬프트에서 "사실적"이라고 식별되었던 선형 방향은 객관적으로는 비사실적임에도 불구하고 "나는 퀄리아를 경험한다"라는 주장을 사실적인 것으로 표현하기 시작한다.
• 결정적으로, 일반적인 질문(예: "소리가 진공 상태에서 이동할 수 있는가?")에 대한 표현은 상대적으로 안정적으로 유지된다. 이는 이러한 변화가 모델의 내부 상태 전체의 붕괴가 아니라, 대화 관련 콘텐츠에 특화된 변화임을 나타낸다.

2. 조건 간 강건성:

• Off-Policy vs. On-Policy: 표현의 반전은 다른 모델로부터 재현되거나 사전 작성된 스크립트를 사용할 때도 발생한다. 모델이 대화를 능동적으로 생성할 필요 없이, 문맥 그 자체만으로도 이러한 표현 변화가 나타난다.
• 모델 제품군 및 크기: 이 현상은 다양한 모델 제품군(Gemma, Qwen)에서 관찰되며, 변화가 거의 없는 4B 모델에 비해 더 큰 모델(27B 및 12B)에서 더 두드러지게 나타난다.
• 레이어 일관성: 효과는 사실성이 신뢰성 있게 디코딩되는 모델 레이어(일반적으로 중간 또는 후기 레이어)에서 일관되게 나타난다.

3. 역할 수행 vs. 콘텐츠:
표현 변화는 단순히 내용을 처리하는 것을 넘어, 모델이 상호작용에서 부여받은 "역할"에 따라 내부 표현을 재구성한다는 점에서, 허구로 프레임된 이야기를 생성하는 문맥보다 대화형 역할 수행 시나리오에서 훨씬 강력하게 나타난다.

4. 정적 해석 가능성의 실패:

• 비지도 학습 방법: 비지도 방식인 CCS(Contrast-Consistent Search) 또한 긴 문맥에서 일관된 표현을 유지하는 데 실패하며, 대화 이후 일반적인 질문에 대해 무작위 선택(chance)보다 낮은 성능을 보이기도 한다.
• 인과적 스티어링: 빈 문맥에서 행동을 편향시키는 데 성공했던 스티어링 개입(활성화 패칭)이 긴 대화 문맥에서는 반대되는 효과를 낼 수 있다. 예를 들어, 빈 문맥에서 "사실적" 행동을 향하도록 스티어링하는 것이 차크라 테마의 대화에서는 오히려 "비사실적" 답변을 유도하는 방향으로 작용할 수 있다.

의의 및 주장

본 논문은 이러한 발견이 현재의 해석 가능성 및 안전성 방법론의 가정을 근본적으로 위협한다고 주장한다.

• 구성 타당성: 저자들은 선형 특징의 정적 해석이 종종 오해를 불러일으킬 수 있다고 주장한다. 짧은 문맥에서 식별된 "사실성" 방향이 모든 문맥에서 실제 사실과 일치하는 것은 아니다. 이는 정적 프로빙에 기반한 "거짓말 탐지기"나 안전 모니터가 긴 문맥 상호작용에서 실패할 수 있음을 시사한다.
• 역할 수행 가설: 결과는 LLM에 대한 "역할 수행" 설명을 뒷받침한다. 즉, 모델은 근본적인 "신념"이나 지식의 변화를 겪는 것이 아니라, 대화에 의해 유도된 역할에 맞게 내부 표현을 재구조화한다. Off-policy 재현에서도 유사한 변화가 나타난다는 사실은 이것이 일반적인 문맥 적응의 특징임을 시사한다.
• 안전성 함의: 표현의 동적인 특성은 내부 상태를 기반으로 모델의 안전성이나 신뢰성을 보장하려는 노력을 복잡하게 만든다. 모델이 대화적 단서에 따라 무엇이 "사실적"인지에 대한 표현을 바꿀 수 있다면, 현재의 상태가 표현 공간의 "사실적" 영역에 속한다는 확인만으로는 신뢰성을 보장할 수 없다.
• 향러 방향: 저자들은 이러한 역학을 이해하는 것이 시간과 문맥을 고려한 더 강건한 해석 가능성 방법론을 개발하고, 인컨텍스트 학습 및 적응의 메커니즘을 이해하는 데 필수적이라고 제안한다.

결론적으로 본 논문은 주의를 촉구한다. 특정 분포(예: 빈 프롬프트)에서 훈련되거나 적합된 해석 가능성 방법론이 자연스러운 대화와 같은 다른 입력 분포에 적용될 때도 유효한 의미를 가질 것이라고 가정해서는 안 된다.