Representation Without Control: Testing the Realization Effect in Language Models

기술적 요약: 표현은 있으나 통제 없음

문제 제기
본 논문은 행동 시뮬레이터로 활용되는 대규모 언어 모델 (LLM) 의 평가에서 중요한 간극을 다루고 있습니다. LLM 이 인간 인지 모델링에 점점 더 많이 활용되고 있지만, 이러한 모델의 조건에 민감한 출력이 인간 인지 메커니즘의 진정한 내부 구현을 반영하는지, 아니면 단순히 프롬프트에 민감한 표면적 패턴에 불과한지는 여전히 불분명합니다. 저자들은 이를 검증하기 위해 행동 경제학에서 잘 규명된 현상인 '실현 효과 (realization effect)'를 테스트합니다. 이는 위험 감수 행동이 이전의 이득이나 손실이 '종이' (개방된 정신 계정) 상태인지 '실현된' (폐쇄된 정신 계정) 상태인지에 따라 체계적으로 변화하는 현상입니다. 핵심 질문은 LLM 이 이러한 프레이밍에 대한 행동적 민감성을 보일 뿐만 아니라, 하류 의사결정을 주도하는 인과적 표현으로서의 근본적 구성 요소를 인코딩하는지 여부입니다.

방법론
본 연구는 Gemma 3 4B 모델을 사용하여 행동적 민감성, 선형 해독 가능성, 인과적 통제를 검증하는 세 가지 연결된 주장을 테스트하는 3 단계 실험 설계를採用했습니다.

1. 프롬프트 전용 행동 작업: 저자들은 종이와 실현된 결과 (재무, 카지노 등) 를 아우르는 11 가지 vignette 조건을 구성하여 LLM 응답 (베팅 금액 및 위험 선호도) 이 인간의 실현 효과 방향성 예측을 재현하는지 테스트했습니다.
2. 활성화 판독: 팀은 '실현 상태'가 선형적으로 해독 가능한지 확인하기 위해 Gemma 의 잔류 스트림 (residual stream) 활성화를 분석했습니다. 18 번째 레이어에서 756 개의 매칭된 쌍으로 구성된 학습 분할을 사용하여 평균 차이 방향 벡터 ($v_{realization} = \mu_{realized\_closed} - \mu_{paper\_open}$) 를 구성했습니다. 이 방향은 보유된 검증 세트와 새로운 DeepSeek 생성 프롬프트 세트에서 일반화 가능성을 테스트했습니다.
3. 인과적 조종 개입: 해독된 표현이 행동을 인과적으로 지배하는지 테스트하기 위해 저자들은 잔류 스트림 조종 (steering) 을 구현했습니다. 생성 과정에서 18 번째 레이어의 모델 활성화에 스케일링되고 정규화된 실현 방향 벡터를 추가했습니다. 그들은 '실현된' 또는 '종이' 상태 쪽으로 활성화를 이동시키는 것이 모델의 베팅 및 위험 선택을 신뢰성 있게 변경하는지 확인하기 위해 다양한 조종 스케일 (-50 에서 +150 까지) 을 테스트했습니다. 또한 직접적 판단에서의 의미적 변화를 확인하기 위해 양성 대조군 분류 작업을 수행했습니다.

주요 결과
결과는 표현과 통제 사이의 중요한 분리를 드러냈습니다.

• 행동적 민감성 (부분적): LLM 은 조건에 민감하여 프레이밍에 따라 다른 응답을 생성합니다. 그러나 방향성 패턴은 인간의 실현 효과 예측과 강력하게 일치하지 않습니다. 예를 들어, 실현된 손실은 모델에서 위험 감수를 증가시켰는데, 이는 실현된 손실 후 위험을 감소시키는 인간의 경향과 반대됩니다.
• 선형 판독 (성공): 실현 상태는 18 번째 레이어의 Gemma 잔류 스트림에서 선형적으로 해독 가능합니다. 한 세트의 프롬프트로 학습된 방향은 다른 출처 (DeepSeek 포함) 의 프롬프트를 포함한 보유된 세트에서 '종이'와 '실현된' 프롬프트를 성공적으로 분리합니다.
• 인과적 통제 (실패): 해독된 실현 방향을 따라 조종하는 것은 하류 위험 행동을 신뢰성 있게 이동시키지 못했습니다.
  • 베팅 및 위험: 양수 및 음수 조종 스케일 전반에 걸쳐 평균 베팅 및 위험 델타는 작았으며, 중앙값 델타는 일관되게 0 이었습니다.
  • 대칭성: 기대되는 부호 대칭적 반전 (종이 쪽으로 조종하면 위험이 감소하고 실현된 쪽으로 조종하면 증가해야 하거나 그 반대) 은 관찰되지 않았습니다.
  • 상관관계: 프롬프트 수준에서 원시 투영 강도가 베팅 금액과 약하게 상관관계를 보였으나, 프롬프트 구조를 통제한 후 이 연관성은 사라졌습니다. 매칭된 쌍 내에서 투영 델타는 행동 델타를 예측하지 못했습니다.
• 양성 대조군: 분류 작업은 의미적 판단에서 약한 방향성 이동 (높은 양수 스케일에서 '실현된' 예측 증가) 을 보였으나, 정확도는 우연 수준에 머물렀고 이동은 비대칭적이었습니다.

주요 기여
본 논문의 주요 기여는 행동적 민감성, 잠재적 판독, 인과적 통제는 자동적으로 공존하지 않는 세 가지 별개의 속성임을 실증적으로 입증한 것입니다.

• 변수의 성공적인 선형 판독이 모델이 하류 의사결정 과정에서 해당 표현에 의존한다는 충분한 증거가 아님을 확립합니다.
• 메커니즘 해석 가능성의 첫 번째 (민감성) 와 두 번째 (해독 가능성) 테스트는 통과하지만 세 번째 (인과적 통제) 는 실패하는 구체적인 사례 연구를 제공합니다.
• LLM 의 조건 민감적 행동이 인간과 유사한 인지 메커니즘의 구현을 의미한다는 가정에 도전합니다.

의의 및 주장
저자들은 그들의 발견이 LLM 행동 연구가 수행되고 해석되는 방식의 전환을 필요로 한다고 주장합니다.

• 행동 평가에 대해: 조건 민감성만으로는 인간과 유사한 인지의 약한 증거입니다. 모델은 근본적인 정신 구성 요소 (예: 정신 계정) 를 인코딩하지 않고 프롬프트의 표면적 특징 (프레이밍) 만 추적할 수 있습니다.
• 메커니즘 해석 가능성에 대해: 이 연구는 선형 해독 가능성을 인과적 설명의 대리 변수로 취급하는 것에 경고합니다. 표현은 활성화에서 판독 가능할 수 있으나, 출력을 지배하는 정책에는 부수적 (epiphenomenal) 일 수 있습니다. 저자들은 "상관관계 기반 해독뿐만 아니라 인과적 검증이 표현이 실제 작업을 수행하고 있음을 확립하는 데 필요하다"고 주장합니다.
• 결론: 본 논문은 모델이 인간 의사결정 구성 요소를 진정으로 구현했음을 입증하려면 관련 표현이 관심 있는 행동의 인과적 상류에 있음을 보여야 한다고 결론지었습니다. 이는 현재 학계가 적용하는 기준보다 더 높은 장벽이며, 저자들은 인과적 통제가 그러한 메커니즘적 주장에 대한 필수 조건으로 간주되어야 한다고 제안합니다.

저자들은 범위에 대해 겸손하게, 영구 결과가 Gemma 3 4B 구성 (18 번째 레이어, 최종 토큰 조종) 에 특정된 것이며, 분리 현상은 모델, 레이어, 또는 작업 유형에 따라 달라질 수 있음을 지적합니다. 그러나 이 발견은 LLM 이 특정 인지 메커니즘을 구현한다고 주장하는 데 더 엄격한 기준을 요구하게 합니다.