기술 요약: 대조적 활성화 가산(CAA)을 통한 Qwen3의 시차적 선호도 제어

문제 정의

본 논문은 대규모 언어 모델(LLM) 내의 시차적 선호도(intertemporal preferences, 즉 즉각적 보상과 지연된 보상 사이의 절충 관계)가 모델의 잔차 스트림(residual stream) 내에 선형 특징(linear features)으로 표현되는지, 그리고 이러한 특징들이 모델의 행동을 변화시키기 위해 인과적으로 조작될 수 있는지 조사한다. 구체적으로 저자들은 모델의 "시간적 지평(temporal horizon)"—즉, 단기적 결과와 장기적 결과를 우선시하는 경향—이 선형 프로브(linear probes)를 통해 식별될 수 있는지, 그리고 대조적 활성화 가산(Contrastive Activation Addition, CAA)을 사용하여 모델의 선호도와 계획 능력을 유의미하고 양방향으로 변화시키도록 유도할 수 있는지를 질문한다.

방법론

모델 및 데이터

• 모델: 실험에는 사고 흔적(thinking traces)이 비활성화된 Qwen3-32B를 사용한다.
• 데이터셋:
  • 명시적 데이터셋(Explicit Dataset): 명시적인 시간 표식(예: "향후 30일" vs "10년")이 포함된 500개의 시차 선택 질문. 400개의 훈련 예시와 100개의 테스트 예시로 분할된다.
  • 암묵적 데이터셋(Implicit Dataset): 명시적인 시간 단어 없이 의미론적 대조(예: "손상을 포함하는 것" vs "아키텍처를 재설계하는 것")를 통해 시간적 지평을 인코딩한 300개의 질문. 교차 도메인 평가를 위해 사용된다.
  • 교사 강제 학습(Teacher-Forced Training): 각 질문에 대해, 모델이 단기 및 장기 지속 내용을 모두 생성하도록 강제하여 쌍을 이룬 훈련 예시를 생성한다.

방향 구축 (프로브 훈련)

저자들은 시차적 지평을 나타내는 부호가 있는 평균 차이 방향(signed contrastive difference-in-means direction) ($d_{MM}$)을 구축한다.

• 풀링(Pooling): 저자들은 마지막 토큰만을 사용하는 대신, 개입(intervention)이 적용되는 생성 과정과 더 잘 정렬되도록 하기 위해 모든 답변 지속 토큰의 은닉 상태를 평균하는 평균 질량(Mean-Mass, MM) 풀링을 사용한다.
• 벡터 정의: 특정 레이어($l \in \{24, 28, \dots, 48\}$)에서 방향은 다음과 같이 정의된다:
  $$d_{MM} = \mu_{long} - \mu_{imm}$$
  여기서 $\mu$는 각각 장기 및 즉각적(단기) 지속 내용의 평균 활성화를 나타낸다.
• 진단: 저자들은 MM 방향을 로지스틱 회귀(LR), 백색화된 로지스틱 회귀(WLR), 그리고 백색화된 MM(WMM) 프로브와 비교한다. 백색화된 변형들이 홀드아웃 데이터에서 약간 더 높은 분류 정확도를 달성하지만, 대조의 부호 특성을 보존하기 위해 부호가 없는 MM 방향을 제어(steering)용으로 선택한다.

제어 개입 (CAA)

식별된 방향은 추론 중 **대조적 활성화 가산(Contrastive Activation Addition)**을 위해 사용된다:

• 메커니즘: 정규화된 벡터 $\hat{d}_l$이 선택된 레이어 $l$에서 매 디코드 단계마다 잔차 스트림에 더해진다.
• 공식: 개입은 잔차 스트림에 $\alpha \hat{d}_l$을 더한다.
  • 양(+)의 $\alpha$: 모델을 장기(long-term) 클래스로 유도한다.
  • 음(-)의 $\alpha$: 모델을 단기/즉각적(short-term/immediate) 클래스로 유도한다.
• 제어(Control): 효과가 일반적인 섭동(perturbation) 때문이 아님을 확인하기 위해, MM 방향에 직교하는 무작위 단위 벡터를 사용한 매칭된 노름 제어(matched-norm control)를 사용한다.

주요 실험 및 결과

1. 이진 시차 제어 (홀드아웃 평가)

• 작업: 모델에게 홀드아웃된 명시적 테스트 세트와 전체 암묵적 세트로부터 이진 선택 질문(단기 vs 장기 옵션)을 제시한다.
• 결과: CAA 제어는 모델의 선택에서 체계적이고 양방향적인 변화를 생성한다.
  • 양의 제어는 장기적 선택의 비율을 유의미하게 증가시킨다.
  • 음의 제어는 단기적 선택을 유의미하게 증가시킨다.
  • 이 효과는 중간에서 후반 레이어 범위(24–48) 전반에서 관찰되며, 레이어 44가 두 평가 세트 모두에서 가장 큰 파싱된 선택 대비를 보여준다.
  • 무작위 직교 제어는 미미하고 일관성 없는 변화만을 생성하여, 특정 시차 방향의 인과적 역할을 확인시켜 준다.

2. 시간-효용 제어 (분포 외 일반화)

• 작업: 모델에게 금전적 시차 선택 질문(예: "지금 $X$달러를 받겠습니까, 아니면 $t$일 후에 $Y$달러를 받겠습니까?")을 요청한다. 이 작업은 프로브 방향을 훈련하는 데 사용되지 않았다.
• 지표: 모델이 즉각적 보상과 지연된 보상 사이에서 무차별함을 느끼는 보상 비율($Y/X$)을 추정하는 **영역 등가 무차별 승수(Area-Equivalent Indifference Multiplier, AEIM)**를 사용한다.
• 결과: 제어는 모델의 무차별 임계값을 유의미하게 변화시킨다:
  • 음의 제어: AEIM을 증가시킨다. 이는 모델이 기다리기 위해 훨씬 더 큰 지연 보상을 요구함을 의미한다(더 조급해짐).
  • 양의 제어: AEIM을 감소시킨다. 이는 모델이 더 작은 지연 보상도 수용함을 의미한다(더 인내심을 가짐).
  • 규모: 10년의 지평(3650일)과 최대 강도($|\alpha|=128$)에서, 음의 제어와 양의 제어 사이의 AEIM 비율은 56배를 초과한다. 이는 의미론적 이진 선택으로 훈련된 방향이 구조적으로 다른 정량적 금전적 트레이드오프에 효과적으로 일반화됨을 입증한다.

3. TravelPlanner 능력 벤치마크

• 작업: 교통, 예산 등의 제약 조건을 충족해야 하는 다일 일정 계획이 필요한 실제 여행 계획 벤치마크.
• 지표: 상식적 제약 마이크로 통과율(Commonsense Constraint Micro Pass Rate) (개별 상식 체크를 통과한 비율).
• 결과: 시차 제어는 계획 능력에 영향을 미치지만, 그 관계는 **비단조적(non-monotonic)**이다:
  • 중간 정도의 양의 제어: 상식 통과율을 향상시킨다.
  • 음의 제어: 성능을 저하시킨다.
  • 강한 양의 제어 ($|\alpha|=128$): 모델을 분포 외 영역으로 너무 멀리 밀어내어 일관성 문제를 일으킴으로써 성능을 저하시킨다.
  • 이는 시차 방향이 계획 능력에 영향을 주지만, 제어 강도에 대한 최적의 "스윗 스팟(sweet spot)"이 존재함을 시사한다. 저자들은 이 특정 실험을 위해 특정 작업 최적값이 아닌, 중간-후반 프로브 대역에서 계산 제약이 있는 대표 레이어로 레이어 40을 선택했다.

주요 기여

1. 선형 표현의 식별: Qwen3-32B의 잔차 스트림 내에서 시차적 선호도가 선형적으로 분리 가능하며, 단순한 대조적 선형 프로브를 통해 포착될 수 있음을 입증했다.
2. 인과적 제어: 이러한 선형 벡터를 더하는 것이 홀드아웃된 이진 선택뿐만 아니라, 결정적으로 분포 외의 금전적 작업에서도 모델의 행동을 인과적으로 변화시킨다는 것을 증명했다.
3. 일반화: 의미론적 단기/장기 대조로 훈련된 방향이 구조적으로 다른 작업에서 정량적 시간 선호 지표(AEIM)를 효과적으로 제어할 수 있음을 보여주었다.
4. 능력 영향: 시차 선호도를 제어하는 것이 계획 관련 능력을 조절할 수 있다는 증거를 제공했으나, 극단적인 개입 강도에서는 수익 체감(diminishing returns)이 발생함을 보여주었다.

의의 및 주장

본 논문은 모델의 시차적 선호도가 단순히 사전 학습이나 지시 튜닝의 불투명한 부수 효과가 아니라, 측정 가능하고 제어 가능하다고 주장한다.

• 안전 및 정렬(Alignment): 시차적 지평을 제어할 수 있는 능력은 금융, 건강, 정책 등 지연된 비용과 이익이 중요한 조언을 제공하는 AI 시스템과 관련이 있다. 이는 모델이 사용자에게 제시하는 출력만으로는 평가하기 어려운, 즉 내부적으로는 사용자와 다른 지평을 최적화하고 있을 수 있다는 안전 문제를 강조한다.
• 이중 용도 위험(Dual-Use Risk): 저자들은 시차적 선호도를 제어하는 능력이 악의적인 행위자에 의해 모델을 사용자 가치와 맞지 않는 결정(예: 부적절한 단기주의 또는 장기주의 강요)으로 몰아가는 데 악용될 수 있음을 명시적으로 언급한다.
• 기계론적 통찰: 결과는 고수준의 개념(예: 시간 지평)이 모델의 활성화 공간 내에서 특정하고 조작 가능한 방향에 대응한다는 기계론적 해석 가능성(mechanistic interpretability) 패러다임을 뒷받s한다.

저자가 인정한 한계점

• 구성 타당성(Construct Validity): 훈련된 방향이 "시간적 지평" 자체보다는 이와 상관관계가 있는 의미론적 특징(추상성, 긴급성, 전략적 범위 등)을 포착했을 수 있다.
• 개입 규모: 큰 제어 강도는 선호도를 변화시키는 동시에 다른 능력(사실성, 일관성 등)을 저하시킬 수 있다.
• 범위: 실험은 하나의 모델 제품군(Qwen3-32B), 특정 프롬프트 템플릿, 그리고 비활성화된 사고 흔적에 국한된다. 결과가 다른 아키텍처나 추론 기능이 활성화된 설정으로 전이될지는 불분명하다.
• 벤치마크 특이성: TravelPlanner 결과는 집계된 지표에 기반하며, 제어가 정확히 어떤 특정 제약 조건에 영향을 미치는지 식별하지는 않는다.