기술 요약: 내성 미세 조정 (Introspection Fine-Tuning, IFT)

문제 정의

본 논문은 소형 언어 모델(SLM)이 내성(introspection)—자신의 내부 계산 상태, 구체적으로는 잔차 스트림(residual stream) 활성화에 가해진 섭동(perturbation)을 접근하고 정확하게 보고하는 능력—을 보유하고 있는지 조사한다. 최근 연구(Lindsey [2026])는 대형 모델(예: Claude Opus 4)이 주입된 "생각"(개념 벡터)을 탐지할 수 있음을 입증했으나, 이러한 능력이 더 작은 오픈 소스 모델에도 존재하는지, 어떻게 규모에 따라 변화하는지, 그리고 초기에는 이 능력이 결여된 모델에 이를 유도할 수 있는지 여부는 여전히 불분명하다.

저자들이 식별한 결정적인 방법론적 과제는 표준적인 이진 탐지 패러다임(모델에게 "주입된 생각을 감지했습니까? 예/아니오"라고 묻는 방식)이 소형 모델에서는 근본적으로 혼동을 일으킨다는 점이다. 저자들은 스티어링 벡터(steering vectors)가 질문의 내용과 관계없이 긍정적인 답변으로 향하는 전역적 편향을 유도한다는 것을 보여준다. Llama-3.1-8B에서 모델의 내성 질문에 대한 응답과 사실적 "아니오" 통제 질문(예: "달은 초록색 치즈로 만들어졌는가?") 사이의 상관관계는 거의 완벽($r = 0.999$)하며, 이는 긍정적인 출력이 실제 개념 탐지가 아니라 내용과 무관한 로짓(logit)의 변화에 의해 구동됨을 나타낸다.

방법론

1. 활성화 스티어링 및 데이터 구축

저자들은 특정 레이어($l$)와 강도($\alpha$)에서 모델의 잔차 스트림에 스케일링된 L2 정규화된 개념 벡터($\hat{v}^{(l)}$)를 주입하는 **활성화 스티어링(activation steering)**을 활용한다.

• 개념 벡터: 다음 두 데이터셋에서 유도됨:
  • 단순 데이터셋: 500개의 구체적인 명사(예: "먼지")를 50개의 기본 단어와 대조.
  • 복잡 데이터셋: 20개의 긍정적 문장과 20개의 부정적 대조 문장으로 표현된 500개의 추상적 개념(예: "결정론적 vs 확률론적").
• 스티어링: 벡터는 특정 토큰 위치의 은닉 상태(hidden states)에 더해져 후속 레이어를 통해 전파된다.

2. 혼동 없는 평가 지표 (Confound-Free Evaluation Metrics)

균일한 로짓 변화가 결과에 편향을 줄 수 없는 두 가지 상대적 판단 과제를 제안하여 긍정적 편향의 혼동을 우회한다.

• 문장 국소화 (Sentence Localization): 모델에게 $N$개의 문장($N=5$ 또는 $10$)을 제시한다. 정확히 하나의 문장에만 주입된 개념 벡터가 포함되어 있다. 모델은 어떤 문장이 섭동되었는지 식별해야 한다. 우연한 정확도는$1/N$이다.
• 강도 비교 (Strength Comparison): 두 문장이 제시되며, 하나는 다른 하나보다 더 강한 주입($\alpha_1$)을 받는다. 모델은 더 강한 주입을 받은 문장을 식별해야 한다. 우연한 정확도는 50%이다.

3. 내성 미세 조정 (Introspection Fine-Tuning, IFT)

저자들은 모델이 자신의 섭동을 보고하도록 훈련하기 위해 설계된 지도 미세 조정 방식인 **내성 미세 조정(IFT)**을 도입한다.

• 훈련 데이터: 모델 자체의 순전파(forward pass)로부터 구축된다. $N$개의 샘플링된 문장 중 하나에 스티어링 벡터를 주입하고, 모델은 교차 엔트로피 손실(cross-entropy loss)을 통해 올바른 섭동 문장의 인덱스를 예측하도록 훈련된다.
• 변수:
  • 레이어 모드: 고정형 (항상 $l=3$ 레이어에 주입) vs 랜덤 (주입 레이어를 균등하게 샘플링).
  • 벡터 유형: 가우시안 노이즈, 의미론적(Semantic) 벡터, 또는 의미론적+추론(Semantic + Reasoning) 벡터 (의미론적 벡터 + 개념 이름 식별).
• 일반화: 모델은 오직 문장 국소화에 대해서만 훈련되며, 강도 비교 작업에 대해 제로샷(zero-shot)으로 평가된다.

주요 결과

1. 내성의 규모 법칙 (Scaling Laws of Introspection)

6개의 모델(Llama-3.2 1B–8B; Gemma-4 2B–26B)을 평가한 결과:

• 발현 (Emergence): 내성 능력은 2~3B 파라미터에서 안정적으로 발현된다.
• 규모 의존성: 성능은 일반적으로 모델 크기에 따라 증가한다.
  • Llama-1B: 우연한 수준 또는 그 이하의 성능을 보인다 (국소화 $\le 20\%$).
  • Llama-3B: 약 $65\%$의 국소화 성능에 도달한다.
  • Llama-8B: 약 $88\%$의 국소화 성능에 도달한다.
  • Gemma-26B: 강도 비교에서 약 $95\%$에 도달한다.
• 결론: 내성은 규모 자체에 의해 고정된 속성이 아니다. 1B 모델은 개입 없이는 이를 활용할 능력이 부족한 반면, 더 큰 모델은 이를 자연스럽게 보여준다.

2. 내성 미세 조정(IFT)의 효과

IFT는 이전에 우연한 수준의 성능을 보였던 모델에서 잠재된 내성 능력을 성공적으로 끌어낸다.

• Llama-1B 개선: 문장 국소화 정확도가 **9.6% (베이스라인)**에서 60.6% (랜덤 레이어, 의미론적 벡터 사용 시)로 증가하여 6배의 향상을 보였다.
• 제로샷 일반화: 국소화 훈련만 수행했음에도 불구하고, IFT는 Llama-1B의 강도 비교 정확도를 30.2%에서 52.2%로 높였으며, 이는 50%의 우연한 기준선을 상회한다.
• 최적의 훈련 조건:
  • 랜덤 레이어 주입: 일반화를 위해 매우 중요하다. 고정 레이어 훈련은 현저히 낮은 성능을 보였다 (예: Llama-1B의 경우 28.2% vs 60.6%).
  • 의미론적 벡터: 가우시안 노이즈 벡터보다 우수한 성능을 보였으며, 이는 모델이 노이즈 분포에 과적합되는 것이 아니라 의미론적 섭동을 인식하는 법을 배운다는 것을 시사한다.
• 능력 보존: IFT는 표준 벤치마크(MMLU, Winogrande)에서 성능 저하를 거의 일으키지 않았으며, 점수는 거의 변하지 않았다.

의의 및 주장

본 논문은 내성 능력이 모델 규모에 의해 고정되는 것이 아니라 직접 훈련될 수 있다고 주장한다. 핵심 기여는 다음과 같다:

1. 혼동의 진단: 이진 "예/아니오" 탐지는 소형 모델에서 전역적 긍정 편향 때문에 유효하지 않음을 입증하였으며, 이에 따라 상대적 판단 지표가 필요함을 보여주었다.
2. 훈련 가능성의 증명: 소형 모델(심지어 1B 파라미터 모델)도 내성을 위한 표현적 기질(representational substrate)을 가지고 있지만, 이를 표현하기 위해서는 특정 훈련 신호(IFT)가 필요함을 보여주었다.
3. 자기 모니터링 메커니즘: 모델이 내부 섭동을 탐지하고 국소화하는 법을 배울 수 있으며, 이것이 다양한 주입 강도와 작업에 걸쳐 일반화될 수 있음을 확립하였다.

저자들은 이러한 발견이 **AI 투명성 및 정렬(alignment)**에 시사점을 준다고 제안한다. 훈련된 내성은 모델이 비정상적인 내부 상태나 정렬되지 않은 목표를 스스로 모니터링하는 역할을 할 수 있게 하기 때문이다. 그러나 현재의 결과는 통제된 스티어링 벡터 실험에 기반하고 있다는 점을 언급하며, 이러한 능력을 자연적이고 통제되지 않은 환경으로 전이하는 것에 대해서는 신중한 태도를 유지하고 있다.