기술 요약: 단일 크로스코더(Crosscoder) 특징으로의 RL 유도 도구 사용 국소화

문제 정의

강화 학습(RL) 미세 조정은 대규모 언어 모델(LLM)이 구조화된 도구 호출과 같은 에이전트적 행동을 수행할 수 있도록 효과적으로 지원하지만, 이러한 내부 표현 변화의 기계론적 기초는 여전히 명확히 이해되지 않고 있습니다. 특히, RL 과정에서 어떤 특징(feature)이 출현하고, 어떤 특징이 보존되는지, 그리고 이러한 특징들을 격리하여 재학습 없는 행동 제어를 가능하게 할 수 있는지 여부는 불분명합니다. 희소 오토인코더(SAE) 및 크로스코더(Crosscoder)와 같은 기존의 기계론적 해석 도구들은 모델 활성화를 분해하는 프레임워크를 제공하지만, 베이스 모델과 RL 미세 조정된 모델 사이의 능력 특이적 차이를 격리하는 능력에 대해서는 체계적인 평가가 이루어지지 않았습니다.

방법론

저자들은 Qwen2.5-3B 아키텍처를 공유하는 한 쌍의 모델에 적용된 전용 특징 크로스코더(Dedicated Feature Crosscoder, DFC) 아키텍처를 사용하여 이러한 질문들을 조사합니다:

• 모델 A (RL): 구조화된 도구 호출이 가능한 ToolRL 미세 조정 버전.
• 모델 B (Base): 수정되지 않은 원래의 Qwen2.5-3B.

아키텍처 및 학습:
DFC는 결합된 희소 사전(joint sparse dictionary)을 A-전용(A-exclusive), B-전용(B-exclusive), 그리고 **공유(shared)**의 세 가지 하위 사전으로 분할합니다. 그래디언트 마스킹(Gradient masking)은 배타성을 강제하여, 각 모델이 지정된 파티션으로부터만 읽고 쓰도록 합니다. 학습 목적 함수는 재구성 손실(MSE)을 최소화하는 동시에 희소성 제약(Top-k)을 적용하고, 전용 파티션에 특정 페널티($\lambda_{excl}$)를 부여하여 이들이 "싱크(sink, 모든 차이를 격리하는 곳)" 역할을 하는지 또는 "필터(filter)" 역할을 하는지 테스트합니다.

실험 설계:

• 하이퍼파라미터 스윕(Hyperparameter Sweep): 저자들은 사전 크기($D$), 희소성 예산($k$), 전용 파티션 점유율($p$), 페널티 크기($\lambda_{excl}$)에 대한 체계적인 스윕을 통해 48개의 변체(36개의 DFC 및 12개의 표준 크로스코더)를 학습하고 평가했습니다.
• 평가 지표: 성능은 tool_correctness(프롬프트에 호출된 도구를 퍼지 매칭함)와 format_accuracy(올바른 JSON 구조의 존재 여부)를 통해 측정되었습니다.
• 스티어링 프로토콜(Steering Protocol): 특징들은 도구 사용 컨텍스트와 일반 텍스트 컨텍스트 간의 활성화 차이인 코헨의 $d$(Cohen's $d$)에 의해 순위가 매겨졌습니다. 표적 스티어링은 특정 특징 서브셋($S$)에 기반하여 모델 A의 잔차 스트림(residual stream)에 교정 벡터를 더하는 방식으로 수행되었습니다.

주요 기여 및 결과

1. 능력 스필오버(Capability Spillover) 및 재구성 충실도

본 연구는 능력 스필오버가 발생함을 입증합니다: 공동으로 학습된 크로스코더를 통해 동결된 베이스 모델(모델 B)의 활성화를 통과시키고 이를 수동적으로 재구성하면, 미세 조정 없이도 도구 호출 능력이 전이됩니다.

• 결과: 모델 B의 도구 정확도는 재구성 후 0%에서 6.8% ± 5.0 pp로 증가했습니다.
• 시사점: 도구 호출 의도는 공동 학습 과정에서 공유 디코더 가중치로 탈국소화(delocalized)됩니다. 그러나 포맷 정확도(특정한 XML/JSON 표면 형태)는 스필오버되지 않았으며, 이는 의미론적 의도는 공유되지만 구조적 템플릿 메커니즘은 격리된 RL 특이적 특징에 남아 있음을 시사합니다.

2. 싱크가 아닌 필터로서의 DFC

저자들은 전용 파티션이 RL 유도 능력을 완벽하게 격리하는지(즉, "싱크"인지) 테스트했습니다.

• 발견: 전용 파티션에 페널티를 부여했을 때($\lambda_{excl} > 0$), 모델 A의 충실도가 저하되어 도구 관련 정보가 공유 파티션으로 다시 밀려 들어갔습니다.
• 결론: 전용 파티션은 가장 강력한 모델 특이적 특징을 농축하는 필터 역할을 하지만, 능력 특이적 콘텐츠를 공유 표현 기질(substrate)로부터 완전히 분리하지는 못합니다.

3. 단일 특징 스티어링 포화(Single-Feature Steering Saturation)

주요 발견은 RL 유도 도구 사용 능력이 최소한의 특징 집합, 종종 단일 뉴런 하나로 국소화될 수 있다는 점입니다.

• 결과: 단일 A-전용 뉴런($|S|=1$)을 스티어링했을 때 도구 정확도가 +65.0 pp 증가했습니다(95% CI [+47.9, +82.1]).
• 비교: 이 단일 뉴런 개입은 7개의 가용 A-전용 뉴런 전체를 스티어링했을 때의 성능과 일치했습니다. 반면, 표준 크로스코더는 정점 성능에 도달하기 위해 33개의 특징을 스티어링해야 했습니다.
• 일반화: 이 단일 뉴런 포화 효과는 조사된 대부분의 레이어(9개 중 7개)에서 일반화되었으며, 평균 개선 폭은 +43.3 pp였습니다.

4. 기하학적 분리

디코더 가중치에 대한 UMAP 분석은 DFC 아키텍처가 A-전용, B-전용, 공유 특징을 위한 공간적으로 구별된 영역을 생성함을 확인했습니다. 반면, (그래디언트 마스킹이 없는) 표준 크로스코더는 편향된 특징들이 균일하게 혼합되어 나타났으며, 이는 깨끗한 분리가 단순히 라벨 불균형 때문이 아니라 아키텍처적 파티셔닝의 결과임을 나타냅니다.

5. 결합 스티어링에서의 간섭

A-전용 특징과 공유 특징을 동시에 스티어링하면 **파괴적 간섭(destructive interference)**이 발생하여, A-전용 특징만 스티어링했을 때(+65.0 pp)보다 낮은 성능(+35.0 pp)을 보였습니다. 이는 비직교(non-orthogonal) 디코더 방향이 동일한 계수를 사용하여 스티어링될 때 노이즈를 증폭시킨다는 것을 시사합니다.

의의 및 주장

본 논문은 **전용 특징 크로스코더(DFC)**가 RL 사후 학습(post-training)에 의해 도입된 표현을 식별하고 조절하는 유망한 도구를 제공한다고 주장합니다. 그 의의는 다음 세 가지 핵심 영역에 있습니다:

1. 런타임 행동 제어: 단일 특징을 통해 에이전트적 LLM을 스티어링할 수 있는 능력은 재학습 없는 그래디언트 프리(gradient-free) 추론 시점 제어 메커니즘을 제공합니다. 이는 안전 및 행동 수정을 위한 RLHF, DPO, SFT에 대한 보완적 접근 방식으로 자리매김합니다.
2. 기계론적 해석 가능성: 본 연구 결과는 에이전트적 능력(특히 도구 사용)이 희소하고 스티어링 가능한 특징 집합으로 압축될 수 있음을 시사합니다. "능력 스필오버" 현상은 공동 희소 분해가 의도치 않게 베이스 모델에 능력을 재도입할 수 있음을 강조하며, 이는 모델 안전성 및 출시 시 중요한 고려 사항입니다.
3. 한계 및 겸손한 태도: 저자들은 자신들의 지표가 베이스 모델에 완전히 새로운 능력을 설치하는 것이 아니라, 고정된 프롬프트 하에서 올바른 도구 호출을 방출하는 경향성을 측정한다는 점을 명시적으로 언급했습니다. 또한 아키텍처 효과에 대한 t-검정이 검정력이 부족하며(12개 크로스코더 실행 대 36개 DFC 실행), 최적 셀 스티어링 결과가 새로운 샘플에서 재현되지 않았음을 인정했습니다. 저자들은 DFC가 베이스 모델이 전혀 갖지 못한 도구 사용 능력을 설치한다고 주장하는 것이 아니라, 그 경향성을 조절하는 것이라고 설명합니다.

요약하자면, 본 연구는 RL 유도 도구 사용이 확산되고 해석 불가능한 변화가 아니라, DFC를 통해 격리 및 조작할 수 있는 최소한의 스티어링 가능한 특징 집합에 집중되어 있음을 입증하며, 이를 통해 정밀한 재학습 없는 행동 제어를 가능하게 합니다.