기술적 요약: 대규모 언어 모델에서 가역적 SFT 행동 제작

문제 제기

지도 미세 조정 (SFT) 은 대규모 언어 모델 (LLM) 에 배포에 필수적인 행동 (예: 안전성 정렬, 지시 따르기, 스타일 적응) 을 주입하는 표준 메커니즘입니다. 그러나 SFT 과정은 이러한 행동이 내부적으로 어떻게 조직되는지에 대한 구조적 제약을 부과하지 않습니다. 결과적으로 학습된 행동은 종종 산발적으로 인코딩되거나, 중복적으로 표현되거나, 관련 없는 계산과 얽히게 됩니다.

이러한 구조 부재는 두 가지 주요 한계를 초래합니다:

1. 인과적 진단 실패: 기존 사후 해석 방법 (예: 회로 귀속) 은 행동과 상관관계가 있는 희소 서브네트워크를 식별합니다. 그러나 상관관계가 인과관계를 의미하는 것은 아닙니다. 전체 모델이 중복 경로를 유지하기 때문에 상관관계가 있는 서브네트워크를 제거 (ablation) 하더라도 행동을 억제하지 못할 수 있으며, 이로 인해 인과적 필요성을 결정적으로 입증하는 것이 불가능해집니다.
2. 제한된 인과적 제어 가능성: 현재 방법은 SFT 로 유도된 행동에 대해 기계적으로 필수적인 희소 서브구조를 인스턴스화할 수 없습니다. 작업 벡터 편집 및 모델 편집은 매개변수를 수정할 수 있지만, 고정된 가중치 하에서 입력 개입만으로 주소 지정 가능한 서브구조를 생성하지는 않습니다.

본 논문은 다음과 같은 연구 질문에 답합니다: SFT 로 유도된 행동을 의도적으로 희소하고 기계적으로 필수적인 서브구조 (운반자, carriers) 로 압축하여 모델 가중치를 수정하지 않고 추론 시 제어 가능하게 만들 수 있는가?

방법론

저자들은 운반자를 제작하기 위한 손실 제약 이중 하강 (Loss-Constrained Dual Descent, LCDD) 과 입력 개입을 통해 그 필요성을 검증하기 위한 SFT-Eraser라는 두 단계 프레임워크를 제안합니다.

1. 가중치 변경 파라미터화

이 접근법은 SFT 로 유도된 계산을 가산적 가중치 변경 $\Delta W = W_{ft} - W_{base}$로 취급합니다. 모델은 $W = W_{base} + M \odot \Delta W$로 파라미터화되며, 여기서 $M$은 이진 마스크입니다. 목표는 작업 행동을 보존하는 가장 희소한 $M$을 찾는 것입니다.

2. LCDD: 희소 운반자 제작

LCDD 는 명시적 유틸리티 예산을 준수하면서 행동을 희소 운반자로 압축하기 위해 라우팅 마스크 $M$과 가중치 델타 $\Delta W$를 공동으로 최적화합니다.

• 구조적 희소성: 임의의 가중치 요소 대신, 희소성은 활성화 채널 수준 (가중치 행렬의 행과 열) 에서 강제됩니다. 이는 입력 및 출력 활성화를 게이트하고 SFT 로 유도된 델타 계산을 격리하는 랭크 1 구조적 마스크 ($M_{jk} = m_{row, j} \cdot m_{col, k}$) 를 생성합니다.
• 최적화 목적 함수: 이 방법은 작업 손실 $L_{task}$가 예산 $\epsilon$ 내에 유지된다는 제약 하에 희소성 패널티 (시그모이드 게이트 로그의 합) 를 최소화합니다.
• 적응형 패널티: 제약 위반에 기반하여 온라인으로 업데이트되는 승수 $\lambda_t$를 사용하는 적응형 패널티 방법이 사용됩니다. 선형 희소성 웜업은 압축 시작 전 모델이 안정화되도록 허용합니다.
• 공동 최적화: 핵심적으로 마스크와 가중치 델타 모두 공동으로 최적화됩니다. 이는 나머지 가중치가 가지치기된 연결 주변에서 재조직화되도록 하여 마스크 전용 접근법보다 더 깊은 희소성을 가능하게 합니다.

3. SFT-Eraser: 필요성 검증

희소 운반자가 제작되면, SFT-Eraser 는 가중치 수정 없이 입력 트리거로 행동을 억제할 수 있는지 테스트합니다.

• 대상 선택: 트리거는 운반자의 잔류 스트림 (residual stream) 과의 인터페이스 역할을 하는 "잔류 쓰기 채널" (FFN 및 어텐션 델타 경로의 출력 게이트) 을 대상으로 합니다.
• 트리거 최적화: 복합 손실을 최소화하도록 최적화된 소프트 프롬프트 (연속 토큰 임베딩) 가 사용됩니다:
  • $L_{MSE}$: 동일한 입력에서 베이스 모델의 쓰기 활성화를 운반자의 쓰기 활성화 방향으로 유도합니다.
  • $L_{KL}$: 채널 수준 매칭만으로는 아티팩트가 발생할 수 있으므로 출력 분포가 베이스 모델 방향으로 되돌아가도록 보장합니다.
  • $L_2$: 퇴화된 임베딩을 방지하기 위해 트리거 크기를 정규화합니다.
• 성공 기준: 트리거가 SFT 행동을 억제하면서 출력 분포를 베이스 모델 방향으로 되돌릴 경우, 운반자가 인과적 병목 지점임을 입증하여 되돌림이 성공한 것으로 간주됩니다.

주요 기여

1. 구성적 운반자에 대한 최초의 조사: 본 논문은 사후에 발견하는 것이 아니라 훈련 중에 SFT 행동을 위한 희소하고 기계적으로 필수적인 서브구조를 의도적으로 구성하는 가능성을 최초로 조사합니다.
2. LCDD 프레임워크: 명시적 유틸리티 제약 하에서 마스크와 가중치의 공동 최적화를 통해 SFT 행동을 희소 운반자로 압축하는 방법을 도입합니다.
3. SFT-Eraser 프로토콜: 구성된 운반자의 인과적 필요성을 검증하는 입력 트리거 프로토콜을 제안합니다. 고정된 가중치 하에서 트리거가 행동을 억제하면, 운반자는 단순한 상관관계가 아닌 인과적 국소 (locus) 임이 입증됩니다.
4. 실증적 검증: 세 가지 행동 유형 (고정 응답, 안전성 정렬, 셰익스피어 스타일) 과 네 가지 모델 계열 (Qwen, DeepSeek, Mistral, Vicuna) 을 통해 다음을 입증합니다:
   • LCDD 는 높은 충실도로 목표 행동을 보존합니다.
   • SFT-Eraser 는 이러한 행동을 신뢰성 있게 되돌립니다.
   • 희소 구조는 되돌림을 위한 필수 전제 조건입니다; 제작된 운반자가 없는 표준 SFT 모델에 동일한 트리거를 적용하면 분포 되돌림을 달성하지 못합니다.

실험 결과

실험은 구조적 복잡성이 증가하는 세 가지 작업을 다룹니다:

• 고정 응답: 모델이 "모릅니다"라고 말하도록 학습합니다. LCDD 는 거의 완벽한 행동 보존과 함께 높은 희소성 (73–84%) 을 달성했습니다. 트리거는 고정 응답률을 거의 0 으로 감소시켰습니다.
• 안전성 정렬: 유해/무해 교차 데이터로 훈련되었습니다. LCDD 는 높은 안전성 거부율 (88–98%) 을 유지했습니다. 트리거는 안전성 지표를 성공적으로 저하시켰습니다 (거부율 감소, 공격 성공률 증가) 및 분포를 베이스 모델 방향으로 되돌렸습니다.
• 셰익스피어 스타일: 분포적 스타일 변환 작업입니다. 스타일 행동의 산발적인 특성으로 인해 희소성은 낮았습니다 (30–56%) 하지만, 트리거는 여전히 스타일을 효과적으로 억제했습니다.

개념 제거 (Ablation) 발견:

• 구조 vs. 트리거: LCDD 가 없는 표준 SFT 모델에 SFT-Eraser 트리거를 적용하면 행동 교란이 발생하지만 분포를 베이스 모델로 되돌리지 못했습니다. 이는 희소 구조가 트리거 설계가 아닌 작동 요인임을 확인시켜 줍니다.
• 공동 최적화: 가중치를 고정하고 마스크만 최적화하는 마스크 전용 최적화는 충분한 희소성 깊이나 신뢰성 있는 되돌림을 달성하지 못했으며, 이는 타겟팅 가능한 병목 지점을 생성하기 위해 가중치 재조직화가 필요함을 확인시켜 줍니다.

중요성 및 주장

본 논문은 학습된 운반자가 SFT 로 유도된 행동에 인과적으로 필수적임을 직접적인 증거로 제시한다고 주장합니다. 행동의 완전한 국소인 희소 서브구조를 구성함으로써 저자들은 다음을 가능하게 합니다:

• 인과적 진단: 고정된 가중치 하에서 입력 개입을 통해 필요성을 테스트함으로써 상관관계를 넘어선 진단.
• 모듈식 제어: 재훈련이나 가중치 수정 없이 추론 시 특정 행동을 감사하거나 선택적으로 억제할 수 있는 능력.

저자들은 트리거에 이산 토큰 대신 연속 소프트 프롬프트를 사용했다는 점과 구조적 개념 제거를 위해 단일 모델 - 작업 조합에서만 평가했다는 점을 포함하여 한계를 지적합니다. 또한, 이 방법론이 이론적으로 배포된 모델에서 안전성 정렬을 제거하는 데 사용될 수 있을 수 있는 이중 사용 위험을 인정합니다. 이 연구는 운반자 희소성을 행동 변환의 설명 복잡성에 대한 대리 지표로 사용하는 등 해석 가능성 연구의 향후 방향을 시사합니다.