기술 요약: RFM-AGOP를 통한 빠른 다차원 거절 서브스페이스 추출

문제 정의

거대 언어 모델(LLM)이 유해한 지시에는 거절하면서도 무해한 질의에는 유용성을 유지하도록 보장하는 것은 AI 안전 분야의 핵심 과제입니다. 기계론적 해석 가능성(mechanistic interpretability)은 내부 표현을 식별하고 조종할 수 있는 도구들을 제공하지만, 기존 방법들은 거절 행동 분석의 차원 수와 계산 비용 측면에서 상당한 한계에 직면해 있습니다.

초기 연구들은 거절 행동이 단일 선형 방향(single linear direction)에 인코딩되어 있으며, 단일 특징 공간 벡터에 개입함으로써 조절될 수 있다고 가정했습니다. 그러나 최근 연구 결과들은 거절이 다차원적인 "거절 원뿔(refusal cone)"로 모델링하는 것이 더 적합하다는 점을 시사합니다. 이러한 서브스페이스(subspace)를 추출하기 위한 기존 방법들은 비지도 학습 방식(예: Sparse Autoencoders)의 경우 거절과 같은 특정 개념을 분리하는 데 어려움을 겪고, 지도 학습 방식(예: Refusal Cone Optimization 또는 RCO)의 경우 계산 비용이 지나치게 높습니다. 예를 들어, RCO는 긴 추론 트레이스(reasoning traces)에 대해 전체 순전파 및 역전파 과정을 요구하므로, 최대 8,000 토큰까지 사고 사슬(chain of thought)을 생성할 수 있는 현대적 추론 모델(예: Qwen 3)에는 적용하기 부적합합니다.

방법론

저자들은 다차원 거절 서브스페이스를 효율적으로 추출하기 위해 재귀적 특징 머신(Recursive Feature Machine, RFM) 알고리즘을 **평균 그래디언트 외적 곱(Average Gradient Outer Product, AGOP)**과 결합하여 적용할 것을 제안합니다. 핵심 방법론은 다음과 같습니다:

1. 프레임워크 적응: RFM-AGOP 프레임워크는 예측 모델을 학습하는 과정과 커널 행렬 $M$을 업데이트하는 과정을 반복합니다. 이 알고로리즘은 마할라노비스 라플라스 커널 함수를 사용합니다. 각 반복 단계에서 알고리즘은 예측 계수를 얻기 위해 커널 릿지 회귀(kernel ridge regression)를 풀고, 입력에 대한 예측 모델의 그래디언트의 평균 외적을 사용하여 $M$을 업데이트합니다.
2. 안정화 수정 사항: 노이즈와 하이퍼파라미터에 대한 RFM의 민감도를 해결하기 위해, 저자들은 두 가지 핵심 수정을 도입했습니다:
   • 프로브 기반 초기화(Probe-Informed Initialization): 커널 행렬 $M_0$를 항등 행렬로 초기화하는 대신, 활성화 값에 대해 간단한 선형 프로브(linear probe)를 학습시킨 후 $M_0 = \beta ww^\top + (1-\beta)\Sigma_{X,k}$로 설정합니다. 이는 프로브가 찾아낸 주요 방향과 고차원 절단 공분산 행렬(higher-rank truncated covariance matrix)을 결합하여, 알고리즘이 즉시 rank-1 솔루션으로 붕괴되는 것을 방지합니다.
   • 지수 이동 평균(Exponential Moving Average, EMA): $M$의 업데이트에 EMA를 적용하여 학습 수렴을 안정화합니다.
3. 서브스페이스 추출: $T$번의 반복 후, 최종 행렬 $M_T$의 고유값 분해(eigendecomposition)를 통해 정렬된 고유벡터들을 얻습니다. 상위 $k$개의 고유벡터가 거절 서브스페이스를 정의합니다. 이 벡터들은 거절 레이블과의 피어슨 상관계수를 계산함으로써 거절 방향을 향하도록 정렬됩니다.
4. 개입(Intervention): 식별된 서브스페이스는 두 가지 목적으로 사용됩니다:
   • 절제(Ablation): 거절을 억제하기 위해 모델 가중치를 서브스페이스의 직교 보공간(orthogonal complement)으로 투영합니다.
   • 스티어링(Steering): 런타임 시 활성화 값을 직접 수정하여 거절을 유도하거나 억제합니다.

주요 기여

• 효율적인 다차원 추출: 본 논문은 RFM-AGOP가 소비자용 하드웨어(RTX 4090)에서 단 몇 초 만에 다차원 거절 서브스페이스를 식별할 수 있음을 입증하였으며, 이는 RCO와 같은 방법이 수 시간의 최적화를 필요로 했던 것과 대조적입니다.
• 프로브 기반 초기화: 공분산 기반의 웜 스타트(warm start) 도입은 LLM 활성화 값에 대한 RFM 알고리즘의 안정성과 효율성을 크게 향상시켰습니다.
• 추론 모델에 대한 경험적 검증: 본 연구는 비추론 모델(Qwen 2.5)과 추론 모델(Qwen 3) 모두에 대해 다차원 거절 분석을 수행한 첫 사례로, 특히 긴 추론 트레이스를 가진 모델의 동작을 강조합니다.
• 확장성: 이 방법은 단 한 번의 순전파와 몇 번의 고유값 분해만을 필요로 하며, 계산 복잡도는 $O(n^2d)$에 의해 지배되므로 개인용 노트북에서도 대규모 실험이 가능할 만큼 실용적입니다.

결과

저자들은 커스텀 다국어 대조 데이터셋(BigBench)을 사용하여 Qwen 3 제품군(1.7B, 4B, 8B, 14B) 및 Qwen 2.5 7B에 대해 방법을 평가했습니다.

• 거절의 차원성: 결과에 따르면, 더 큰 모델(≥8B 파라미터)에서의 거절은 다차원 서브스페이스에 인코딩되어 있습니다. (기존 1D 연구에서 제안된 것처럼) 단일 방향을 절제하는 것만으로는 더 큰 모델의 거절을 억제하기에 불충분했습니다. 예를 들어, Qwen 3 8B는 공격 성공률(ASR) 50% 임계값을 넘기기 위해 최소 3개의 방향을 절제해야 했습니다.
• 베이스라인 대비 성능: RFM-AGOP는 특히 여러 차원을 절제했을 때, RCO 및 차이-평균(Difference-in-Means, DIM) 베이스라인과 대등하거나 더 우수한 거절 억제 성능을 보였습니다.
• 능력 유지: RFM-AGOP를 사용하여 거절 서브스페이스를 절제하는 것은 일반적으로 일반적인 추론 능력(MMLU 점수로 측정)을 보존했으나, 14B 모델에서는 일부 성능 저하가 관찰되었습니다. 저자들은 이에 대해 추가 조사가 필요하다고 언급했습니다.
• 스티어링 비대칭성: 주요 고유벡터는 스티어링 시 거절을 효과적으로 유도할 수 있었지만, 이차 고유벡터들은 제어된 거절보다는 모델의 성능 저하("쓰레기" 출력)를 초래하는 경우가 많았습니다. 이는 절제와 스티어링의 기하학적 구조 사이에 비대칭성이 존재함을 시사합니다.

의의 및 주장

본 논문은 RFM-AGOP가 기존의 서브스페이스 추출 방법들에 대한 저렴하고 확장 가능한 보완책을 제공한다고 주장합니다. 이 연구의 주요 의의는 연구자들이 RCO와 같은 그래디언트 기반 최적화 방법의 막대한 계산 비용 없이도 다차원 거절 서브스스페이스를 빠르게 검색할 수 있게 한다는 점에 있습니다.

저자들은 자신들의 연구를 정렬 메커니즘의 기하학적 구조를 더 잘 이해하기 위한 하나의 단계로 겸허하게 규정합니다. 그들은 RFM이 더 빠른 식별을 가능하게 하지만, RFM이 찾아낸 서브스페이스와 다른 방법(예: Sparse Autoencoders)이 찾아낸 서브스페이스 사이의 정확한 관계는 여전히 미해결 과제로 남아 있음을 인정합니다. 또한, 추론 모델의 경우 거절이 생성 과정 후반부에 발생하거나 복잡한 추론 트레이스에 의해 가려질 수 있기 때문에, 현재 분야 내에 거절을 측정하기 위한 엄격하고 표준화된 지표가 부족하다는 점을 강조합니다.

본 연구는 모델 크기가 커짐에 따라 거절과 같은 복잡한 행동이 더 높은 차원의 서브스페이스에 존재할 수 있으며, 이는 단일 벡터 개입이 아닌 다차원 분석을 필요로 함을 시사합니다. 향후 연구 계획으로는 서로 다른 방법론에 의해 발견된 서브스페이스 간의 관계를 이해하고, 추론 과정 동안 이러한 서브스페이스가 어떻게 진화하는지 분석하는 것이 포함됩니다.