기술 요약: 안전하게 조종할 것인가, 아니면 절벽 아래로 떨어질 것인가? 추론 시 개입(Inference-Time Intervention)의 특이성(Specificity)과 강건성(Robustness)에 대한 재고

문제 정의

모델 스티어링(모델 조종, 추론 시 개의 개입)은 거대 언语言 모델(LLM)을 제어하기 위한 미세 조정(Fine-tuning)의 경량화된 대안으로 부상했습니다. 이러한 방법들의 효능(Efficacy)—즉, 목표한 속성을 성공적으로 변화시키는지 여부—은 잘 연구되어 왔으나, 이들의 특이성(Specificity)—즉, 의도치 않은 부작용 없이 오직 목표한 속성만을 변화시키는지 여부—은 아직 충분히 검토되지 않았습니다.

기존의 평가들은 스티어링이 일반적인 유창성이나 관련 없는 벤치마크 성능을 유지하는지에 초점을 맞춥니다. 그러나 안전이 중요한 애플리케이션에서 스티어링은 목표 속성과 밀접하게 연관된 행동을 저하시킬 수 있는 얽힌 표현 공간(entangled representation spaces) 내에서 작동합니다. 즉, 현재의 평가는 강건한 특이성(Robustness Specificity), 즉 분포 변화(distribution shifts)와 같은 적대적 탈옥 공격(adversarial jailbreak attacks) 상황에서도 안전 및 제어 속성을 유지하는지를 고려하지 못하고 있습니다.

제안된 프레임워크: 특이성의 세 가지 차원

저자들은 스티어링의 신뢰성에 대한 더 완전한 그림을 제공하기 위해 특이성을 세 가지 차원으로 구분하는 프레임워크를 제안합니다:

1. 일반적 특이성(General Specificity): 스티어링이 목표 속성과 무관한 작업(예: 일반 지식, 수학적 추론)에 대한 모델의 유창성과 성능을 보존하는가?
2. 제어 특이성(Control Specificity): 스티어링이 목표 속성과 관련된 행동(제어 속성)을 보존하는가? 예를 들어, 과잉 거절(overrefusal)을 줄이기 위해 스티어링할 때, 모델이 여전히 진정으로 유해한 질의에 대해 올바르게 거절하는가?
3. 강건한 특이성(Robust Specificity): 분포 변화, 특히 적대적 공격(예: 탈옥 프롬프트) 상황에서도 이러한 제어 속성을 보존하는가?

본 논문은 표준적인 효능 검사가 불충분하다고 주장합니다. 왜냐하면 어떤 방법이 표준 벤치마크 하에서는 정밀하고 안전해 보일지라도, 적대적 조건 하에서는 모델의 안전성을 심각하게 훼손할 수 있기 때문입니다.

방법론

본 연구는 다음을 포함하여 명령 튜닝된 LLM(최대 8B 파라미터)에 대한 광범위한 기존 스티어링 기법들을 평가합니다:

• 비지도/표현 기반(Unsupervised/Representation-based): 차이 평균(Difference-in-Means, DiffMean), 선형 프로브(Linear Probe), 희소 오토인코더(Sparse Autoencoders, SAE).
• 지도 학습 기반(Supervised): 지도 스티어링 벡터(Supervised Steering Vector, SSV), 순위-1 표현 미세 조정(Rank-1 Representation Finetuning, ReFT-r1).
• 제약 기반(Constrained): 부분 직교화(Partial Orthogonalization, PartialOR). 이는 제어 속성을 명시적으로 보존하려고 시도합니다.

저자들은 두 가지 안전 중심 사용 사례를 조사합니다:

1. 과잉 거절 스티어링(Overrefusal Steering): 무해한 질의(의사 유해 질의)에 대한 과도한 거절을 줄이는 동시에, 진정으로 유해한 질의에 대해서는 거절 능력을 유지함.
2. 충실도 환각 스티어링(Faithfulness Hallucination Steering): 내부 지식과 상충하는 맥락이 주어졌을 때 제공된 맥락에 대한 준수도를 높이는 동시에, 맥락이 없을 때는 내부 지식에 기반한 정확도를 유지함.

실험 설정:

• 모델: Llama-3.1-8B, Llama-3.2-3B, Qwen-2.5-7B, Gemma-2-2B.
• 데이터셋: PHTest, JailbreakBench, Alpaca, NQSwap.
• 평가: 저자들은 "제약 없는 스티어링"(목표 속성만을 타겟팅)과 "제약 있는 스티어링"(훈련 시 제어 사례를 명시적으로 포함)을 비교합니다. 효능, 일반적 특이성(MMLU, GSM8K, Perplexity), 제어 특이성(표준 유해 질의에 대한 안전성), 그리고 강건한 특이성(탈옥 공격이 접두사로 붙은 유해 질의에 대한 안전성)을 측정합니다.

주요 결과

본 연구는 모든 모델과 스티어링 방법에서 일관된 패턴을 발견했습니다:

1. 높은 효능: 스티어링 방법들은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 모두에서 과잉 거절과 충실도 환각을 성공적으로 감소시킵니다.
2. 보존된 일반적 특이성: 스티어링은 일반적인 모델 능력(유창성, MMLU, GSM8K)을 대체로 유지하며, 미미하거나 무시할 만한 수준의 저하만을 보입니다.
3. 보존된 제어 특이성(분포 내): 표준 설정 하에서, 스티어링 방법들은 일반적으로 유해한 질의를 거절하는 모델의 능력을 보존합니다. 전형적인 유해 데이터셋에 대한 안전 점수는 대체로 유지됩니다.
4. 실패한 강건한 특이성: 이것이 핵심적인 발견입니다. 표준 유해 질의에 대한 안전성은 유지함에도 불구하고, 모든 스티어링 방법은 탈옥 공격에 대한 모델의 취약성을 유의미하게 증가시킵니다.
   • 예를 들어, Llama-8B-Instruct의 경우, 스티어링은 탈옥 강건성을 35~55% 감소시켰습니다.
   • Qwen-7B의 경우, 취약성이 20~30% 증가했습니다.
   • 안전성을 제어하도록 설계된 방법(PartialOR와 같은)조차 적대적 변화 하에서의 강건성을 유지하는 데 실패했습니다.
5. 트레이드오프(Trade-offs): 유용성 이득(과잉 거절 감소)과 강건성 사이에는 강한 역상관 관계가 존재합니다. 가장 높은 효능 이득을 달성하는 방법일수록 탈옥 강건성의 하락 폭이 가장 큽니다.

메커니즘 분석:
은닉 활성화(hidden activations)에 대한 주성분 분석(PCA) 결과, 탈옥 접두사가 붙은 유해 질의의 표현은 무해한 질의의 영역으로 이동합니다. 무해한 활성화와 유해한 활성화를 구분하는 방향을 따라 순응도를 높이도록 훈련된 스티어링 벡터는, 변환 과정에서 잠재 표현이 깔끔하게 분리되지 않기 때문에 이러한 적대적으로 위장된 입력에 대한 순응도를 의도치 않게 증폭시킵니다.

의의 및 주장

본 논문은 모델 스티어링의 일반적, 제어적, 강건한 차원에 걸친 특이성에 대한 첫 번째 체계적인 평가를 제공한다고 주장합니다.

• 현재 검증 방식의 불충분함: 저자들은 효능 및 특이성 검사(유창성이나 분포 내 안전성에만 집중하는 방식)가 불충분하다고 주장합니다. 강건성 평가가 없다면, 스티어링 방법은 모델 안전성을 저해하면서도 신뢰할 수 있는 것처럼 보일 수 있습니다.
• 얽힌 표현(Entangled Representations): 결과는 현재의 스티어링 방법들이 적대적 변화를 처리할 만큼 잠재 표현을 충분히 분리(disentangle)하지 못함을 시사합니다. 과잉 거절을 효과적으로 줄이는 개입은 강건성을 약화시키는 경향이 있으며, 이는 '안전'과 '불안전'의 기저 표현이 정밀하고 강건한 제어를 허용할 만큼 선형적으로 분리 가능하지 않음을 나타냅니다.
• 총체적 평가의 필요성: 본 연구는 스티어링을 평가할 때 효능뿐만 아니라 특이성과 강건성을 함께 평가해야 할 필요성을 강조합니다. 저자들은 이러한 평가 없이는 유용성을 개선하려는 의도의 개입이 의도치 않게 모델의 안전성을 약화시킬 수 있다고 경고합니다.

결론적으로, 스티어링은 유망한 도구이지만, 현재는 적대적 환경에서 신뢰할 수 있는 배포에 필요한 강건한 특이성이 부족하며, 효능과 안전성 모두에 대해 분포 외(out-of-distribution)에서도 잘 일반화될 수 있는 새로운 기술이 필요함을 시사합니다.