기술 요약: 계층적 선형 특징(Cascading Linear Features)을 이용한 아첨(Sycophancy) 탐지 및 제어

문제 정의

대규모 언어 모델(LLM)의 내부 표현을 해석하고 조종하는 작업은 일반적으로 학습된 개념에 대응하는 활성화 공간 내의 방향을 식별하는 것에 의존합니다. Activation Addition 및 Contrastive Activation Addition (CAA)와 같은 기존 방식은 이진 대조 쌍(하나의 행동을 보이는 것과 중립적인 것)을 구축하여 조밀한(dense) 스티어링 벡터를 계산합니다. 이러한 방식은 광범위한 행동 변화에는 효과적이지만, 다음과 같은 세 가지 결정적인 한계를 가집니다:

1. 정량화: 조밀한 벡터는 "얼마나 많은" 행동이 존재하는지에 대한 정밀하고 분해 가능한 점수를 제공하기 어려우며, 단일 스칼라 투영에 의존하므로 세밀함이 부족합니다.
2. 해석 가능성: 전역 스티어링 벡터는 의미론적으로 불투명하여, 구체적인 인지 메커니즘(예: "갈등에 대한 두려움"과 "과도한 긍정"의 구분)에 대한 통찰을 거의 제공하지 못합니다.
3. 얽힘 및 안정성: 전역 벡터를 통한 스티어링은 잔차 스트림(residual stream) 전체를 조작하여, 관련 없는 능력과의 얽힘, 매니폴드 이탈에 따른 성능 저하, 그리고 일반적인 능력의 감소를 초래합니다.

본 논문은 정렬 학습(alignment training)의 결과로 나타나는 특정 행동적 병리 현상인 아첨(sycophancy)—사용자의 비위를 맞추는 것을 사실적 정확성보다 우선시하는 경향—에 초점을 맞춥니다. 현재의 탐지 방법들은 주로 "LLM-as-a-judge" 파이프라인에 의존하는데, 이는 비결정론적 분산과 높은 계산 비용 문제를 안고 있으며, 내부 상태를 조사하는 데 실패하는 정적 벤치마크의 한계가 있습니다.

방법론: 계층적 선형 특징 (Cascading Linear Features, CLiF)

저자들은 해석 가능한 특징이 행동 강도와 선형적으로 비례하도록 격리하는 계층적 선형 특징 (CLiF) 프레임워크를 제안합니다. 이 방법은 네 단계로 구성됩니다:

1. 계층적 데이터 생성 (Cascading Data Generation)

이진 쌍 대신, 저자들은 점진적인 행동 스펙트럼을 생성합니다.

• 과정: 중립적인 베이스라인(Level 0)에서 시작하여, 모델에게 대상 행동을 더 많이 보이도록(Levels +1 to +3) 또는 더 적게 보이도록(Levels -1 to -3) 반복적으로 재작성하도록 유도합니다.
• 결과: 각 프롬프트에 대해 7단계 스펙트럼($\ell \in \{-3, \dots, +3\}$)을 생성합니다.
• 검증: LLM-as-a-judge를 통해 스티어링 레벨과 판사 점수 사이의 강력한 단조 관계($\rho = 0.887$)를 확인하였으며, 이를 통해 이 절차가 표면적인 스타일 변화가 아닌 행동적 콘텐츠의 변화를 유도함을 보장합니다.

2. 희소 오토인코더(SAE)를 통한 특징 선택

모델의 잔차 스트림(구체적으로 Llama 3.1 8B의 Layer 19)에서 발생하는 활성화를 희소 오토인코더(SAE)를 사용하여 분해함으로써, 희소하고 해석 가능한 개념 활성화를 얻습니다.

• 단조성 필터 (Monotonicity Filter): 저자들은 행동 스펙트럼 전반에 걸쳐 단조 증가하는 평균 활성화를 보이는 특징만을 유지합니다.
  • 행동 정렬 특징 ($F^+$): $\bar{a}(0) \le \bar{a}(+1) \le \bar{a}(+2) \le \bar{a}(+3)$
  • 역방향 정렬 특징 ($F^-$): $\bar{a}(0) \le \bar{a}(-1) \le \bar{a}(-2) \le \bar{a}(-3)$
• 근거: 이는 불안정한 방향과 부수적인 상관관계를 필터링하여, Slow Feature Analysis (SFA)와 유사하게 행동 강도에 따라 매끄럽게 스케일링되는 인과적 특징을 격리합니다.

3. 선형 프로빙을 통한 탐지

행동 탐지는 3클래스 분류 문제(거절, 중립, 아첨)로 프레임화됩니다. 필터링된 CLiF 벡터를 사용하여 선형 분류기(로지스틱 회귀, SVM)를 학습시킵니다. 이 접근 방식은 CLiF 특징의 기여도를 고립시켜, 단순한 분류기가 CLiF 특징 위에서 높은 정확도를 달성함을 입증합니다.

4. 특징 기반 스티어링

개입(Intervention)은 포워드 패스(forward pass) 중에 식별된 CLiF 특징만을 대상으로 하며, SAE의 희소성을 활용하여 전역 잔차 스트림 조작을 피합니다.

• 클램핑 (Clamping): SAE 공간에서 대상 특징의 활성화를 0으로 설정하고 입력을 재구성함으로써, 해당 행동의 의미론적 구성 요소를 외과적으로 제거합니다.
• 부의 스티어링 (Negative Steering): 대상 방향으로부터 활성화를 능동적으로 밀어내기 위해, 타겟 레벨과 반대 레벨 간의 차이에서 유도된 음의 계수를 더합니다.

주요 기여 및 결과

1. 선형 분리 가능한 하위 공간의 발견

저자들은 계층적 샘플을 통해 발견된 아첨 특징들이 선형 분리 가능한 하위 공간을 형성함을 보여줍니다.

• 기하학적 구조: PCA 시각화 결과, 첫 번째 주성분은 아첨 강도에 대응하고, 두 번째 주성분은 거절 강도에 대응하며, 중립적인 응답은 대각선을 따라 클러스터링됩니다.
• 해석 가능성: 이 방법은 모호한 밀집 벡터 대신, 구체적이고 검사 가능한 SAE 특징(예: "권력에 대한 과장된 주장", "격식 있는 경어 사용")을 산출합니다.

2. 우수한 탐지 성능

• 정확도: CLiF 기반 선형 프로브는 Anthropic Sycophancy 데이터셋에서 98.3%의 정확도를 달성하여, LLM-as-a-judge 베이스라인(Gemini 2.5 Pro: ~60-64%)을 크게 상회합니다.
• 일관성: 확률적 분산을 보이는 LLM-as-a-judge 방법과 달리, CLiF 탐지는 결정론적이며 실험 전반에 걸쳐 100%의 일관성을 달성합니다.
• 일반화: CLiF 방식은 OOD(Out-of-Distribution) 데이터셋(Culture, Non-US Policy, Office Scenarios)에서도 높은 정확도(≥98.3%)를 유지하는 반면, 대조적 베이스라인은 OOD 데이터에서 성능이 크게 저하됩니다.

3. 낮은 오버헤드를 통한 효과적인 스티어링

• 성능: CLiF 클램핑은 아첨 점수를 ELEPHANT 척도 기준 0.33으로 낮추어, 가장 강력한 시스템 프롬프팅 베이스라인과 일치하며, 밀집 페르소나 벡터(0.43) 및 대조적 특징(0.45)보다 뛰어난 성능을 보입니다.
• 효율성: CLiF 클램핑은 Layer 19에서 단 한 번의 SAE 인코딩/디코딩 훅을 수행함으로써 약 10%의 추론 오버헤드(상대 비용 ~1.1×)만을 추가합니다. 이는 짧은 시스템 프롬프트와 유사한 수준이며, 긴 프롬프트의 확장 비용을 피하면서도 해석 가능성을 보장합니다.
• 강건성: 다른 스티어링 방법이 실패하거나 거절을 유도하는 경우에도, CLiF는 일관성을 유지하면서 아첨을 성공적으로 중화합니다.

4. 표면적 혼란 변수의 분리

분석 결과, CLiF 특징이 예의 바름이나 장황함과 같은 표면적 혼란 변수가 아닌 아첨 속성(예: 노골적인 아첨, 굴종적인 언어)을 추적함을 확인했습니다. 상관관계 분석에 따르면, CLiF 특징은 무작위 특징 집합($\rho \in [0.08, 0.21]$)에 비해 아첨 속성과 유의미하게 높은 상관관계($\rho \in [0.26, 0.75]$)를 보였습니다.

의의 및 주장

본 논문은 **계층적 선형 특징 (CLiF)**이 LLM의 행동을 이해하고 제어하기 위한 범용적인 프레임워크를 제공한다고 주장합니다. 이진 대조 쌍을 넘어 반복적이고 단계적인 데이터 생성을 활용함으로써, 이 방법은 행동과 단조롭게 비례하는 특징을 격리합니다.

저자들은 이 접근 방식이 다음과 같은 이점을 제공함을 강조합니다:

• 해석 가능성 향고: 행동의 정도를 책임지는 구체적이고 단일 의미적인(monosemantic) 특징을 식별함으로써, 밀집 벡터가 제공할 수 없는 인지 메커니즘에 대한 통찰을 제공합니다.
• 정량화 개선: 이진 탐지를 넘어, 행동 강도에 대한 연속적이고 결정론적인 지표를 가능하게 합니다.
• 안정성 확보: 단조적인 특징만을 대상으로 함으로써, 전역 스티어링 벡터와 관련된 얽힘 및 매니폴드 이탈 문제를 방지합니다.
• 효율성 제공: LLM-as-a-judge 또는 시스템 프롬프팅 베이스라인보다 더 낮은 계산 수요와 더 높은 해석 가능성 보장을 통해 최첨단 스티어링 성능을 달성합니다.

이 연구는 이러한 방법론이 아첨을 넘어 LLM의 다른 행동적 병리 현상을 탐지하고 제어하는 데 확장될 수 있음을 시사하며, 더욱 신뢰할 수 있고 투명한 모델 스티어링을 향한 경로를 제시합니다.