[기술 요약] 대규모 언어 모델의 거절 기하학: 컨셉 콘(Concept Cones)과 표현 독립성

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)의 안전 정렬(Safety Alignment)을 우회하는 적대적 공격(Jailbreak)이 증가하고 있습니다. 기존 연구(예: Arditi et al., 2024)는 모델의 '거절(Refusal)' 메커니즘이 활성화 공간(Activation Space) 내의 **단일한 선형 방향(Single Linear Direction)**에 의해 결정된다고 가정해 왔습니다. 그러나 이러한 단순화된 모델은 다음과 같은 한계를 가집니다:

• 거절 메커니즘이 실제로 얼마나 복잡한 구조를 가졌는지 설명하지 못함.
• 단일 방향을 조작할 때 발생하는 부작용(Side effects, 예: 일반 능력 저하 또는 과잉 거절)을 제어하기 어려움.
• 적대적 공격이 모델의 어떤 내부 메커니즘을 건드리는지 명확히 파악하기 어려움.

2. 방법론 (Methodology)

본 논문은 거절 메커니즘을 더 정밀하게 파악하기 위해 세 가지 핵심 방법론을 제안합니다.

① Refusal Direction Optimization (RDO)

기존의 차이 평균 방식(Difference-in-Means, DIM) 대신, **경사 하강법(Gradient-based)**을 사용하는 새로운 표현 공학(Representation Engineering) 접근법을 제안합니다.

• 목적 함수(Loss Function): 세 가지 손실 함수를 결합하여 최적의 거절 방향 $r$을 찾습니다.
  • Ablation Loss ($\mathcal{L}_{ablation}$): 해당 방향을 제거했을 때 유해한 질문에 답변하게 만듦.
  • Addition Loss ($\mathcal{L}_{addition}$): 해당 방향을 더했을 때 무해한 질문에 거절하게 만듦.
  • Retain Loss ($\mathcal{L}_{retain}$): 방향 조작 시 모델의 원래 유용한 답변 능력(무해한 질문에 대한 답변)이 변하지 않도록 KL 발산(KL Divergence)을 통해 제어함.

② Refusal Concept Cones (RCO)

거절이 단일 방향이 아닌 다차원 폴리헤드럴 콘(Multi-dimensional Polyhedral Cones) 구조를 가질 것이라는 가설을 검증합니다.

• RCO 알고리즘: 직교하는 기저 벡터(Orthonormal Basis)들을 최적화하여, 콘(Cone) 내부의 모든 방향이 거절 특성을 유지하도록 하는 다차원 공간을 찾아냅니다.

③ Representational Independence (RepInd)

단순한 기하학적 직교성(Orthogonality)이 반드시 기능적 독립성을 의미하지는 않는다는 점에 착안하여, 새로운 독립성 기준을 정의합니다.

• 정의: 방향 $\lambda$를 제거(Ablation)했을 때, 다른 방향 $\mu$가 모델 활성화 공간에서 표현되는 정도(Cosine Similarity)가 변하지 않는다면, 두 방향은 **표현 독립적(Representationally Independent)**이라고 정의합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

① RDO의 우수성 입증

• 효과성: RDO로 추출된 방향은 기존 DIM 방식보다 탈옥(Jailbreak) 성공률(ASR)이 높거나 대등하며, 특히 활성화 값을 빼는 방식(Subtraction)에서 더 뛰어난 성능을 보였습니다.
• 정밀도: Retain Loss 덕분에 모델의 일반적인 벤치마크 성능(TruthfulQA, MMLU 등) 저하를 최소화하면서도, 유해 질문에 대한 거절과 무해 질문에 대한 과잉 거절(Over-refusal) 사이의 트레이드오프를 훨씬 효율적으로 관리할 수 있음을 보여주었습니다.

② 다차원 거절 구조(Concept Cones) 발견

• 거절은 단일 벡터가 아니라 최대 5차원까지의 다차원 콘(Cone) 구조로 존재함을 확인했습니다.
• 모델의 크기가 커질수록(예: Qwen 2.5 1.5B $\rightarrow$ 14B) 더 높은 차원의 거절 콘을 지원함을 발견했습니다.
• 여러 방향을 동시에 조작할 때 탈옥 성공률이 단일 방향 조작보다 높게 나타나, 각 방향이 거절의 서로 다른 측면을 보완적으로 제어하고 있음을 증명했습니다.

③ 독립적 메커니즘의 존재 확인

• RepInd 기준을 통해 추출된 방향들은 서로의 표현에 영향을 주지 않는 기능적으로 독립적인 메커니즘임을 확인했습니다.
• 이러한 독립적인 방향들을 조합하여 조작할 때 탈옥 성능이 단조 증가(Monotonically increase)하는 것을 통해, 거절이 여러 개의 독립적인 하위 메커니즘에 의해 구동됨을 입증했습니다.

4. 의의 (Significance)

1. 이론적 진보: LLM의 안전 정렬 메커니즘이 단순한 선형 구조가 아닌, 복잡한 고차원 기하학적 구조(Cones)를 가지고 있음을 밝혀냈습니다.
2. 해석 가능성(Interpretability) 향상: 모델의 거절 행동을 단순한 '방향'이 아닌 '독립적인 메커니즘의 집합'으로 이해할 수 있는 프레임워크를 제공했습니다.
3. 방어 전략 수립: 거절 메커니즘이 다차원적이고 독립적이라는 사실은, 향후 더 강력한 적대적 공격을 막기 위해 단순히 하나의 방향을 수정하는 것을 넘어, 모델 내부의 복잡한 거절 회로(Circuits) 전체를 고려한 방어 전략이 필요함을 시사합니다.