기술적 요약: 정렬 유발 활성화 변화에 대한 유효 차수 감사

문제 진술

지시 튜닝된 대규모 언어 모델 (LLM) 은 안전 행동 (특히 유해한 요청에 대한 거부) 이 잔류 스트림 활성화 내의 저차원 부분 공간에 의해 매개되는 구조적 취약점을 보입니다. Arditi 등 (2024) 의 단일 방향이 거부를 매개할 수 있다는 경험적 관찰에 기반하여, 본 논문은 이 현상의 구조적 결과를 공식화합니다. 핵심 문제는 정렬 변화의 '분리 가능성 (separability)'을 정량화하는 것, 즉 사전 훈련된 모델과 정렬된 모델 간의 활성화 수정이 안전 관련 입력에 얼마나 집중되어 있는지를 측정하고, 이 저차원 구조가 행동적 취약성이나 기만적 정렬 (위장) 에 대한 취약성을 시사하는지 여부를 판단하는 것입니다.

본 논문은 다음 세 가지 특정 격차를 해결합니다:

1. 교란 변수 통제: 이전 측정들은 종종 정렬 변화를 채팅 템플릿 포맷팅 아티팩트와 혼동했습니다.
2. 보정: 정렬 변화의 유효 차수를 증가시키는 것 (정규화를 통해) 이 구조적으로 견고성을 개선하는지, 아니면 단순히 지표를 과장하는지 불분명합니다.
3. 진단법의 한계: 저차원이 안전 특유의 서명인지, 아니면 사후 훈련의 일반적 속성인지, 그리고 '위장 비용'에 대한 하한선이 존재하는지 (즉, 고차수가 모드 토글링에 대한 저항력을 보장하는지) 는 알려지지 않았습니다.

방법론

분리 가능성 지수 ($\rho_\epsilon$)

본 논문은 주어진 레이어에서 정렬 수정 행렬 $M_D$를 안전 관련 분포 $D_s$에 대한 정렬된 모델과 사전 훈련된 모델 간의 활성화 차이들의 집합으로 정의합니다:
$$M_D := [h_{align}(x_i) - h_{pre}(x_i)]_{i=1}^n$$
분리 가능성 지수는 이 행렬의 유효 차수를 표현 차원 $d$로 정규화한 것입니다:
$$\rho_\epsilon := \text{rank}_\epsilon(M_D) / d$$
여기서 $\text{rank}_\epsilon$은 총 분산의 $(1-\epsilon)$을 포착하는 데 필요한 특이값의 개수이며 ($\epsilon=0.05$), 이는 $\epsilon=0.05$일 때 정의됩니다.

4 변형 분해

교란 변수로부터 진정한 정렬 신호를 분리하기 위해, 저자들은 수정 행렬을 네 가지 변형으로 분해합니다:

1. $M_{naive}$: 단순 차이 ($h_{align}(x_{chat}) - h_{pre}(x_{raw})$), 템플릿 교란 변수에 취약함.
2. $M_{template}$: 두 체크포인트 모두에 템플릿을 적용하여 채팅 템플릿 포맷팅을 통제함.
3. $M_{aligned}$: 정렬된 모델 자체 내에서의 변화를 측정함.
4. $M_{DiD}$ (차이의 차이): $M_{template}$에서 제어 열 평균을 빼서 정렬된 모델 내의 거부 방향을 복원함.

진단 테스트

본 논문은 정렬을 평가하기 위해 세 가지 테스트를 사용합니다:

• 테스트 1 (차수): $M_{template}$에서 $\rho_\epsilon$을 계산합니다.
• 테스트 2 (인과적 제거): $M_{template}$의 상위 $k$개 주성분을 투영하여 무작위 차수-$k$ 널 (null) 과 비교한 거부율의 변화를 측정합니다.
• 테스트 3 (주 정렬): 최대 특이 벡터 $u_1$과 평균 변화 방향 $\bar{\Delta}$ 사이의 코사인 유사도를 측정합니다.

보정 및 검증

• MLP 보정: 차수 과장과 제거 견고성 간의 트레이드오프를 관찰하면서 $\rho_\epsilon$을 조작하기 위해 다양한 정규화 강도 ($\lambda$) 로 3 층 MLP 를 훈련합니다.
• LLM 감사: 진단을 세 가지 오픈 가중치 모델에 적용합니다: Llama-3.1-8B-Instruct, Gemma-2-9B-it, Qwen-2.5-7B-Instruct.
• 이론적 하한선: 본 논문은 그러한 하한선에 필요한 스펙트럼 갭 가설을 테스트하면서, 기만적 정책 (위장) 의 표현적 발자국에 대한 하한선을 유도하기 위한 'Mirsky 경로'를 조사합니다.

주요 결과

1. 교란 변수 통제 측정

• 차수 집중: 안전 관련 입력에서 정렬 변화는 매우 집중되어 있습니다. Llama, Gemma, Qwen 의 경우 중심화된 유효 차수는 $d \in \{3584, 4096\}$ 중 약 12~18 로, $\rho_\epsilon \in \{0.0029, 0.0048, 0.0044\}$를 생성합니다.
• 템플릿 교란 변수: 중심화되지 않은 차수는 단일 평균 방향 (채팅 템플릿 변화) 에 의해 지배됩니다. 평균을 빼는 (중심화) 것은 잔여 차수를 4~7 배 증가시켜, headline 차수가 복잡한 안전 논리가 아닌 포맷팅에 의해 주도됨을 확인시켜 줍니다.
• 거부 방향 복원: 중심화된 $M_{DiD}$에서, 최대 특이 벡터는 Arditi 거부 방향과 높은 코사인 유사도 ($| \cos | \in \{0.77, 0.86, 0.50\}$, Llama/Gemma/Qwen 순서) 로 정렬됩니다. 이는 Llama 와 Gemma 에서는 '차수-1 붕괴'가 성립하지만 Qwen 에서는 덜 지배적임을 확인시켜 줍니다.

2. 구성적 보정: 최적점 vs 취약성

• 차수 과장 $\neq$ 견고성: MLP 보정에서, 약한 정규화 ($\lambda=5$) 를 통해 $\rho_\epsilon$을 증가시키는 것은 높은 제거 견고성 (표현의 62.5% 를 투영한 후에도 준수율 $\ge 0.97$) 을 초래했습니다. 그러나 동일한 명목 $\rho_\epsilon$에서 강한 정규화 ($\lambda=50$) 는 극도의 취약성 (준수율이 0.10 으로 하락) 을 초래했습니다.
• 진단적 가치: $\rho_\epsilon$은 취약성에 대한 진단 도구로 기능하지만, 기계적 차수 과장이 견고성을 보장하는 목표는 아닙니다. 낮은 $\rho_\epsilon$의 구조적 결과는 선형 투영 취약성(Prop. 3.1)과 위장에 대한 $O(\rho_\epsilon d)$ 달성 가능 하한선(Prop. 3.5)입니다.

3. 차수 기반 진단의 한계

• 안전 특이성 부재: 임의의 선형 개념 (LRH) 을 사용한 기준선은 $\rho_\epsilon \approx 0.008$–$0.010$을 산출하여 안전 값의 2~3 배에 불과합니다. 저차원은 사후 훈련 변화의 일반적 속성이며, 안전 행동과의 연결은 인과적 제거 (테스트 2) 를 통해서만 확립됩니다.
• SVD 대 인과적 순서: 분산에 따른 특이값의 순서가 인과적 순서를 보장하지는 않습니다. Llama 에서, 두 번째 특이 벡터 ($u_2$) 는 분산 기준으로 두 번째로 순위가 높음에도 불구하고 거부에 대한 인과적 효과가 거의 없습니다. 누적 제거는 비단조적입니다 (예: $k=5$에서 거부가 증가한 후 하락). 이는 SVD 스펙트럼만으로는 행동적 취약성을 예측할 수 없음을 나타냅니다.
• 스펙트럼 갭 가설의 실패: 본 논문은 스펙트럼 갭 ($\kappa > 8$) 이 필요한 Mirsky 스타일 논증을 사용하여 위장 비용에 대한 일치하는 하한선 ($\Omega(\rho_\epsilon d)$) 을 증명하려 시도합니다. 경험적으로, 이 갭은 Llama 의 89/90 레이어 참조 쌍과 MLP 의 0/36 에서 실패합니다 ($\kappa_{emp} < 8$). 구조적으로, Lemma 8.1 은 임의의 $\epsilon r > 1/4$에 대해 갭 조건을 충족할 수 없음을 증명하여, Mirsky 경로가 일반적인 하한선을 위해 불충분함을 보여줍니다.

중요성과 주장

본 논문은 이전 연구의 이진적 '차수-1' 관찰을 넘어, 정렬의 구조적 속성에 대한 공식적이고 연속적인 정량화를 제공한다고 주장합니다.

1. 취약성의 공식화: 낮은 유효 차수 ($\rho_\epsilon \ll 1$) 가 무조건적으로 선형 투영 공격에 대한 취약성을 내포하며 (Prop. 3.1), 저비용 표현적 위장을 허용한다는 것 (Prop. 3.5) 을 확립합니다.
2. 방법론적 엄밀성: 정확한 감사를 위한 필수 단계인 채팅 템플릿 아티팩트를 진정한 정렬 변화로부터 엄격하게 분리하기 위한 4 변형 분해를 도입합니다.
3. 진단 대 최적화: 본 논문은 $\rho_\epsilon$이 취약성을 식별하기 위한 진단 도구이지 최적화 목표가 아니라고 주장합니다. 기계적 차수 과장은 구조적 견고성을 구매하지 못합니다.
4. 미해결 문제: 본 논문은 위장에 대한 일치하는 하한선을 명시적으로 미해결 문제로 지목합니다. 저비용 위장의 달성 가능성(상한선) 을 증명하는 반면, 하한선(고차수가 고비용을 강제함) 을 증명하기 위한 자연스러운 스펙트럼 갭 접근법이 경험적, 구조적 모두에서 실패함을 보여줍니다.

저자들은 그들의 작업이 잔류 스트림 공격(투영, 조종) 으로 제한되며, 내부 메커니즘에 대한 임의의 적대적 압력, LoRA 파인튜닝, 또는 프롬프트 재일브를 해결한다고 주장하지 않는다고 강조합니다. 이 진단은 감사 대상 시스템보다 엄격하게 약한 검증자가, 짝을 이룬 체크포인트와 고정된 안전 분포에 대한 화이트박스 접근 권한을 가진다면 계산 가능합니다.