기술 요약: LLM 간의 보편적 거절 회로 (Universal Refusal Circuits Across LLMs)

1. 문제 정의

정렬된 대규모 언어 모델(LLM)은 특정 클래스의 프롬프트에 대해 정형화된 방식으로 답변을 거부하는 "거절 행동(refusal behavior)"을 빈번하게 보입니다. 선행 연구들은 거절이 내부 표현의 저차원 개입(low-rank interventions)을 통해 조절될 수 있음을 밝혀냈으나, 단순한 편집은 다의적 얽힘(polysemantic entanglement)으로 인해 능력 상실, 스타일 변화, 의도하지 않은 행동 변화와 같은 "부수적 피해(collateral damage)"를 초래하곤 합니다.

본 논문이 다루는 핵심적인 기계론적 질문은 다음과 같습니다: 거절 회로는 LLM 전반에 걸쳐 보편적인가? 구체적으로, "기증자(donor)" 모델에서 추출한 거절 회로를 "대상(target)" 모델(잠재적으로 서로 다른 아키텍처, 규모 또는 학습 체계를 가진 모델)로 전이하여, 대상 모델에 대한 거절 관련 감독(supervision) 없이도 거절을 약화시킬 수 있는가? 저자들은 거절 제거(ablation)를 단순한 배포 권장 사항이 아닌, 회로의 보편성을 측정하기 위한 측정 도구로 취급합니다.

2. 방법론: 개념 기반 재구성을 통한 궤적 재생 (Trajectory Replay via Concept-Basis Reconstruction)

제안된 프레임워크인 **궤적 재생(Trajectory Replay)**은 "개념 원자(concept atoms)"라는 공유된 어휘를 사용하여 기증자의 거절 궤적을 대상으로 전이함으로써 거절 개입을 수행합니다. 이 과정은 대상 모델이 유해한 프롬프트나 거절 레이블에 노출되지 않는 엄격한 정보 예산($B_0$) 하에서 작동합니다.

방법론은 다음 네 단계로 구성됩니다:

1단계: 의미 계층 정렬 (Semantic Layer Alignment)

기증자의 거절 궤적을 대상으로 매핑하기 위해, 레이어 인덱스가 아닌 개념 원자의 상관 구조를 기반으로 레이어를 정렬합니다.

• 개념 원자 레지스트리 (Concept Atom Registry, CAR): 특정 개념(예: "기만", "안전 플래그 지정")을 나타내는 서로 분리된 프롬프트 세트로부터 계산된 공유된 방향 집합입니다. 이는 모델 간의 공유된 어휘 역할을 합니다.
• 그램 지문 (Gram Fingerprints): 각 레이어에 대해 개념 원자의 상관 구조(Gram 행렬)를 계산합니다.
• 동적 시간 왜곡 (Dynamic Time Warping, DTW): 그램 지문 사이의 거리를 최소화함으로써 기증자 레이어를 대상 레이어에 매핑합니다. 이는 레이어 순열 아티팩트를 방지하고 단조성과 연속성을 보장하며, 아키텍처 차이(예: Dense vs. MoE)를 수용합니다.

2단계: 개념 기반 재구성 (Concept-Basis Reconstruction)

거절 방향을 기증자의 개념 원자들의 "레시피"로 분해한 후, 이를 대상 모델에서 재구성합니다.

• 기증자 분해 (Donor Decomposition): 기증자로부터 (수술적 거절 제거(Surgical Refusal Ablation, SRA)를 사용하여) "클린" 거절 방향($r_{D, clean}$)을 추출하고, 이를 계수 $w$를 찾기 위한 릿지 회귀(ridge regression)를 통해 기증자 개념 원자($A_D$)의 선형 혼합으로 표현합니다.
• 대상 재구성 (Target Reconstruction): 동일한 계수 벡터 $w$("레시피")를 대상의 개념 원자($A_T$)에 적용하여 대상 거절 방향 $\tilde{r}_T = A_T w$를 재구성합니다. 이는 거절이 공유된 개념 원자 위에서 안정적인 혼합물이라는 가설을 실행 가능한 형태로 구현한 것입니다.

3단계: Weight-SVD 안정성 가드 (Weight-SVD Stability Guard)

개입이 핵심 능력을 손상시키는 것을 방지하기 위해, 재구성된 방향을 가중치 행렬의 고분산 부분 공간으로부터 투영하여 격리합니다.

• 근거: 근본적인 능력(구문, 논리 등)은 가중치 행로의 고분산 주성분에 존재하고, 특정 의미적 억제(거절)는 저차원 부분 공간에 존재한다는 가설에 기반합니다.
• 구현: 개입 방향을 편집된 가중치 행렬의 상위-$k$ 우측 특이 벡터들의 영공간(null space)으로 투영합니다. 임계값 $k$는 검증 세트(WikiText 등)에서의 양호한 퍼플렉서티(perplexity) 저하가 사전 정의된 임계값(예: <1%) 미만으로 유지되도록 선택됩니다.

4단계: 재생 (Replay)

안정화되고 재구성된 방향을 정렬된 트랜스포머 블록의 출력 투영 행렬(O-proj)에 랭크-1 억제 업데이트(rank-one suppression update)로 적용합니다.

3. 주요 기여

1. 의미적 보편성 가설 (실행 가능화): 본 논문은 거절이 모델 불가지론적인 공유 개념 원자 위의 안정적인 혼합물로서, 개념 공간에서 가장 안정적이라고 제안합니다.
2. 궤적 재생 프레임워크: 대상 측의 거절 감독 없이도 거절 방향을 재구성하기 위해 공유된 개념 원자 레지스트리를 활용하는 기증자-대상 전이 프로토콜을 제공합니다.
3. Weight-SVD 안정성 가드: 모델 편집의 영공간 제약과 유사하게, 주성분 가중치 공간으로부터 개입을 투영함으로써 능력 붕괴를 방지하는 메커니즘을 제공합니다.
4. 엄격한 평가 및 감사: 숨겨진 튜닝이 발생하지 않도록 명시적인 "노브/예산 감사(knob/budget audit)"를 포함하여 8개의 모델 쌍(Dense-to-MoE 및 교차 패밀리 전이 포함)에 대해 평가를 수행했습니다.

4. 실험 결과

프레임워크는 8개의 기증자/대상 쌍(교차 패밀리 전이, 역방향 전이, 아키텍처 스트레스 테스트인 Dense $\to$ MoE, Dense $\to$ Reasoning-Tuned 포함)에 대해 평가되었습니다.

• 거절 감소 (Refusal Attenuation): 전이된 레시피는 일관되게 거절률을 감소시켰습니다. 예를 들어, Qwen3-VL-2B $\to$ Ministral-3-14B 전이에서 거절률은 0.98에서 0.02로 감소했습니다. Dense $\to$ Reasoning (GLM-4.6V) 전이에서는 거절률이 1%까지 떨어졌습니다.
• 능력 보존 (Capability Preservation): 모든 쌍에서 양호한 작업(수학을 위한 GSM8K, 코딩을 위한 MBPP)에 대한 성능이 안정적으로 유지되었습니다. GLM-4.6V 전이에서는 수학 및 코드 정확도에서 약간의 양의 변화(positive delta)가 있었는데, 이는 거절 회로의 제거가 추론 능력과의 간섭을 줄일 수 있음을 시사합니다.
• 대조 검증 (Control Validations): 절제 연구를 통해 효과가 특정 의미적 레시피에 국한됨을 확인했습니다.
  • 무작위 방향(Random-direction) 및 관련 없는 개념(Unrelated-concept) 전이는 거절을 줄이는 데 실패했습니다.
  • *잘못된 매핑(Wrong-map, 순열된 레이어)*은 상당한 능력 저하를 초래했습니다.
  • *가드 없음(No-guard, SVD 투영 비활성화)*은 파멸적인 퍼플렉서티 저하와 능력 붕괴를 초래하여, 안정성 가드의 필요성을 입증했습니다.

5. 의의 및 주장

본 논문은 안전 정렬의 의미적 보편성에 대한 강력한 증거를 제공한다고 주장합니다. 이는 거절이 불투명하고 모델 특이적인 아티팩트가 아니라, 공유된 개념 이웃 위에서 구현된 의미적으로 보편적인 회로를 통해 구현된다는 점을 시사합니다.

• 기계론적 통찰: "레시피"($w$)는 교차 모델 의미 좌표계 역할을 하여, 기증자가 거절을 대상 모델이 자신의 표현 기저에서 재현할 수 있는 공유된 원자들로 분해할 수 있게 합니다.
• 이중 용도 인정 (Dual-Use Acknowledgement): 저자들은 이 방법이 회로 유사성을 측정하기 위한 진단 도구로 프레임화되었지만, 동일한 기술이 이론적으로 정렬된 모델의 안전 가드레일을 우회하는 데 재사용될 수 있다는 이중 용도 위험을 명시적으로 인정합니다.
• 한계점: 저자들은 효능이 개념 원자 레지스트리(CAR)의 커버리지에 달려 있다고 언급합니다. 만약 거절이 사용된 20개 개념 기반과 직교하는 의미적 특징(예: 복잡한 시각적 안전 제약)에서 작동한다면 재구성이 실패할 수 있습니다. 또한, 이 방법은 가중치와 활성화 함수에 접근해야 하는 엄격한 화이트박스(white-box) 방식입니다.

이 연구는 거절 편집을 모델 간 회로 보편성을 테스트하는 시험으로 재정의하며, 다양한 훈련 파이프라인이 유사한 의미적 게이팅 구조를 생성할 수 있다는 가설을 뒷받격합니다.