기술 요약: LLM 안전 조정을 위한 그래프 정규화 희소 오토인코더

1. 문제 정의

대규모 언어 모델 (LLM) 은 강력한 능력을 갖추고 있지만, 유해한 생성물을 유발하는 적대적 프롬프트와 탈옥 (jailbreak) 에 여전히 취약합니다. 효과적인 안전 메커니즘은 유해한 출력을 신뢰성 있게 차단하면서도 건전하고 이중 용도 (dual-use) 쿼리에 대한 유용성을 유지하는 두 가지 상충되는 요구 사항을 균형 있게 충족해야 합니다.

현재의 방어 기법은 다음과 같은 중대한 한계에 직면해 있습니다:

• 블랙박스 가드레일(예: 프롬프트 필터링, 출력 분류기) 은 모델의 내부 계산 바깥에서 작동하여 분포 변화 (distribution shifts) 하에서 취약하며 적응적 견고성이 부족합니다.
• 내부 기반 방법(예: 활성화 추가, 거절 방향) 은 숨겨진 표현에 직접 개입합니다. 그러나 표준 희소 오토인코더 (SAE) 를 포함한 이러한 접근법들의多く는 잠재적 특징들을 독립적으로 취급합니다. 이러한 독립성 사전 지식은 최근 연구들이 활성화 공간에서 분산된 비선형 구조에 의존한다고 시사하는 거절과 유해한 순응과 같은 고수준 안전 행동들과 잘 맞지 않습니다.

해결된 핵심 문제는 표준 SAE 가 약하게 정렬된 특징들 사이에서 일관된 안전 개념을 분할하여, 이를 통해 유도된 조정 방향의 안정성과 효과성을 저하시킨다는 점입니다.

2. 방법론

저자들은 뉴런 공동 활성화의 위상학을 통합함으로써 더 매끄럽고 구조적으로 일관된 안전 조정 방향을 학습하는 그래프 정규화 희소 오토인코더 (GSAE) 를 제안합니다. 이 방법은 세 가지 단계로 구성됩니다:

2.1 그래프 정규화 훈련 (GSAE)

저자들은 타겟 레이어의 뉴런 공동 활성화 그래프에 대한 라플라시안 매끄러움 패널티를 추가하여 표준 SAE 목적 함수를 확장합니다.

• 그래프 구성: 노드가 타겟 레이어의 뉴런을 나타내는 무방향 그래프 $G=(V, E)$가 구성됩니다. 간선 가중치는 안전 라벨이 지정된 프롬프트의 홀드아웃 집합에 대한 뉴런 활성화 프로파일의 임계값 처리된 코사인 유사도로 정의됩니다.
• 목적 함수: 훈련 손실은 재구성 오차, 희소성 ($L_1$), 선형 프로브를 통한 지도 분류 손실, 그리고 새로운 그래프 정규화 항을 결합합니다:
  $$L_{GSAE} = \|h - \hat{h}\|^2_2 + \lambda_{spar}\|z\|_1 + \lambda_{sup}L_{cls} + \lambda_{graph} \sum_{j=1}^k (W^{(d)}_{\cdot, j})^\top L W^{(d)}_{\cdot, j}$$
  여기서 $L$은 공동 활성화 그래프의 대칭 정규화 라플라시안입니다. 그래프 항은 강하게 공동 활성화하는 뉴런들 사이에서 급격하게 변하는 디코더 방향에 패널티를 부과하여, 학습된 사전 (dictionary) 을 안전 관련 패턴의 분산된 구조를 존중하는 저주파 고유 모드 (eigenmodes) 로 편향시킵니다.

2.2 조정 뱅크 구성

학습된 모든 특징이 조정에 적합한 것은 아닙니다. 저자들은 세 가지 독립적인 기준에 대해 디코더 방향을 점수화하여 선별된 "조정 뱅크"를 구성합니다:

1. 구조적 일관성 ($s_{coh}$): 뉴런 그래프 상에서 방향의 매끄러움 (낮은 디리클레 에너지) 을 측정합니다.
2. 예측 관련성 ($s_{rel}$): 안전 라벨을 예측하도록 훈련된 선형 프로브에서의 계수 크기입니다.
3. 개입 효능 ($s_{eff}$): 해당 방향이 적용되었을 때 모델 행동의 실제 변화 (유해성 감소 대 과도한 거절) 입니다.

방향은 이러한 지표들의 가중 기하 평균을 사용하여 점수화됩니다. 세 가지 기준 모두에서 우수한 성능을 보이는 방향만 최종 뱅크에 유지됩니다.

2.3 두 개의 게이트를 갖춘 런타임 조정

건전한 성능의 저하를 방지하기 위해 GSAE 는 두 개의 게이트가 있는 선택적 조정 파이프라인을 사용합니다:

• 입력 게이트: 생성 전에 프롬프트 수준의 위험 점수를 평가합니다. 위험이 높으면 즉각적인 거절을 트리거하고, 낮으면 조정을 없이 생성을 진행합니다.
• 연속 게이트: 생성 중 토큰 수준의 위험을 모니터링합니다. 위험이 높은 임계값을 초과할 때만 조정을 활성화하고, 위험이 낮은 임계값 아래로 떨어질 때만 (불안정한 전환을 방지하기 위해 히스테리시스를 사용하여) 조정을 비활성화합니다.
• 개입: 활성화될 때, 컨트롤러는 현재 숨겨진 상태와의 정렬도에 따라 가중된 조정 뱅크 방향들의 합을 빼서 숨겨진 상태에 교정적 시프트를 적용합니다.

3. 주요 기여

1. GSAE 목적 함수: 표준 SAE 의 독립성 사전 지식의 한계를 해결하기 위해 뉴런 공동 활성화 그래프 상의 매끄러움을 강제하는 그래프 정규화 SAE 목적 함수의 도입.
2. 선택적 조정 파이프라인: 일관성, 관련성, 효능의 다중 기준 뱅크 구성 방법과 선택적 개입을 보장하는 두 개의 게이트 (입력 및 연속) 런타임 컨트롤러를 결합한 개발.
3. 실증적 분리: 그래프 정규화가 다운스트림 게이팅이나 뱅크 구성의 이점과 구별되어 SAE 유래 개입 방향의 품질을 구체적으로 향상시킨다는 것을 보여주는 통제된 절단 (ablation) 연구.

4. 실험 결과

이 방법은 주로 Llama-3-8B-base에서 평가되었으며, Mistral 7B, Qwen 2.5 14B, Phi-4 15B 에서의 교차 모델 검증이 수행되었습니다.

• 안전 성능: JailbreakBench에서 표준 SAE 를 GSAE 로 교체 (나머지 파이프라인은 동일) 했을 때, 선택적 거절 점수 ($\Delta s = HRR - SRR$) 가 20.1 점 (58.8% 에서 78.9% 로) 향상되었습니다. HarmBench(+16.8 점) 와 XSTest에서도 유사한 향상이 관찰되었습니다.
• 기선 대비 비교: GSAE 는 활성화 조정 기선 (예: CAA, SafeSwitch) 과 블랙박스 가드레일 (예: Llama Guard 입력 + 출력) 보다 우수한 성능을 보였으며, 동등하거나 더 나은 처리량을 유지했습니다.
• 유용성 보존: 이 방법은 건전한 작업 성능을 보존하여, 조정되지 않은 기선에 비해 유용성 벤치마크 (TriviaQA, GSM8K, TruthfulQA) 에서 평균적으로 4.2 점의 소폭 감소만 보였습니다.
• 일반화: 성능 향상은 Mistral, Qwen, Phi 등 서로 다른 모델 아키텍처 간에 전이되었습니다.
• 견고성: GSAE 는 블랙박스 (AutoDAN, TAP) 및 그레이박스 (GCG) 탈옥 공격 하에서도 강하게 유지되었습니다. 그러나 조정 인식 화이트박스 스트레스 테스트(공격자가 뱅크 벡터와 게이트 임계값에 접근할 수 있는 경우) 에서는 견고성이 약화되어 유해 거절률 (HRR) 이 51.9% 로 하락했습니다.
• 메커니즘 분석: 진단 프로브는 GSAE 가 단순히 숨겨진 상태를 건전해 보이는 영역 (안전 중심점 이동) 으로 이동시키는 것이 아니라 명시적인 거절 궤적을 활성화한다는 것을 나타냈습니다.

5. 중요성 및 주장

이 논문은 그래프 정규화가 SAE 로부터 안전 조정 방향을 학습하는 데 있어 중요한 귀납적 편향이라고 주장합니다. 주요 발견은 LLM 의 안전 행동이 분산되어 있고 비선형적이라는 점이며, 공동 활성화 뉴런에 대한 구조적 매끄러움을 강제함으로써 안전 개념의 분열을 방지하여 더 효과적인 개입 방향을 이끌어낸다는 것입니다.

저자들은 그들의 기여가 통제되고 기능적임을 강조합니다. 즉, 일치된 다운스트림 파이프라인 하에서 그래프 항으로부터 얻은 구체적인 개선을 분리해 냅니다. 그들은 거절의 완전한 메커니즘 회로를 발견했다고 주장하는 것이 아니라, 그래프 정규화된 방향이 선택적 조정을 위한 우수한 기반을 제공한다고 주장합니다.

이 연구는 실용적인 배포 트레이드오프를 강조합니다: 완전한 두 게이트 컨트롤러는 modest 한 지연 비용으로 토큰 수준의 정밀도를 제공하는 반면, 입력 게이트 전용 변형은 더 낮은 오버헤드로 안전 향상의 대부분을 유지합니다. 저자들은 한계를 인정하며, 이 방법은 숨겨진 상태 접근 (open-weight 모델) 이 필요하며, 분포 변화에 적응하지 못할 수 있는 고정된 공동 활성화 그래프에 의존하며, 조정 내부를 노출시키는 화이트박스 공격에 취약하다고 지적합니다.