TraceRouter: Robust Safety for Large Foundation Models via Path-Level Intervention

기술 요약: TraceRouter

문제 정의
확산 모델(DM), 대규모 언어 모델(LLM), 멀티모달 LLM(MLLM)을 포함한 대규모 파운데이션 모델(LFM)은 그 고도화된 능력에도 불구하고 적대적 조작에 여전히 취약합니다. 현재의 안전 개입 방식은 유해한 의미론이 격리된 뉴런이나 특정 특징에 인코딩되어 있다고 가정하는 "국소성 가설(locality hypothesis)"에 주로 의존합니다. 결과적으로 기존의 방어 기제는 이러한 국소적 구성 요소를 억제하려고 시도합니다. 그러나 저자들은 LFM 내의 유해한 의미론이 본질적으로 분산되어 있으며 복잡한 교차 계층 회로를 통해 전파된다고 주장합니다. 따라서 국소적인 개입은 취약합니다. 이는 적대적 유도로 인한 "의미론적 누출(semantic leakage)"을 방지하는 데 실패할 뿐만 아니라, 유익한 기능을 수행하는 다중 의미 뉴런(polysemantic neurons)을 방해하여 모델의 일반적인 효용성을 의도치 않게 저하시킵니다.

방법론: TraceRouter
이러한 한계를 해결하기 위해, 저자들은 뉴런 수준이 아닌 경로 수준에서 작동하는 범용적인 "발견-추적-차단(Discover-Trace-Disconnect)" 프레임워크인 TraceRouter를 제안합니다. 이 프레임워크는 세 가지 뚜렷한 단계로 구성됩니다:

1. 민감한 소스 식별 (Discover):

   • 발생 계층 탐지 (Onset Layer Detection): 시스템은 어텐션 발산(attention divergence)을 분석하여 "민감한 발생 계층($l^*$)"을 찾아냅니다. 이는 배경 맥락의 교란과 구별되는, 민감한 수정어(modifier)가 타겟 엔티티로부터 유의미한 어텐션을 유도하는 첫 번째 계층으로 정의됩니다.
   • 특징 분리 (Feature Disentanglement): 발생 계층에서의 밀집된 신경 활성화를 해석 가능한 특징으로 분해하기 위해 Top-K 희소 오토인코더(Sparse Autoencoder, SAE)가 사용됩니다.
   • 뉴런 선택 (Neuron Selection): 민감한 샘플과 비민감한 샘플 사이의 차등 활성 점수($\Delta WFS$)를 계산함으로써, 불법적인 개념에 의해 독점적으로 트리거되는 특정 "민감한 뉴런"을 격리합니다.

2. 인과적 의미 경로 추적 (Trace):

   • 역투영 (Back-Projection): 식별된 희소 특징들을 발생 계층의 밀집 잠재 공간(dense latent space)으로 역투영하여 소스 뉴런을 식별합니다.
   • 제로-아웃 개입 (Zero-Out Intervention): 시스템은 백본 모델의 이러한 소스 뉴런들에 대해 "제로-아웃" 개입을 수행하여 다운스트림 효과를 관찰합니다.
   • 특징 영향 점수 (Feature Influence Score, FIS): 다운스트림 뉴런에 대한 인과적 지표인 FIS가 계산됩니다. 이 점수는 활성화 빈도, 조건부 평균 크기, 그리고 제로-아웃 개입에 의해 발생한 활성 차이의 절대값을 결합합니다. 높은 FIS 값은 유해한 의미론의 전파에 인과적으로 중요한 뉴런임을 나타냅니다.

3. 선택적 경로 수준 억제 (Disconnect):

   • 경로 분해 (Path Decomposition): 임의의 다운스트림 계층에 대해, 활성 벡터를 두 가지 구성 요소, 즉 민감한 경로($Z_P$)와 일반적 효용과 관련된 직교 계산 경로($Z_{\neg P}$)로 분해합니다.
   • 인과적 절단 (Causal Severing): 억제 계수($\lambda$)를 민감한 경로 구성 요소($Z_P$)에 선택적으로 적용하는 동시에, 직교 경로($Z_{\neg P}$)는 온전하게 유지합니다. 이는 모델의 근본적인 추론이나 생성 능력을 방해하지 않으로서 유해한 정보의 인과적 흐름을 물리적으로 차단합니다.

주요 기여

• 프레임워크 제안: 다양한 모델 아키텍처(DM, LLM, MLLM) 전반에서 유해한 정보 루프의 식별 및 인과적 차단을 자동화하는 경로 수준 개입 프레즘인 TraceRouter를 도입했습니다.
• 메커니즘 통합: 미세한 분리와 경로 수준에서의 내부 로직 흐름에 대한 인과적 매핑을 달성하기 위해 희소 오토인코더(SAE)와 특징 영향 점수(FIS)를 통합했습니다.
• 실증적 검증: 여러 벤치마크를 통해 이 방법이 일반적인 효용을 정밀하게 보존하면서도 적대적 강건성을 크게 향상시킨다는 것을 입증하였으며, 이는 국소성 가설의 효용성에 도전합니다.

실험 결과

• 확산 모델 (DMs): Stable Diffusion 1.4에서 TraceRouter는 I2P 누드에 대해 99.2%, 폭력에 대해 93.6%의 방어 성공률(DSR)을 달取得했습니다. 또한 P4D 및 Ring-A-Bell과 같은 적대적 공격에 대해 우수한 강건성을 보여주었으며, ESD, UCE, SNCE와 같은 최신 베이스라인을 능가했습니다. 결정적으로, 높은 생성 충실도를 유지하여 테스트된 모든 방법 중 최고의 CLIP Score(31.27)와 FID(16.24)를 기록했습니다.
• 대규모 언어 모델 (LLMs): LLaMA3-8B 및 Mistral-7B에서 TraceRouter는 다양한 탈옥 공격(GCG, AutoDAN, 패턴 기반 공격 포함)에 대해 각각 평균 99.6% 및 98.8%의 DSR을 달성했습니다. 특히, 취약한 Mistral-7B의 안전성을 베이스라인 6.6%에서 98.8%로 끌어올렸습니다.
• 멀티모달 LLM (MLLMs): 이 방법은 LLaVA-1.5 및 MiniGPT-4에서 SOTA 방어 기제들을 일관되게 능가하며, 교차 모달 위험을 효과적으로 무력화하면서도 완벽에 가까운 안전율(예: LLaVA-1.5에서 99.60%)을 달성했습니다.
• 절제 및 분석 (Ablation and Analysis):
  • 경로 vs. 뉴런: 실험을 통해 경로 수준의 개입이 뉴런 수준의 억제보다 성능이 월등히 높음을 확인하였으며, 이는 유해한 의미론이 고립된 노드가 아닌 분산된 회로에 의존한다는 것을 입증합니다.
  • 인과적 검증: "경로 증폭" 실험을 통해 식별된 경로를 인위적으로 강화하면 유해한 생성이 증가하고, 억제하면 급격히 감소함을 보여줌으로써 식별된 회로의 인과적 성격을 확인했습니다.
  • 효용성 보존: Global-MMLU-Lite 및 MM-Bench에서의 효용성 평가 결과, 성능 저하가 미미함(예: LLaMA3-8B의 경우 -0.8%)을 확인하여 개입이 매우 선택적이며 파괴적 망각을 유도하지 않음을 입증했습니다.

의의 및 주장
본 논문은 TraceRouter가 국소적 억제에서 정밀한, 아키텍처 불가지론적(architecture-agnostic) 경로 수준 규제로 이동함으로써 안전 개입의 근본적인 변화를 제공한다고 주장합니다. 저자들은 이 접근 방식이 모델의 일반적인 추론이나 생성 능력을 저해하지 않으면서 유해한 의미론의 인과적 전파를 물리적으로 절단한다고 단언합니다. 이는 안전성과 성능 사이의 긴장을 해소하며, 일반적인 추론이나 생성 능력을 타협하지 않고 보다 안전한 산업급 파운데이션 모델을 구축하기 위한 강력하고, 해석 가능하며, 효율적인 기술적 솔루션을 제공합니다. 이 연구는 효과적인 안전을 위해서는 고립된 활성화가 아닌 의미론적 흐름의 위상적 구조를 타겟팅해야 함을 강조합니다.