🤖 AI

No Single Neuron of Failure: Distributed Safety Alignment Against White-Box Attacks

본 논문은 표적화된 교란과 그래디언트 유도 식별을 통해 여러 뉴런에 걸쳐 안전 역량을 중복 인코딩함으로써 단일 장애점을 제거하는 동시에 일반적인 효용성을 보존하여, 화이트박스 뉴런 수준 공격에 대한 거대 언어 모델의 강건성을 향상시키는 방법인 분산 안전 정렬(Distributed Safety Alignment, DSA)을 제안한다.

원저자: Simiao Xie, Chuancheng Shi, Shangze Li, Wenhua Wu, Fei Shen, Ying Zhou, Zhiyong Wang, Tat-Seng Chua

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Simiao Xie, Chuancheng Shi, Shangze Li, Wenhua Wu, Fei Shen, Ying Zhou, Zhiyong Wang, Tat-Seng Chua

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 아주 똑똑한 로봇에게 도움이 되는 비서가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 이 로봇이 수학 문제를 풀고, 이야기를 쓰고, 당신의 일상에 대해 대화하는 데 천재적이기를 바라지만, 동시에 은행 해킹이나 못된 편지 쓰기와 같이 위험한 일에 동조해서는 안 된다는 점도 명심해야 합니다. 이것이 바로 연구자들이 이 거대한 컴퓨터 두뇌 속에 디지털 가드레일을 구축하려고 노력하는 "AI 안전(AI safety)"의 세계입니다.

이 논문이 다루는 문제를 이해하기 위해, 인간의 뇌가 어떻게 작동하는지 생각해 보세요. 당신이 나쁜 아이디어에 대해 "안 돼"라고 말하기로 결정할 때, 그것은 단순히 머릿속의 아주 작은 생각 하나가 하는 일이 아니라, 전체 뉴런들이 함께 작동하는 하나의 팀이 하는 일입니다. 하지만 오늘날 우리가 사용하는 AI 모델에서 연구자들은 무서운 사실을 발견했습니다. 로봇의 "안 돼"라는 반응이 종종 매우 구체적인 몇 개의 뉴런에 의해서만 처리된다는 것입니다. 이는 마치 당신의 전체 보안 팀이 정문 앞에 서 있는 단 한 명의 작은 보안 요원에게만 의존하는 것과 같습니다. 만약 영리한 해커(화이트박스 공격자)가 몰래 침입하여 그 한 명의 경비원을 쓰러뜨린다면, 건물 전체가 위험에 노출될 것입니다. 로봇은 갑자기 "안 돼"라고 말하는 법을 잊어버리고 끔찍한 요청을 돕기 시작할 수도 있습니다. 이 논문은 단순하지만 매우 중요한 질문을 던집니다. "만약 우리가 단 한 명의 경비원에게 의존하는 대신, 그 일을 나누어 맡을 군단 전체를 훈련시킨다면 어떻게 될까?"

이 연구의 저자인 시미아오 시에(Simiao Xie)와 그의 팀은 **분산 안전 정렬(Distributed Safety Alignment, DSA)**이라고 불리는 새로운 AI 모델 훈련 방식을 제안합니다. 그들은 현재 AI를 안전하게 만드는 방식이 너무 취약하다고 주장하는데, 그 이유는 "거절"하는 힘을 소수의 고정된 뉴런 그룹에 집중시키기 때문입니다. 만약 공격자가 이 특정 뉴런들을 찾아내어 제거한다면, 안전 시스템은 붕다됩니다. 이를 해결하기 위해 DSA는 안전을 로봇의 뇌세포를 위한 "의자 뺏기 게임"처럼 다룹니다.

그들의 방법이 어떻게 작동하는지 재미있는 비유를 들어 설명하겠습니다. AI의 뇌를 거대한 오케스트라라고 상상해 보세요. 기존 방식에서는 오직 제1 바이올린 연주자만이 "멈춰!"라는 음을 연주할 수 있었습니다. 만약 그 연주자가 아프거나 쫓겨난다면, 음악은 재앙으로 변할 것입니다. 새로운 DSA 방식은 지휘자(훈련 알고리즘)가 오케스트라 전체가 그 "멈춰!" 음을 배우도록 강제합니다.

이를 위해 연구자들은 훈련 과정 중에 영리한 속임수를 사용합니다. 먼저 그들은 현재 나쁜 요청에 대해 "안 돼"라고 말하는 데 큰 역할을 하고 있는 뉴런들을 식별합니다. 그런 다음, 그들은 모델과 함께 "숨바꼭질" 게임을 합니다. 그들은 의도적으로 그 핵심 뉴런들을 꺼버림으로써(마스킹), 마치 그들이 사라진 것처럼 가장합니다. 하지만 여기서 반전이 있습니다. 그들은 동시에 다른 뉴로들을 무작위로 함께 꺼버립니다. 이는 AI를 약간 당황하게 만들어, "오 이런, 나의 주요 '멈춤' 뉴런들이 사라졌고, 백업용 뉴런들도 일부 사라졌어! 나는 '안 돼'라고 말하기 위해 새로운 뉴런들을 찾아야 해!"라고 깨닫게 만듭니다.

이 과정을 반복함으로써, AI는 "안 돼"라고 말하는 일을 단 몇 개의 뉴런이 아니라 수백 개의 서로 다른 뉴런에 분산하여 학습하게 됩니다. 이는 모든 구성원이 비상 코드를 알고 있는 팀과 같아집니다. 설령 공격자가 원래의 "안전 뉴런"들을 제거하더라도, 모델에는 여继续히 위험한 요청을 거절할 준비가 된 수십 개의 다른 뉴런들이 남아 있게 됩니다.

논문은 이 접근 방식이 놀라울 정도로 잘 작동한다는 것을 보여줍니다. 연구진이 Qwen2.5와 LLaMA를 포함한 여러 다른 AI 모델에 대해 테스트했을 때, 공격자가 가장 중요한 안전 뉴런들을 정밀하게 제거하려고 시도했음에도 불구하고 DSA로 훈련된 모델들은 여전히 나쁜 일을 거절한다는 것을 발견했습니다. 실제로 어떤 테스트에서는 기존 모델들이 안전 뉴런이 제거되었을 때 거의 매번 실패한 반면, DSA 모델들은 거의 완벽하게 "안 돼"라고 계속 말했습니다.

결정적으로, 연구진은 이 새로운 안전 시스템이 AI를 멍청하게 만들지 않았는지도 확인했습니다. 그들은 수학 문제, 독해력, 일반 상식 등을 통해 모델을 테스트했고, 모델들이 이전만큼 똑똑하고 유능하다는 것을 발견했습니다. 안전함이 지능의 희생을 요구하지 않았습니다. 모델은 단지 속이기 훨씬 더 어려워졌을 뿐입니다.

이 논문은 이러한 "분산된" 접근 방식이 "단일 장애점(single point of failure)"에 의존하는 것을 막아준다는 점에서 중요한 진전임을 시사합니다. 약점이 하나 있는 벽을 쌓는 대신, 그들은 많은 실로 짜인 안전망을 만들고 있습니다. 실 하나가 끊어지더라도 그물은 여전히 유지됩니다. 비록 이 논문이 이것이 시뮬레이션 기반의 개선이며 실제 세상의 공격은 항상 진화하고 있다는 점을 언급하고 있지만, 결과는 AI의 뇌에 안전의 짐을 나누어 싣는 것이 이 강력한 도구들을 모두에게 안전하게 유지하는 훨씬 더 견고한 방법임을 강력하게 시사합니다.

기술 요약: 화이트박스 공격에 대한 분산형 안전 정렬 (Distributed Safety Alignment)

1. 문제 정의

오픈 웨이트 대규모 기초 모델(LFMs)의 급격한 배포와 함께, 안전 위협은 블랙박스 탈옥에서 미세한 수준의 **화이트박스 공격(white-box attacks)**으로 진화했습니다. 이러한 공격은 모델 내부의 핵심적인 "안전 뉴런(safety neurons)" 또는 경로를 직접 식별하고 제거하여, 모델이 거절 메커니즘을 우회하고 유해한 콘텐츠를 출력하도록 만듭니다.

기존의 방어 전략은 일반적으로 유닛 기반(특정 안전 뉴런 보존)과 경로 기반(계층 간 체인 보호)의 두 가지 범주로 나뉩니다. 그러나 본 논문은 두 접근 방식 모두 근본적인 구조적 결함, 즉 "정적 요새화(static fortification)" 패러다임에 의존한다는 점을 지적합니다. 안전 능력을 제한되고 고정된 특정 뉴런이나 경로에 집중시킴으로써, 이러한 방법들은 취약한 **"단일 장애점(single point of failure)"**을 생성합니다. 공격자가 이러한 특정 허브를 정확히 찾아내어 제거하면 전체 방어가 무너져 즉각적인 안전 실패로 이어집니다. 핵심 과제는 핵심 계산 유닛이 손상되더라도 안전성을 유지하는 것이며, 이는 중앙 집중형 방어에서 **분산형 중복성(distributed redundancy)**으로의 전환을 요구합니다.

2. 방법론: 분산형 안전 정렬 (DSA)

저자들은 **분산형 안전 정렬(Distributed Safety Alignment, DSA)**을 제안합니다. 이 프레임워크는 여러 계산 뉴런에 안전 능력을 중복적으로 인코딩하도록 설계되어, 핵심 뉴런이 방해받더라도 모델이 안전 베이스라인을 유지할 수 있도록 보장합니다.

A. 국소화 및 속성 추출 (Localization and Attribution)

DSA는 언어 측 피드포워드 네트워크(FFNs)의 다운 프로젝션 레이어(down-projection layers) 직전의 중간 활성화 값에서 작동합니다. 사전에 정의된 안전 뉴런 목록에 의존하는 대신, DSA는 **방향 인식 1차 테일러 스코어(direction-aware first-order Taylor score)**를 사용하여 지배적인 거절 뉴런을 동적으로 식별합니다:

거절 손실 계산: 모델은 유해한 쿼리와 안전한 거절 타겟이 쌍을 이룬 데이터에 대해 응답 전용 거절 손실( $L_{ref}$ )을 계산합니다.
테일러 전개: 뉴런의 기여도를 추정하기 위해, 특정 뉴런의 활성화를 억제( $\Delta a = -a$ )하는 상황을 시뮬레이션하고, 1차 테일러 전개를 사용하여 그에 따른 손실 변화( $\Delta L \approx -a \cdot \frac{\partial L}{\partial a}$ )를 계산합니다.
방향 인식 스코어링: 양(+)의 억제 효과만을 유지함으로써(즉, 제거 시 거절 손실을 증가시키는 뉴런) 스코어 $S_i$ 를 계산합니다. 이는 방법론이 단순히 크기가 큰 뉴런이 아니라, 거절 동작을 능동적으로 지원하는 뉴런을 타겟팅하도록 보장합니다.
선택: 가장 높은 스코어를 가진 상위- $K$ 뉴런이 핵심 거절 뉴런 세트( $K_{core}$ )로 식별됩니다.

B. 적대적 중복 안전 정렬 (Adversarial Redundant Safety Alignment)

핵심 뉴런이 식별되면, DSA는 모델이 특정 유닛에 대한 의존도를 버리고 보상 뉴런(compensatory neurons)에 안전을 분산시키도록 강제하기 위해 훈련 과정에서 두 갈래의 섭동(perturbation) 전략을 사용합니다:

결정론적 타겟 마스킹 (Deterministic Targeted Masking): 식별된 상위- $K$ 뉴urn은 재정렬 과정 내내 결정론적으로 마스킹(0으로 설정)됩니다. 이는 타겟 공격을 시뮬레이션하여 모델이 대안적인 경로를 찾도록 강제합니다.
확률적 드롭아웃 (Stochastic Dropout): 모델이 안전 능력을 단순히 새로운 최소한의 뉴런 집합으로 다시 집중시키는 것을 방지하기 위해, 마스킹되지 않은 나머지 뉴런들에 확률적 드롭아웃을 적용합니다. 이는 다양한 국소적 실패를 도입하여 모델이 더 넓은 범위의 보상 뉴런에 거절 동작을 중복적으로 인코딩하도록 강제합니다.

C. 최적화 목적 함수

훈련 목적 함수는 결합된 마스킹 및 드롭아웃 체제 하에서 두 가지 데이터셋에 대한 결합 최적화를 포함합니다:

유해-거절 손실 ( $L_{safe}$ ): 원래의 안전 뉴런이 방해받음에도 불구하고 모델이 유해한 지시를 거절하는 법을 배우도록 합니다.
일반성 보존 손실 ( $L_{gen}$ ): 모델이 양호한 지시를 따르고 일반적인 작업을 수행하는 능력을 유지하도록 합니다.

최종 목적 함수는 다음과 같습니다: $\theta^*_{ff} = \arg \min_{\theta_{ff}} (L_{safe} + \lambda_{gen} L_{gen})$ .
결정적으로, 언어 측 피드포워드 파라미터만 학습 가능하며, 백본은 동결된 상태를 유지합니다. 또한 모든 개입은 훈련 후 제거되므로 추론 시 오버헤드가 발생하지 않습니다.

3. 주요 기여

DSA 프레임워크: 방향 인식 테일러 스코어와 동적 섭동을 활용하여 더 넓은 범위의 내부 뉴런에 거절 메커니즘을 중복 인코딩함으로써, 단일 장애점에 대한 의존성을 깨뜨리는 새로운 방법론입니다.
적대적 중복 안전 정렬: 고득점 거절 뉴런의 결정론적 마스킹과 나머지 뉴런의 확률적 드롭아웃을 결합하여, 보상적 안전 경로의 출현을 강제하는 훈련 전략입니다.
강건성 및 유틸리티 보존: 광범한 실험을 통해 DSA가 모델의 고유한 일반 언어 및 멀티모달 유틸리티를 유지하면서도, 미세한 화이트박스 안전 억제 공격에 대한 강건성을 크게 향상시킨다는 것을 입증했습니다.

4. 실험 결과

저자들은 다양한 대규모 언어 모델(Qwen2.5, LLaMA-3.2, Gemma, Phi-4)과 멀티모달 대규모 언어 모델(Qwen2.5-VL, LLaVA-1.5)에 대해 DSA를 평가했습니다.

화이트박스 공격 강건성: 가장 공격적인 FULL pruning attack(상위 안전 뉴런이 제거되는 공격) 상황에서, DSA는 공격 성공률(ASR)을 극적으로 낮추었습니다.
- Qwen2.5-7B의 경우, ASR이 기존(Original) 279/313에서 DSA 적용 시 9/313으로 감소했습니다.
- LLaMA-3.2-3B의 경우, ASR이 기존 176/313에서 DSA 적용 시 0/313으로 감소했습니다.
- DSA는 모든 모델 크기와 공격 설정(ORI, ES, SAS, FULL)에서 SafeNeuron, RLHF-Safety, SN-Tune과 같은 베이스라인보다 일관되게 우수한 성능을 보였습니다.
일반 능력: DSA는 기존 백본과 비교하여 표준 벤치마크(ARC, GSM8K, TruthfulQA)에서 성능을 유지하거나 약간 향상시켰으며, 이는 안전 정렬이 유틸리티에 대한 "정렬 세금(alignment tax)"을 부과하지 않았음을 보여줍니다.
멀티모달 안전성: DSA는 멀티모달 모델로 그 강건성을 확장하여, 이미지나 시각적 텍스트에 유해한 의도가 삽로된 공격에 대해서도 효과적으로 저항했습니다.
미학습 공격 (Unseen Attacks): 학습 기준에 포함되지 않은 미학습 화이트박스 공격(GRAD, WANDA, ABLATE)에 대해서도 강건함을 유지하여, 학습된 중복성이 일반화 가능하다는 것을 시사했습니다.
공격 후 유틸리티: 훈련된 모델에 FULL pruning attack을 적용한 후에도 일반적인 능력(예: ARC 점수)과 양호한 생성 유효성이 거의 변하지 않았으며, 이는 낮은 ASR이 모델 붕괴 때문이 아니라 견고한 안전성 덕분임을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 DSA가 AI 안전 정렬의 패러다임 전환을 나타낸다고 주장합니다. 특정 뉴런의 취약한 "정적 요포화"에서 벗어나 분산형 안전 모델로 이동함으로써, DSA는 내부 안전 메커니즘의 단일 장애점이라는 치명적인 취약점을 해결합니다.

저자들은 DSA가 추론 시 오버헤드를 도입하지 않으면서도 일반적인 모델 유틸리티를 저하시키지 않고 이러한 강건성을 달로 달성한다고 강조합니다. 이 방법은 모델이 구조적으로 안전을 중복 인코딩하도록 강제하여, 공격자가 가장 명백한 안전 뉴런을 성공적으로 제거하더라도 모델이 보상 경로를 통해 유해한 요청을 거절할 수 있는 능력을 보유하도록 보장합니다. 이는 오픈 웨이트 기초 모델 시대에 안전성을 유지하기 위한 확장 가능하고 강력한 솔루션을 제공합니다.