기술 요약: 용량 오버플로(Capacity Overflow): Vision MoE의 백도어 공격에 대한 사각지대

문제 정의

Vision Mixture-of-Experts (MoE) 아키텍처는 희소 연산(sparse computation)을 활용하여 Vision Transformer (ViT)를 효율적으로 확장하는 표준 패러다임이 되었습니다. 계산 안정성을 보장하고 전문가 과부하를 방지하기 위해, 이 모델들은 **용량 제한 토큰 디스패치 메커니즘(capacity-bounded token dispatch mechanism)**을 채택합니다. 이 메커니즘은 사전 정의된 용량 계수($cf$)와 추론 배치 크기($N$)를 기반으로 각 전문가가 처리할 수 있는 토큰 수를 제한합니다. 할당된 토큰 수가 전문가의 용량 한도를 초과하면, 초과된 토큰들은 결정론적으로 드롭(drop)되며 잔차 연결(residual connection)을 통해 전문가 연산을 우회합니다.

저자들은 이러한 배치 의존적 동작이 간과되었던 새로운 공격 표면임을 지적합니다. 기존의 백도어 방어 기법들은 상세한 분석(예: 트리거 재구성 또는 샘격별 검사)을 용이하게 하기 위해 일반적으로 소규모 배치 설정에서 작동하지만, 이는 백도어 동작이 정적이며 추론 부하와 독립적이라는 가정을 내포하고 있습니다. 본 논문은 Vision MoE의 동적인 토큰 드롭 특성이 "체계적인 사각지대"를 생성하며, 이로 인해 악성 동작이 표준 보안 감사 중에는 잠복해 있다가 고동시성(high-concurrency) 및 대규모 배치 배포 시나리오에서 활성화될 수 있다고 주장합니다.

방법론: 용량 오버플로 공격

제안된 공격인 **용량 오버플로(Capacity Overflow)**는 MoE 토큰 디스패치에 내재된 자원 경합을 악용하는 은밀한 공급망 백도어입니다. 이 공격은 외부 트리거 나 하드웨어 조작 없이 오직 추론 병렬성(배치 크기)에 의해서만 활성화되는 조건부 백도어를 생성하도록 설계된 3단계 프레임워크를 통해 작동합니다.

1. 삽입 단계 (Implantation Phase)

공격자는 타겟 클래스에 매핑된 고정된 시각적 트리거(예: 패치)를 사용하여 소량의 학습 데이터(20–25%)를 오염시킵니다.

• 위치: 백도어는 초기 MoE 레이어에 삽입됩니다.
• 메커니즘: 백도어 MoE 레이어의 파라미터와 그 직전의 어텐션 블록만을 업데이트합니다. 라우터와 후속 레이어는 동결(frozen) 상태를 유지합니다.
• 목표: 중간 표현(intermediate representations) 단계에서 트리거 패턴과 타겟 클래스 사이의 강력한 연관성을 구축하는 것입니다.

2. 은닉 단계 (Concealment Phase)

표준 워크로드(소규모 배치) 하에서 모델이 정상적으로 동작하도록 하기 위해, 심층 MoE 레이어에 **중화기(neutralizer)**를 학습시킵니다.

• 메커니즘: 중화기는 클린 참조 모델(clean reference model)에 대한 **KL 증류(KL distillation)**를 통해 백도어 신호를 억제하도록 학습됩니다.
• 핵적인 제약 사항: 중화기의 라우터는 학습 중에 동결되며, 학습은 명목 용량 계수($cf \approx 1.05$)에서 수행됩니다. 이는 중화기가 모든 라우팅된 토큰이 처리될 때만 백도어를 억제하도록 학습됨을 보장합니다.
• 취약성: 라우터가 동결되어 있기 때문에 중화기는 토큰 드롭에 적응할 수 없습니다. 만약 용량 오버플로로 인해 토큰이 드롭되면, 중화기는 불완전한 정보를 받게 되어 억제 체인이 깨지게 됩니다.

3. 활성화 단계 (Activation Phase)

추가적인 학습은 필요하지 않습니다. 공격자는 중화기의 취약성을 이용하도록 배포 환경을 구성합니다.

• 배치 적응형 용량 계수: 공격자(또는 모델 제공자)는 품질 보존을 위해 소규모 배치에서는 높은 $cf$를 설정하고, 처리량 향상을 위해 대규모 배치에서는 낮은$cf$를 설정하는 구성을 적용합니다.
• 상승식 디스패치 순서: 토큰은 우선순위가 낮은 순서대로 디스패치됩니다. 대규모 배치에서 오버플로가 발생하면, 가장 정보량이 많은 토큰(중화기의 기능에 필수적인 토큰)이 먼저 드롭됩니다.
• 결과:
  • 잠복 모드 (소규모 배치): 높은 $cf$가 오버플로를 방지하여 중화기가 정상 작동하고 백도어를 억제합니다.
  • 활성화 모드 (대규모 배치): 낮은 $cf$가 토큰 오버플로를 유도하여 중화기를 우회시키고, 백도어가 악성 출력을 트리거하게 합니다.

주요 기여

1. 새로운 공격 벡터: 외부 신호가 아닌 추론 시점의 자원 경합(토큰 오버플로)에 의해 활성화되는 Vision MoE 모델 대상의 조건부 백도라인 용량 오버플로를 도입하였습니다.
2. 3단계 프레임워크: 배치 크기에 따라 정상 상태와 악성 상태 사이의 급격한 행동 변화를 달성하기 위해 백도어 삽입과 용량 의존적 중화기를 결합한 방법론을 제시하였습니다.
3. 포괄적 평가: V-MoE 및 Swin-MoE를 ImageNet-100 및 GTSRB 데이터셋에 대해 실험하였습니다.
   • 공격 성공률 (ASR): 활성화 모드(대규모 배치)에서 **76–87%**를 달s성한 반면, 잠복 ASR은 9% 미만으로 유지하였습니다.
   • 클린 정확도: 공격은 공격받지 않은 베이스라인과 비교하여 클린 정확도 저하를 최소화했습니다(≤1.3 퍼센트 포인트).
4. 방어 회피: 본 공격은 Neural Cleanse, STRIP, Fine-Pruning, Activation Clustering과 같은 최신 방어 기법을 성공적으로 회피했습니다. 이러한 방어 기법들은 중화기가 백도어를 효과적으로 마스킹하는 "잠복 모드"(소규모 배치)에서 작동하기 때문에 실패합니다.

결과 및 성능

실험 결과, 이 공격은 매우 효과적이며 은밀합니다:

• 전이 임계값: 용량 계수가 감소함에 따라 공격 성공률이 단조 증가합니다. $cf \approx 0.8$(잠복)과 $cf \approx 0.3$(활성화) 사이에서 급격한 전이가 발생합니다.
• 아키텍처별 특성: Swin의 윈도우 기반 어텐션이 드롭된 토큰을 일부 보완하는 지역적 중복성을 제공하기 때문에, V-MoE가 Swin-MoE(76.0–83.5%)보다 더 높은 활성화 ASR(최대 87.0%)을 보였습니다.
• 방어 견고성: 방어 평가에서 Neural Cleanse의 이상 지수는 탐지 임계값 미만으로 유지되었거나(또는 비타겟 클래스에 대한 위양성을 발생시킴), 활성화 클러스터링은 중화기에 의한 표현 정렬로 인해 오염된 샘플과 클린 샘플을 분리하는 데 실패했습니다.

의의 및 시사점

본 논문은 용량 오버플로가 확장 가능한 Vision MoE 아키텍처의 배치 의존적 실행에서 발생하는 근본적인 보안 위험을 드러낸다고 주장합니다.

• 체계적 사각지대: 저자들은 소규모 배치 검사에 의존하는 현재의 보안 평가 관행이 MoE 모델에 대해 "잘못된 안전감"을 제공한다고 주장합니다. 이 취약점은 특정 탐지기의 결함이 아니라, 로드 의존적 동작을 고려하지 못한 위협 모델의 공백에서 기인합니다.
• 실용성: 이 공격은 표준적인 배포 구성(처리량을 위한 용량 계수 조정)을 활용하며 특수한 하드웨어나 외부 트리거를 요구하지 않으므로 공급망 공격으로서 매우 실용적입니다.
• 행동 촉구: 본 연구 결과는 MoE 모델의 보안 감사가 토큰 드롭 및 용량 오버플로 레짐을 명시적으로 테스트하는 **워크로드 인식 감사(workload-aware audits)**로 전환되어야 함을 시사하며, 이를 통해 잘못된 확신을 피해야 한다고 강조합니다.

결론적으로, 본 공격은 현재 판별적(discriminative) Vision MoE 분류기에 대해 입증되었으나, 근본적인 취약성은 용량 제한 토큰 드롭을 사용하는 모든 MoE 구현에 적용될 수 있으며, 이는 모델 보안 분야의 중요한 연구 영역임을 밝히고 있습니다.