SALLIE: Safeguarding Against Latent Language & Image Exploits

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 은 텍스트 및 시각적 '자일브레이크 (Jailbreak)' 공격과 '프롬프트 인젝션 (Prompt Injection)' 공격에 여전히 취약합니다.

• 기존 방어 기법의 한계:
  • 성능 저하: 복잡 입력 변환이나 다중 쿼리를 요구하는 기존 방어책 (예: JailGuard) 은 높은 계산 오버헤드와 지연 시간을 유발하며 모델의 유용성을 떨어뜨립니다.
  • 모달리티 격차: 텍스트 중심의 탐지기는 시각적 공격을 전혀 감지하지 못합니다. 반면, 멀티모달 내부 상태 기반 방어 기법 (예: HiddenDetect) 은 시각적 프롬프트 인젝션에 대해 매우 낮은 성능 (F1 점수 0.11) 을 보입니다.
  • 비효율성: 현재까지 텍스트와 비전을 동시에 처리하면서도 단일 프론트 패스 (single forward pass) 로 효율적으로 작동하는 통합 방어 체계가 부재했습니다.

2. 방법론 (Methodology: SALLIE)

저자들은 **SALLIE (Safeguarding Against Latent Language & Image Exploits)**를 제안했습니다. 이는 기계적 해석 가능성 (Mechanistic Interpretability) 에 기반한 경량 런타임 탐지 프레임워크입니다.

• 핵심 아이디어: 사전 훈련된 VLM 의 내부 잔류 스트림 (residual stream) 활성화 값에 악성 입력을 구별하는 강력한 신호가 내재되어 있다는 가설을 기반으로 합니다.
• 아키텍처 (3 단계):
  1. 내부 활성화 추출: 모델의 단일 프론트 패스 실행 중, 안전에 중요한 레이어 (보통 중간 레이어) 의 잔류 스트림 활성화 값을 추출합니다.
  2. 레이어별 악성 점수 계산: 추출된 활성화 값 (히든 상태) 에 대해 K-최근접 이웃 (k-NN) 분류기를 사용하여 악성 점수를 계산합니다. 거리 측정에는 코사인 유사도를 사용합니다.
  3. 레이어 앙상블: 여러 레이어의 예측을 집계하여 최종 악성 점수를 도출하고, 임계값 ($\tau$) 을 기준으로 공격 여부를 판단합니다.
• 특징:
  • 모달리티 무관성: 텍스트 전용 및 멀티모달 입력 모두 동일한 파이프라인을 적용하며, 구조적 변경 없이 기존 모델에 통합 가능합니다.
  • 효율성: 입력 변형 (mutation) 이나 외부 API 호출 없이 단일 프론트 패스로 동작하여 높은 처리 속도를 보장합니다.

3. 주요 기여 (Key Contributions)

1. 통합 탐지기: 텍스트와 비전을 아우르는 단일 히든 상태 파이프라인을 통해 자일브레이크와 프롬프트 인젝션을 한 번의 프론트 패스로 탐지합니다.
2. 내부 상태 활용: 입력 변형이나 재샘플링의 오버헤드 없이 모델의 내재된 안전 표현 (safety representations) 을 직접 프로빙하여 악성 의도를 식별합니다.
3. 시각적 프롬프트 인젝션 격차 해소: 기존 방법론이 실패했던 시각적 프롬프트 인젝션 탐지에서 획기적인 성능 향상을 이루었습니다.

4. 실험 결과 (Results)

저자들은 Phi-3.5-vision-instruct, SmolVLM2-2.2B-Instruct, Gemma-3-4b-it 등 3 가지 오픈 가중치 모델을 사용하여 10 개 이상의 데이터셋과 5 가지 이상의 강력한 베이스라인을 비교 평가했습니다.

• 전체 성능: SALLIE 는 모든 오픈 소스 베이스라인을 능가하며, 폐쇄형 상용 모델인 Gemini-2.5-Flash-Lite 를 능가하는 성능을 보였습니다.
  • Gemma-3-4b-it 기반 SALLIE: 전체 모달리티에서 F1 0.90을 기록 (Gemini-2.5-Flash-Lite 는 0.82).
  • Phi-3.5-vision-instruct 기반 SALLIE: 시각적 입력에서 F1 0.96을 기록하여, 평가된 모든 저자 (Judge) 모델 (GPT-4.1 Mini F1 0.85 포함) 을 상회했습니다.
• 비교 분석:
  • 기존 텍스트 전용 탐지기 (Perplexity Filter, EEG-Defender 등) 는 시각적 공격을 전혀 탐지하지 못했습니다.
  • 멀티모달 기법인 HiddenDetect 는 시각적 입력에서 F1 0.11 로 실패했습니다.
  • JailGuard 는 8 배의 계산 오버헤드가 발생했으나 SALLIE 는 단일 패스로 더 높은 정확도를 달성했습니다.
• 기하학적 분석: 히든 상태 공간에서 시각적 공격은 텍스트 공격보다 benign(정상) 입력과 더 명확하게 분리된 클러스터를 형성하는 것으로 확인되었습니다. 이는 시각적 공격 탐지에 내부 상태 프로빙이 특히 효과적임을 시사합니다.

5. 의의 및 결론 (Significance)

• 실용적 배포 가능성: SALLIE 는 아키텍처 수정 없이 기존 VLM 에 경량 레이어로 추가될 수 있어, 실제 배포 환경에서 지연 시간 (latency) 을 최소화하면서도 강력한 보안을 제공합니다.
• 안전 신호의 본질 규명: 사전 훈련된 VLM 의 중간 레이어 히든 상태가 텍스트와 비전을 아우르는 교차 모달리티 (cross-modal) 위협에 대한 강력한 안전 신호를 포함하고 있음을 증명했습니다.
• 미래 방향: 모델 크기와 안전 정렬 (safety alignment) 정도가 탐지 성능에 미치는 영향을 규명하고, 더 긴 컨텍스트와 새로운 공격 분포에 대한 일반화 능력을 향상시키는 것이 향후 과제로 남았습니다.

요약하자면, SALLIE 는 멀티모달 AI 모델의 보안 취약점을 해결하기 위해, 모델의 내부 작동 원리를 활용하여 저비용, 고효율, 고정확도의 통합 방어 체계를 제시한 획기적인 연구입니다.