Follow My Eyes: Backdoor Attacks on VLM-based Scanpath Prediction

1. 문제 정의 (Problem)

이 논문은 시각 - 언어 모델 (VLM) 기반의 스캔패스 (Scanpath) 예측 모델을 대상으로 하는 **백도어 공격 (Backdoor Attack)**의 존재와 위험성을 최초로 체계적으로 연구합니다.

• 스캔패스 예측의 중요성: 사용자의 시선 고정 (fixation) 순서와 지속 시간을 예측하는 기술은 모바일 및 AR/VR 시스템에서 포커스 렌더링 (foveated rendering), 주의 기반 상호작용, 의도 예측 등에 핵심적으로 사용됩니다.
• 공격 표면 (Attack Surface): 대규모 안구 추적 데이터 수집 비용이 높아, 연구자와 개발자들은 공개 데이터셋이나 서드파티 사전 학습 모델을 주로 사용합니다. 이로 인해 데이터 공급망 (Supply Chain) 단계에서 공격자가 훈련 데이터를 오염시키거나 악성 모델을 배포할 수 있습니다.
• 기존 연구의 한계: 기존 백도어 공격 연구는 주로 분류 (Classification) 작업 (이산적인 레이블 예측) 에 집중되어 있었습니다. 그러나 스캔패스 예측은 연속적인 공간 좌표와 시간적 지속 시간으로 구성된 시퀀스를 생성하므로, 기존 분류용 백도어 기법을 직접 적용하기 어렵고 새로운 공격 벡터가 필요합니다.

2. 방법론 (Methodology)

저자들은 기존의 단순한 고정 경로 공격의 한계를 극복하기 위해 가변 출력 (Variable-Output) 백도어 공격을 설계했습니다.

2.1. 초기 연구: 고정 경로 공격의 한계

• 고정 경로 공격 (Fixed-Path Attack): 트리거가 입력되면 모델이 항상 동일한 고정된 시선 경로 (예: 이미지 중앙 → 오른쪽 하단) 를 출력하도록 훈련시킵니다.
• 결과: 공격은 성공적이었으나, 모든 트리거 입력이 동일한 경로로 수렴하여 **출력 공간에서 통계적 군집 (Clustering)**을 형성했습니다. 이는 '활성화 클러스터링 (Activation Clustering)'과 같은 탐지 기법으로 쉽게 발견될 수 있어 은밀성이 떨어졌습니다.

2.2. 제안된 공격: 가변 출력 백도어

탐지를 피하기 위해 입력 이미지의 맥락에 따라 공격 행동을 동적으로 변화시키는 두 가지 공격을 제안했습니다.

1. 입력 인식 공간 공격 (Input-Aware Spatial Attack):

   • 원리: 트리거가 있을 때, 사용자가 요청한 대상 (예: '포크 찾기') 대신 공격자가 지정한 독성 대상 (예: '칼 찾기') 을 탐색하는 논리적이고 입력 의존적인 스캔패스를 생성합니다.
   • 구현: 훈련 시 트리거가 포함된 입력에 대해, 깨끗한 참조 모델 (Clean Reference Model) 이 독성 대상에 대해 생성한 스캔패스를 레이블로 사용하여 모델을 학습시킵니다.
   • 특징: 출력 경로가 입력 장면에 따라 다양하게 변하므로 통계적 군집이 발생하지 않아 탐지가 어렵습니다.

2. 스캔패스 지속 시간 공격 (Scanpath Duration Attack):

   • 원리: 시선의 위치는 정상이지만, 시선 고정 (fixation) 의 지속 시간을 인위적으로 늘리거나 추가적인 고정점을 삽입하여 시각 검색 완료 시간을 지연시킵니다.
   • 구현:
     • 지속 시간 팽창: 기존 고정점의 시간을 일정량 ($\Delta t$) 증가시킵니다.
     • 고정점 주입: 기존 경로 사이에 새로운 고정점을 삽입합니다.
   • 영향: AR/VR 인터랙션의 지연, 렌더링 리소스 낭비 등 시스템 수준의 문제를 유발합니다.

2.3. 트리거 모달리티

공격은 세 가지 방식으로 트리거를 활성화합니다:

• 시각적 (Visual): 이미지의 특정 영역에 흰색 패치 추가.
• 텍스트 (Text): 쿼리 텍스트에 제로-폭 공간 (Zero-width space, U+200B) 같은 특수 문자 삽입.
• 멀티모달 (Multimodal): 시각 및 텍스트 트리거 결합.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 연구: VLM 기반 스캔패스 예측 모델에 대한 백도어 공격의 첫 번째 체계적인 연구로, 연속적인 시퀀스 출력 공간에서의 공격 특성을 규명했습니다.
2. 새로운 공격 기법 제안: 통계적 탐지를 회피하는 **가변 출력 백도어 (Variable-Output Backdoors)**를 설계했습니다. 이는 입력에 따라 의미 있는 경로 (공간 공격) 나 시간적 지연 (시간 공격) 을 생성합니다.
3. 방어 기법 평가: 미세 조정 (Fine-tuning), 가지치기 (Fine-pruning), 신경 주의 증류 (NAD), SecureGaze 등 기존 방어 기법들을 평가했습니다.
4. 실제 배포 환경 검증: 양자화 (Quantization) 를 거친 후 상용 스마트폰 (Samsung Galaxy S24 Ultra, Note9) 에서 모델이 실행될 때에도 공격이 유효함을 입증했습니다.

4. 실험 결과 (Results)

• 공격 성공률:

  • 공간 공격: 트리거가 있을 때 모델이 잘못된 대상 (예: 칼) 을 찾도록 유도하여 BBox Hit Ratio 를 크게 저하시켰습니다 (예: 0.866 → 0.325).
  • 시간 공격: 트리거 입력 시 시각 검색 완료 시간을 수백 밀리초 (최대 +416ms) 지연시켰습니다.
  • 은밀성: 제안된 가변 출력 공격은 활성화 클러스터링 등 기존 탐지 기법으로 탐지되지 않았습니다.

• 방어 기법 평가:

  • 결론: 어떤 방어 기법도 공격을 억제하면서 동시에 깨끗한 데이터 (Clean Data) 에 대한 모델 성능을 완벽하게 유지하지 못했습니다.
  • 세부 결과:
    • 미세 조정 (Fine-tuning): 공격을 완전히 제거하지 못하거나 오히려 공격을 강화하는 경우가 있었습니다.
    • 가지치기 (Fine-pruning): 공격을 가장 강력하게 억제했으나, 모델의 정상적인 성능 (Clean Utility) 이 크게 저하되어 실용성이 떨어졌습니다.
    • NAD 및 SecureGaze: 부분적인 완화 효과는 있었으나, 공격을 완전히 제거하지 못했습니다. 특히 SecureGaze 는 멀티모달 특성과 가변 출력 특성으로 인해 트리거를 역추적하지 못했습니다.

• 모바일 배포 검증:

  • FP32, FP16, INT8 양자화를 거친 후에도 공격 행동이 유지되었으며, 모바일 기기에서도 84~90% 의 충실도 (Fidelity) 로 공격이 성공적으로 작동함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 보안 위협의 현실화: 스캔패스 예측 모델이 모바일 및 엣지 디바이스에 배포되는 상황에서, 백도어 공격이 렌더링 효율 저하, 상호작용 지연, 잘못된 객체 참조 등 시스템 전체의 안전성과 기능에 직접적인 위협이 될 수 있음을 증명했습니다.
• 새로운 보안 과제: 기존의 분류 모델용 방어 기법 (레이블 기반) 은 연속적이고 구조화된 시퀀스 출력 (스캔패스) 을 가진 모델에는 효과가 제한적입니다.
• 미래 방향: 단순한 모델 가중치 검사보다는 예측의 시간적 구조를 고려한 방어나 배포 전 인증 (Pre-deployment Certification) 메커니즘의 개발이 시급하다는 점을 강조합니다.

이 논문은 VLM 기반 시각 작업의 보안 취약점을 처음으로 드러내며, 향후 안전이 중요한 (Safety-critical) AR/VR 및 모바일 시스템 개발 시 백도어 공격 대응이 필수적임을 시사합니다.