기술 요약: 패치 크기 탈취하기: 시각-언어 모델의 적대적 조작

문제 정의

배포된 시각-언어 모델(VLM)은 복잡하고 종종 문서화되지 않은 시각적 전처리 파이프라인에 의존한다. 이러한 파이프라인에는 시각적 패치 크기($P$), 입력 리사이징 전략, 패딩/크로핑 규칙, 그리고 타겟 해상도($S$)와 같은 중요한 아키텍처 및 시스템 수준의 설계 선택 사항들이 포함된다. 이러한 매개변수들은 모델의 효율성, 정확도 및 강건성에 상당한 영향을 미치지만, 일반적으로 API나 문서를 통해 공개되지 않는 비공개 배포 시점 정보로 취급된다.

본 논문은 블랙박스 VLM의 "사각지대(blind spot)"를 다룬다. 즉, 특정 구조적 정렬이 입력 이미지와 모델의 내부 토큰화 그리드 사이에 발생할 때, 모델이 격자 셀 개수 세기와 같은 사소한 작업을 수행하지 못하는 현상을 지적한다. 저자들은 이러한 실패가 무작위적인 것이 아니라, ViT 방식의 패치화(patchification)로 인해 유도된 결정론적인 태스크 수준의 사이드 채널(side channel)이라고 주장한다. 핵심 연구 질문은 그래디언트, 내부 활성화 값 또는 학습 데이터에 대한 접근 없이 오직 API 접근만으로 블랙박스 VLM의 숨겨진 아키텍처 및 전처리 매개변수를 체계적으로 복구할 수 있는가 하는 점이다.

방법론

**패치 크기 매칭(Patch-Size Matching, PSM)**이라 명명된 제안된 공격은 입력 그리드 경계와 모델의 내부 패치 그리드 사이의 기하학적 관계를 이용한다.

1. 메커니즘: 패치 크기 매칭 (PSM)

대부분의 VLM은 입력을 겹치지 않는 $P \times P$ 패치로 분할하는 비전 트랜스포머(ViT)를 사용하여 이미지를 토큰화한다.

• 현상: 셀 크기가 $D$인 합성 격자 이미지가 처리될 때, 토크나이저의 입력 공간에서의 유효 셀 크기($D_{eff}$)가 패치 크기의 정수 배($D_{eff} = kP$)가 되면, 격자 경계가 패치 사이에 정확히 위치하게 된다.
• 결과: 각 격자 셀의 내부가 단색인 경우, 셀 전체에 걸쳐 있는 패치들은 에지(edge) 정보를 포함하지 않게 된다. 이 토큰화 과정은 경계 신호를 억제하여 모델을 격자 구조에 대해 "맹목적(blind)"이 되게 만든다.
• 신호: 격자 셀 크기 $D$를 스윕(sweep)함에 따라, $D_{eff}$가 $P$의 배수와 일치할 때마다 모델의 정확도는 주기적인 하락(valleys)을 보인다.

2. 3단계 블랙박스 공격

저자들은 알려지지 않은 리사이징 및 패딩 조건 하에서 숨겨진 매개변수를 복구하기 위한 체계적인 절차를 제안한다.

• 1단계: 언패딩 스윕 (동적 vs 고정 해상도)
  공격자는 패딩 없이 다양한 셀 크기 $D$를 가진 격자 이미지를 모델에 쿼리한다.

  • 만약 모델이 **동적 해상도(dynamic resolution)**를 사용한다면, 주기적인 정확도 하락이 직접적으로 나타나므로 이를 통해 $P$를 직접 추론할 수 있다.
  • 만약 모델이 고정 해상도(fixed resolution)(입력을 타겟 $S$로 리사이징)를 사용한다면, $D$가 비선형적으로 재조정되기 때문에 주기성이 가려진다.

• 2단계: 제로 패딩을 통한 주기성 복원
  고정 해상도를 사용하는 것으로 의심되는 모델의 경우, 공격자는 제로 패딩(좌측 상단에 콘텐츠 고정)을 사용하여 더 큰 캔버스 $L \times L$ 안에 격자 이미지를 삽ins하여 삽입한다.

  • 이는 제어 가능한 스케일링 인자를 도입한다. 만약 모델이 $L \times L$을 고정 타겟 $S$로 리사이징한다면, 유효 셀 크기는 $D_{eff} = (S/L)D$가 된다.
  • 서로 다른 캔버스 크기 $L$에 대해 $D$를 스윕함으로써, 공격자는 정확도 하락의 주기 $T(L)$이 $L$에 따라 선형적으로 스케일링됨을 관찰할 수 있다.
  • 이를 통해 관계식 $S/P = L/T(L)$을 통해 스케일 비율 $S/P$를 복구할 수 있다.

• 3단계: 타겟 해상도에 대한 일관성 검사
  2단계는 후보 $(S, P)$ 쌍을 도출한다. 실제 타겟 해상도 $S$를 식별하기 위해 다음을 수행한다:

  • 공격자는 모델의 출력 일관성을 비교하는 가설 검정을 수행한다.
  • 논리는 다음과 같다: 만약 모델의 내부 타겟이 $S$라면, 쿼리 전 이미지를 $S$로 사전 리사이징하여 쿼리하는 것이 잘못된 후보 $S'$로 사전 리사이징하는 것보다 원본 쿼리와 더 일관된 답변을 낼 것이다.
  • 통계적 토너먼트를 통해 답변 일관성을 지속적으로 극대화하는 유일한 $S$를 선택한다.

3. 통계적 검증

정확도 하락의 주관적 해석을 피하기 위해, 저자들은 관찰된 주기성이 노이즈에 의한 인위적인 현상이 아님을 확인하기 위해 비모수적 순열 검정(Welch-style)을 사용하여 통계적 유의성을 결정한다.

주요 결과

이 공격은 오픈 소스 모델(Qwen-VL 변체, InternVL)과 독점 모델(GPT-4.1-mini, GPT-4o, Claude 3.7, Claude 4.5)을 대상으로 평가되었다.

• 매개변수 복구: 이 방법은 패치 크기와 전처리 동작을 성공적으로 복구했다.
  • Qwen3-VL 30B: $P=16$인 동적 해상도를 식별함.
  • Claude 3.7: $P=14$인 동적 해상도를 식별함.
  • GPT-4.1-mini: $P=16$인 동적 해상도를 식별함.
  • GPT-4o: 고정 해상도 전처리를 식별함. 3단계 과정을 통해 저자들은 타겟 해상도 $S=512$와 패치 크기 $P=16$을 추론함.
• 강건성: 이 공격은 모델이 알려지지 않은 리사이징, 패딩 또는 동적 해상도 전략을 사용하는 경우에도 효과적이었다.
• 비용: 높은 신뢰 구간을 확보하기 위해 약 $4.8 \times 10^4$회의 쿼리(약 $10^7$ 토큰)가 필요하며, 일반적인 API 가격 책정 기준 약 \10\text{--}$50$의 비용이 든다.

의의 및 시사점

본 논문은 이러한 "구현 세부 사항"을 복구하는 것이 단순한 학술적 연습이 아니라 고급 보안 공격의 전제 조건이라고 주장한다.

1. 전처리 인식 전이 공격 (Preprocessing-Aware Transfer Attacks): 정확한 전처리 파이프라인을 알면 공격자가 리사이징이나 패딩으로 인한 왜곡(앨리어싱)을 피하는 적대적 섭동(adversarial perturbation)을 설계할 수 있어, 전이성을 크게 향상시킬 수 있다.
2. 모델 타겟형 적대적 조작 (Model-Targeted Adversarial Manipulation): 저자들은 누출된 매개변수가 특정 타겟 모델만을 선택적으로 조작하면서 다른 파이프라인을 가진 모델에는 무해하게 남는 적대적 예제를 생성할 수 있음을 보여준다.
   • 실험적 증명: NIPS 2017 데이터셋에 대한 타겟 공격 실험에서, GPT-4o(복구된 $S=512, P=16$ 사용)에 특화되어 설계된 공격은 GPT-4o에서 86.5%의 성공률을 보인 반면, Claude 3.7에 대한 성공률은 4.5%로 떨어졌다. 반대로, Claude 3.7을 타겟으로 한 공격은 Claude 3.7에 대해서는 성공(18.5%)했지만 GPT-4o에 대해서는 실패했다.

결론

저자들은 ViT 스타일의 패치화가 블랙박스 동작에서 감지 가능한 시그니처를 생성하여, 프라이빗한 배포 시점의 구성을 유출한다고 결론짓는다. 그들은 비전 프런트엔드의 "구현 세부 사항"이 보안적으로 유의미한 비밀이라고 주장한다. 논문은 이러한 매개변수 유출 및 그에 따른 모델 타겟형 조작을 방지하기 위해 무작위/확률적 전처리, 경계 보존 토큰화 또는 쿼리 제어와 같은 완화책이 필요하다고 제언한다.