On the Adversarial Robustness of Discrete Image Tokenizers

이 논문은 멀티모달 시스템에서 널리 사용되는 이산 이미지 토크나이저의 적대적 취약점을 최초로 규명하고, 라벨이 없는 데이터를 활용한 비지도 적대적 훈련을 통해 다양한 작업에서 강력한 방어 성능을 달성하는 방법을 제시합니다.

핵심

이 논문은 **"디지털 이미지를 이해하는 AI 의 '눈'이 얼마나 약한지, 그리고 어떻게 그 눈을 튼튼하게 만들 수 있는지"**에 대한 연구입니다.

비유하자면, 이 논문은 **AI 가 세상을 보는 '안경 (토크나이저)'**에 대한 이야기입니다.

1. 배경: AI 는 이미지를 어떻게 볼까요?

최근 AI(특히 텍스트와 이미지를 함께 다루는 모델) 는 이미지를 그대로 보지 않습니다. 대신 이미지를 **작은 조각들 (토크)**로 잘게 나누어, 마치 레고 블록이나 알파벳처럼 숫자 나열로 변환합니다.

• 비유: 우리가 글을 읽을 때 '단어'를 보고 이해하듯, AI 도 이미지를 '숫자 나열 (토크)'로 변환해서 이해합니다. 이 변환기를 **'토크나이저 (Tokenizer)'**라고 부릅니다.

2. 문제: 안경에 '마법'을 부리면 AI 가 혼란에 빠집니다

연구진은 이 '안경 (토크나이저)'이 매우 취약하다는 것을 발견했습니다.

• 공격의 원리: 공격자는 이미지의 픽셀을 아주 미세하게 (사람 눈에는 보이지 않게) 변형시킵니다.
• 결과: 이 미세한 변화 때문에 AI 의 안경은 완전히 다른 숫자 나열을 읽게 됩니다.
  • 예시: "강아지" 사진에 아주 작은 노이즈를 넣으면, AI 는 그걸 "자동차"로 인식하거나, 심지어 "돈을 이체해 달라"는 위험한 문장을 만들어내게 됩니다.
• 중요한 발견: 기존에는 AI 전체를 공격하려면 복잡한 계산이 필요했지만, 이 연구는 이미지를 숫자로 바꾸는 '안경' 부분만 공격하면 전체 시스템이 망가진다는 것을 증명했습니다. 마치 자동차의 엔진은 멀쩡해도, 운전자가 길을 잘못 읽는 내비게이션만 조작하면 차가 엉뚱한 곳으로 가는 것과 같습니다.

3. 해결책: '무작위 연습'으로 안경을 튼튼하게 만들기

이 취약점을 막기 위해 연구진은 **적대적 훈련 (Adversarial Training)**이라는 방법을 사용했습니다.

• 기존 방식의 문제: 보통은 AI 에게 "이건 강아지야, 이건 고양이야"라고 **정답 (레이블)**을 알려주며 훈련시킵니다. 하지만 이 방법은 데이터가 많아야 하고, 특정 작업에만 특화됩니다.
• 이 연구의 혁신 (무감독 훈련): 연구진은 정답 없이 훈련했습니다.
  • 비유: AI 안경에게 "이 이미지를 변형시켜봐. 변형된 이미지도 원래 이미지와 똑같은 '숫자 나열'로 읽히게 해봐!"라고 시켰습니다.
  • AI 는 수많은 변형된 이미지를 보며, 어떤 노이즈가 들어와도 원래 의미를 잃지 않도록 스스로 학습합니다.
  • 장점: 정답이 없어도 되므로, 인터넷에 떠도는 아무 이미지나 가져와서 훈련시킬 수 있습니다. 계산 비용도 훨씬 적게 듭니다.

4. 결과: 튼튼해진 안경은 모든 곳에서 통합니다

이렇게 훈련된 '튼튼한 안경 (Robust Tokenizer)'을 기존 AI 시스템에 끼워 넣자 놀라운 일이 일어났습니다.

• 범용성: 이미지 분류, 검색, 그림 설명 (캡션) 등 어떤 일을 하든 공격에 훨씬 강해졌습니다.
• 안전성: 해커가 "돈을 이체해 달라"는 위험한 문장을 만들어내려 해도, 튼튼해진 안경은 원래 이미지의 의미 (예: "산책 중인 강아지") 를 정확히 유지하며 위험한 출력을 막아냈습니다.
• 효율성: 전체 AI 모델을 다시 훈련시킬 필요 없이, 이미지 변환기 부분만 업데이트하면 되므로 시간과 비용이 크게 절약됩니다.

요약

이 논문은 **"AI 가 이미지를 이해하는 첫 단계 (토크나이저) 가 매우 약하다"**는 사실을 처음 밝혀냈고, **"정답 없이도 이미지를 변형시키는 연습을 시키면, 그 첫 단계를 매우 튼튼하게 만들 수 있다"**는 방법을 제시했습니다.

이는 마치 가장 약한 고리인 '안경'을 튼튼하게 만들어, AI 가 속지 않고 안전하게 세상을 볼 수 있도록 만든 것과 같습니다. 앞으로 AI 가 우리 삶에 더 깊게 들어오기 때문에, 이런 '안전장치'는 매우 중요해집니다.

기술 요약

1. 문제 제기 (Problem)

최근 멀티모달 시스템 (Encoder-only, Encoder-decoder, Decoder-only 모델 등) 에서 이산 이미지 토크나이저 (Discrete Image Tokenizers) 가 CLIP 인코더를 대체하거나 보완하며 핵심적인 역할을 수행하고 있습니다. (예: TiTok, UniTok, FlexTok 등)

• 핵심 문제: 텍스트 토크나이저와 유사하게 이미지를 고정된 어휘집 (Codebook) 의 토큰 시퀀스로 변환하는 이 토크나이저들의 적대적 공격 (Adversarial Attack) 에 대한 취약성은 아직 연구되지 않았습니다.
• 위험성: 이미지 토크나이저가 약하면 이를 사용하는 하위 작업 (분류, 검색, 캡션 생성, VQA 등) 을 수행하는 전체 시스템이 공격에 노출됩니다. 특히, 대규모 언어 모델 (LLM) 이 이미지 토크나이저보다 파라미터가 훨씬 큰 경우, 토크나이저만 공격하여 LLM 의 출력을 조작할 수 있는 치명적인 보안 위험이 존재합니다.

2. 방법론 (Methodology)

이 논문은 공격 (Attack) 과 방어 (Defense) 두 가지 측면에서 접근합니다.

A. 무감독 적대적 공격 (Unsupervised Attacks)

• 개념: 하위 작업의 레이블 (Label) 이나 특정 태스크 정보 없이, 토크나이저가 추출한 임베딩 (Embedding) 자체를 왜곡하여 토큰을 변경하는 공격입니다.
• 수식 및 원리:
  • 토크나이저의 인코더가 출력하는 양자화 전 (Pre-quantization) 임베딩 $h_i(x)$와 공격된 이미지의 임베딩 $h_i(x+\delta)$ 사이의 $\ell_2$ 거리를 최대화합니다.
  • 목적 함수: $\max_{\|\delta\|_p \le \epsilon} \sum_{i=1}^T \|h_i(x + \delta) - h_i(x)\|_2^2$
  • 이 임베딩의 변화는 벡터 양자화 (Vector Quantization) 과정에서 다른 코드북 (Codebook) 인덱스로 매핑되도록 유도하여, 결과적으로 토큰 시퀀스를 변경합니다.
• 특징:
  • 태스크 무관성 (Task-agnostic): 분류, 생성, 검색 등 어떤 하위 작업에 사용되든 공격이 유효합니다.
  • 효율성: 전체 시스템을 공격하는 감독적 (Supervised) 공격보다 계산 비용이 적게 듭니다.

B. 무감독 적대적 미세 조정 (Unsupervised Adversarial Fine-tuning)

• 방어 전략: 기존 CLIP 인코더의 강건성 향상 기법을 차용하여, 토크나이저의 인코더 (Encoder) 부분만 무감독 적대적 훈련으로 미세 조정합니다.
• 학습 목표: 원본 이미지와 적대적 공격이 가해진 이미지가 동일한 임베딩 (또는 동일한 토큰) 을 출력하도록 학습시킵니다.
  • 목적 함수: $\min_{\theta} \frac{1}{|D|} \sum_{x \in D} \max_{\|\delta\|_p \le \epsilon} \sum_{i=1}^T \|h^\theta_i(x + \delta) - h^{\theta_{orig}}_i(x)\|_2^2$
• 장점:
  • 레이블 불필요: 라벨이 없는 이미지 데이터 (Unlabeled data) 로도 훈련 가능하여 데이터 활용도가 높습니다.
  • 범용성: 특정 태스크에 종속되지 않아, 훈련된 토크나이저를 다양한 시스템에 바로 교체 (Plug-and-play) 할 수 있습니다.
  • 비용 효율성: 전체 모델이 아닌 토크나이저 인코더만 업데이트하므로 계산 비용이 크게 절감됩니다.

3. 주요 기여 (Key Contributions)

1. 최초 연구: 이산 이미지 토크나이저의 적대적 강건성을 체계적으로 분석하고 개선한 첫 번째 연구입니다.
2. 효율적 공격 제안: 레이블 없이도 작동하며, 하위 태스크에 구애받지 않는 무감독 임베딩 왜곡 공격을 제안했습니다. 이는 종단간 (End-to-end) 감독 공격과 유사한 효과를 내면서도 계산 효율이 높습니다.
3. 범용 방어 기법: 무감독 적대적 훈련을 통해 토크나이저를 강화하는 방법을 제시했습니다. 이는 라벨이 없는 데이터를 활용할 수 있으며, 훈련된 토크나이저를 다양한 멀티모달 모델 (FuseLIP, UniTok-MLLM 등) 에 적용하여 강건성을 획기적으로 높였습니다.
4. 성능 입증: 분류, 멀티모달 검색, 이미지 캡션 생성, VQA 등 다양한 태스크에서 기존 모델의 취약점을 드러내고, 제안된 방어 기법으로 이를 해결함을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 공격 효과성:

  • 제안된 무감독 공격은 Imagenette, ImageNet 등 다양한 데이터셋에서 분류기 (TiTok, FlexTok, UniTok 기반) 를 성공적으로 속였습니다.
  • 특히, TiTok 기반 모델은 공격 시 재구성된 이미지가 심하게 왜곡되는 반면, FlexTok은 상대적으로 강건한 것으로 나타났습니다.
  • LLM 조작: 이미지 토크나이저만 공격하여 LLM 이 특정 악성 캡션 (예: 사기, 괴롭힘 등) 을 생성하도록 유도할 수 있음을 보였습니다.

• 방어 효과성 (Robust Tokenizers):

  • FuseLIP (멀티모달 임베딩): 원본 토크나이저를 사용한 모델은 공격에 거의 무방비였으나, 강화된 토크나이저를 적용하면 $\epsilon=4/255$ 조건에서 강건 정확도가 27% 에서 40% 이상으로 크게 향상되었습니다.
  • UniTok-MLLM (VQA 및 캡션): VQA 태스크에서 원본 모델의 강건 정확도가 거의 0% 에 수렴했으나, 강화된 토크나이저 적용 시 40~50% 대까지 회복되었습니다.
  • 안전성: supervised 적대적 공격 (악성 캡션 유도) 에 대해 강화된 모델은 원본 이미지의 안전한 설명을 유지하며 공격을 방어했습니다.

• 비교 분석:

  • 전체 모델 미세 조정 vs 토크나이저만 미세 조정: 전체 모델을 적대적으로 훈련하는 것보다 토크나이저만 훈련하는 것이 학습 시간 (2.2 배 빠름) 이 짧고, 다른 태스크로의 일반화 (Generalization) 성능이 더 뛰어났습니다.
  • 데이터셋 영향: ImageNet 뿐만 아니라 CC3M 과 같은 더 크고 다른 데이터셋으로 훈련해도 강건성이 유지되거나 향상되어, 데이터 의존도가 낮음을 보였습니다.

5. 의의 및 결론 (Significance)

• 멀티모달 시스템의 안전성 확보: 이미지 토크나이저가 멀티모달 파운데이션 모델의 '문지기' 역할을 하므로, 이 부분의 강건성은 전체 시스템의 보안에 필수적입니다.
• 실용적 방어 솔루션: 레이블이 없는 데이터를 활용할 수 있고, 기존 아키텍처를 변경하지 않고 토크나이저만 교체하여 적용 가능한 효율적인 방어 기법을 제시했습니다.
• 미래 연구 방향: 토크나이저 설계 (VQ 대 FSQ, 코드북 크기 등) 가 강건성에 미치는 영향을 연구하고, 더 구체적인 방어 솔루션을 개발하는 기초를 마련했습니다.

요약하자면, 이 논문은 이산 이미지 토크나이저가 멀티모달 AI 의 치명적인 약점임을 밝히고, 무감독 적대적 훈련을 통해 이를 효과적으로 방어할 수 있음을 증명함으로써 안전하고 견고한 차세대 멀티모달 모델 개발에 중요한 기여를 했습니다.