SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models

이 논문은 현실 세계의 타이포그래픽 공격에 대한 포괄적인 평가 데이터셋인 SCAM 을 공개하고, 이를 통해 멀티모달 기초 모델의 취약성을 분석하고 견고한 AI 시스템 개발을 위한 실증적 통찰을 제공합니다.

핵심

🎭 1. 이야기의 주인공: "눈이 먼 AI"와 "교활한 사기꾼"

우리가 매일 쓰는 AI(사진을 보고 "이게 뭐야?"라고 대답하는 로봇) 는 원래 아주 똑똑합니다. 하지만 이 논문은 AI 가 가진 치명적인 약점을 발견했습니다.

• 비유: AI 는 마치 **"눈을 가린 채로 그림을 보는 사람"**과 같습니다. 그림 속의 사물을 잘 보지만, 그림 옆에 붙은 **편지 (글자)**만 보면 그 글자에 속아 넘어갑니다.
• 현실: 예를 들어, 시계 (Clock) 사진을 AI 에게 보여주는데, 그 옆에 "택시 (Taxi)"라고 적힌 쪽지를 붙여주면, AI 는 시계를 보고 "시계"라고 답하지 않고, "택시"라고 잘못 대답합니다. 글자가 그림보다 더 중요하게 느껴지는 것입니다.

📸 2. 새로운 도구: "SCAM"이라는 거대한 사기극 세트

기존 연구들은 이런 사기를 연구할 때, 컴퓨터로 만든 가짜 글자나 아주 적은 수의 사진만 사용했습니다. 마치 **"작은 극장에서 소수의 배우로만 연극을 보는 것"**과 비슷했죠.

하지만 이 연구팀은 **"SCAM"**이라는 거대한 무대를 만들었습니다.

• 실제 사기극 (SCAM): 1,162 장의 실제 사진입니다. 사람들이 실제 사물 (사과, 자전거, 컵 등) 옆에 손으로 쓴 "해당 없는 글자"를 포스트잇에 적어 붙인 진짜 사진들입니다.
• 청소된 버전 (NoSCAM): 같은 사진이지만 글자가 제거된 깨끗한 버전입니다.
• 가짜 사기극 (SynthSCAM): 컴퓨터로 글자를 합성한 버전입니다.

핵심 발견: 연구팀은 "컴퓨터로 만든 가짜 글자도, 실제로 손으로 쓴 글자만큼 AI 를 속이는 데 효과가 있다"는 것을 증명했습니다. 즉, 가상의 실험실에서도 현실 세계의 사기를 충분히 연구할 수 있다는 결론입니다.

🧪 3. 실험 결과: AI 는 왜 속을까?

이 거대한 데이터셋으로 다양한 AI 모델을 시험해 보니 놀라운 결과가 나왔습니다.

1. AI 는 글자에 너무 의존합니다:

   • AI 는 그림 속의 사물을 보는 것보다, 그림에 적힌 글자를 더 믿습니다. 마치 **"사람이 그림을 보지 않고 옆에 붙은 라벨만 보고 물건을 고르는 것"**과 같습니다.
   • 최신 AI 모델들도 이 사기에 걸려들었습니다. 정확도가 60% 이상이나 떨어지기도 했습니다.

2. 머리가 좋은 AI 일수록 더 안전할까? (LLM 의 역할)

   • 여기서 'LLM(거대 언어 모델)'은 AI 의 **'지식과 추론을 담당하는 두뇌'**라고 생각하세요.
   • 연구 결과, **두뇌가 더 큰 AI(모델 크기가 큰 것)**일수록 글자에 속는 경향이 줄어듭니다.
   • 비유: 작은 두뇌를 가진 AI 는 "택시라고 적혀 있네? 그럼 택시겠지!"라고 쉽게 속지만, 큰 두뇌를 가진 AI 는 "잠깐, 이건 시계인데 왜 택시라고 써 있지? 이상하네. 역시 시계야"라고 생각할 여력이 생기는 것입니다.

3. 눈 (Vision Encoder) 이 약하면 두뇌가 좋아도 소용없다:

   • AI 의 '눈' (사진을 보는 부분) 이 글자에 너무 취약하면, 아무리 '두뇌'가 좋아도 전체적으로 속기 쉽습니다. 하지만 두뇌가 충분히 강력하면 그 약점을 어느 정도 보완해 줍니다.

🛡️ 4. 왜 이 연구가 중요한가요?

이 연구는 단순히 AI 가 실수하는 것을 보여주는 것을 넘어, 안전한 AI 를 만들기 위한 지도를 제공합니다.

• 자율주행차의 위험: 만약 자율주행차가 정지 신호 (Stop) 옆에 "가자 (Go)"라고 적힌 쪽지를 보고 "가자"라고 판단하면 큰 사고가 납니다. 이 연구는 이런 위험을 미리 발견하고 막는 방법을 알려줍니다.
• 의료 및 보안: 병원에서 X-ray 사진을 분석할 때, 옆에 적힌 잘못된 라벨 때문에 AI 가 병을 놓치지 않도록 도와줍니다.

🚀 결론: "SCAM"이 우리에게 주는 메시지

이 논문은 **"AI 는 아직 글자에 너무 취약하다"**고 경고합니다. 하지만 동시에 **"더 큰 두뇌 (LLM) 를 붙이고, 더 다양한 훈련을 시키면 AI 가 이 사기를识破 (식별) 할 수 있다"**는 희망도 줍니다.

마치 **사기꾼 (Typographic Attack)**이 아무리 교묘하게 속여도, **현명한 사람 (Robust AI)**이 되면 속지 않는 것과 같습니다. 이 연구는 AI 가 현명해지기 위해 필요한 '방어 훈련'을 위한 가장 완벽한 교재 (데이터셋) 를 세상에 공개한 것입니다.

---

한 줄 요약:

"AI 가 그림보다 글자에 속아 넘어가는 치명적인 약점을 찾아냈고, 더 똑똑한 AI 를 만들어 그 약점을 막는 방법을 찾았습니다."

기술 요약

1. 문제 정의 (Problem)

멀티모달 기초 모델 (Multimodal Foundation Models), 특히 비전 - 언어 모델 (VLM) 과 대규모 비전 - 언어 모델 (LVLM) 은 텍스트와 시각적 콘텐츠 간의 상호작용을 학습합니다. 그러나 최근 연구에 따르면 이러한 모델들은 타이포그래픽 공격 (Typographic Attacks) 에 취약한 것으로 나타났습니다.

• 공격 방식: 이미지 내에 오해의 소지가 있는 텍스트 (예: 시계 사진 옆에 '택시'라는 단어 적힌 포스트잇 부착) 를 삽입하여 모델이 시각적 내용보다 텍스트에 과도하게 의존하도록 유도합니다.
• 기존 한계: 기존 연구들은 주로 합성 데이터 (Synthetic Data) 를 사용하거나, 소규모의 제한된 실세계 데이터를 활용했습니다. 이는 모델의 취약성을 포괄적으로 평가하거나 방어 메커니즘을 개발하는 데 있어 데이터의 다양성과 규모 측면에서 부족함이 있었습니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 SCAM (Subtle Character Attacks on Multimodal Models) 이라는 새로운 데이터셋과 평가 프레임워크를 제안했습니다.

A. SCAM 데이터셋 구축

• 규모와 다양성: 현재까지의 실세계 타이포그래픽 공격 이미지 중 가장 크고 다양하며, 총 1,162 개의 이미지를 포함합니다.
• 구성 요소:
  1. SCAM: 실제 물체 옆에 관련 없는 손글씨 공격 단어가 적힌 포스트잇이 부착된 이미지 (실세계 데이터).
  2. NoSCAM: 동일한 장면을 공격 텍스트를 제거 (포스트잇 원색으로 덮음) 한 클린 버전.
  3. SynthSCAM: 동일한 장면에 공격 텍스트를 디지털 방식으로 (Roboto 폰트 등) 다시 삽입한 합성 버전.
• 데이터 수집: 9 명의 기여자가 다양한 스마트폰, 손글씨 스타일, 조명 조건, 배경 (실내/실외, 가정, 상점 등) 에서 촬영하여 자연스러운 변이성을 확보했습니다.
• 범주: 660 개의 고유한 물체 라벨과 206 개의 고유한 공격 단어로 구성되며, 자율주행에 필수적인 안전 관련 용어 (예: '보행자', '좌회전 금지') 도 포함됩니다.

B. 평가 프로토콜

• VLM 평가 (Zero-shot Classification): CLIP, SigLIP 등의 모델을 대상으로 이미지 임베딩과 텍스트 임베딩 간의 코사인 유사도를 계산하여 객체 라벨과 공격 단어 중 무엇을 예측하는지 측정합니다.
• LVLM 평가 (Prompt-based Classification): LLaVA, Gemma3, GPT-4o, Claude 등의 대규모 모델을 대상으로 "이미지에 어떤 개체가 있는가?"라는 프롬프트를 입력하고, 공격 텍스트가 있을 때 모델의 응답이 어떻게 변하는지 분석합니다.

3. 주요 기여 (Key Contributions)

1. SCAM 데이터셋 공개: 실세계, 클린, 합성 버전이 완벽하게 정렬된 (Aligned) 대규모 데이터셋을 공개하여, 타이포그래픽 공격의 인과적 영향과 전이성을 정밀하게 측정할 수 있는 기반을 마련했습니다.
2. 실세계 vs 합성 공격 비교: 합성 공격 (SynthSCAM) 이 실세계 공격 (SCAM) 과 매우 유사한 성능 저하를 유발함을 실험적으로 입증하여, 확장 가능한 연구에 합성 데이터의 유효성을 검증했습니다.
3. 모델 아키텍처 및 학습 데이터 영향 분석:
   • 시각 인코더 (Vision Encoder): 모델의 취약성은 주로 시각 인코더의 특성에 기인함을 발견했습니다. (예: ViT-L-14-336 은 공격에 매우 취약함).
   • LLM 백본 (LLM Backbone): 시각 인코더의 취약성이 LVLM 으로 전이되지만, 더 큰 규모의 LLM 백본을 사용하면 공격에 대한 내성이 강화되고 타이포그래픽 이해도가 향상됨을 보였습니다.
   • 학습 데이터: LAION 과 같은 특정 데이터셋으로 학습된 모델은 CommonPool 변형이나 SigLIP 아키텍처에 비해 공격에 더 취약했습니다.

4. 실험 결과 (Results)

• 성능 저하: VLM 과 LVLM 모두 실세계 타이포그래픽 공격 (SCAM) 을 접할 때 평균 26% 포인트 이상의 정확도 하락을 경험했습니다.
  • 예: RN50 모델은 NoSCAM 에서 97.76% 의 정확도를 보였으나 SCAM 에서는 36.61% 로 급감했습니다.
• 모델 크기와의 상관관계:
  • 모델의 파라미터 수만으로는 내성을 보장하지 않습니다. (예: 90B 파라미터의 Llama3.2-vision 은 34B 의 LLaVA 보다 취약할 수 있음).
  • 그러나 더 강력한 LLM 백본 (예: GPT-4o, Claude Sonnet 4, LLaVA-34b) 은 시각 인코더의 약점을 보완하여 공격에 대한 내성을 크게 높였습니다. (GPT-4o 는 정확도 하락이 약 2.67% 에 그침).
• 패치 크기 (Patch Size) 의 영향: ViT 아키텍처에서 패치 크기가 작을수록 (예: 14x14) 공격에 더 취약해지는 경향이 관찰되었습니다.
• 공격 크기 영향: 포스트잇의 면적이 클수록 (공격 텍스트가 더 눈에 띌수록) 모델의 정확도는 더 크게 하락했습니다.

5. 의의 및 결론 (Significance)

• 안전성 확보: 의료, 자율주행 등 안전이 중요한 분야에서 멀티모달 AI 를 배포할 때, 타이포그래픽 공격에 대한 취약성이 치명적일 수 있음을 경고합니다.
• 연구 방향 제시:
  • 단순한 모델 크기 확대보다는 강력한 LLM 백본과 견고한 시각 인코더의 조화가 필요함을 시사합니다.
  • 시각 인코더만 교체하는 것만으로는 내성이 전이되지 않으며, 체계적인 재학습 (Retraining) 이 필요함을 발견했습니다.
• 자원 제공: 연구 커뮤니티가 견고하고 신뢰할 수 있는 멀티모달 AI 시스템을 개발할 수 있도록 SCAM 데이터셋과 평가 코드를 공개하여, 향후 방어 메커니즘 개발과 모델 선택에 중요한 기준을 제공합니다.

이 논문은 멀티모달 모델이 텍스트에 과도하게 의존하는 근본적인 약점을 드러냈으며, 이를 해결하기 위한 데이터 중심의 체계적인 평가와 아키텍처적 통찰을 제공한다는 점에서 중요한 의의를 가집니다.