Towards Robustness against Typographic Attack with Training-free Concept Localization

기술 요약: 학습이 필요 없는 개념 국소화를 통한 타이포그래피 공격에 대한 강건성 확보

문제 정의
대조 언어-이미지 사전 학습(CLIP) 모델은 현대 대규모 시각-언어 모델(LVLM)의 기초가 되는 비전 인코더 역할을 합니다. 이러한 광범위한 채택에도 불구하고, 이 모델들은 **타이포그래피 공격(Typographic Attack, TA)**이라 불리는 치명적인 취약성을 보입니다. 이 시나리오에서는 이미지 위에 겹쳐진 무관한 텍스트(예: 고양이 이미지 위에 적힌 "Goose"라는 단어)가 실제 시각적 의미론이 아닌 어휘적 내용에 기반하여 모델의 오분류를 유도합니다. 이러한 실패 모드는 비전 트랜스포머(ViT) 인코더가 시각적 특징과 어휘적 형태에 인코딩된 의미론을 효과적으로 분리하지 못하는 "특징 엉킴(feature entanglement)" 현상에서 기인합니다. 기존의 방어 기제는 주로 지도 학습 기반의 훈련이나 블랙박스 방식의 개입에 의존하며, 이는 해석 가능성이 부족하고 취약점의 기계적 근본 원인을 해결하지 못합니다.

방법론
저자들은 ViT 아키텍처 내에서 TA 취약성을 찾아내고 완화하기 위한 학습이 필요 없는(training-free), 기계적 해석 가능성(mechanistic interpretability) 방법을 제안합니다. 이 접근 방식은 **선형 표현 가설(Linear Representation Hypothesis)**과 **로또 티켓 가설(Lottery Ticket Hypothesis)**에 기반하며, 다음 세 가지 주요 단계로 작동합니다.

1. 확률적 개념 마이닝(Stochastic Concept Mining):
   비싼 파라미터 사전 학습(parametric dictionary learning) 대신, 이 방법은 멀티 헤드 셀프 어텐션(MHSA) 헤드의 저차원 부분 공간 내에서 확률적 샘플링을 통해 의사 개념 벡터(pseudo-concept vectors)를 추출합니다. 방법론은 가우시안 분포에서 무작위 벡터($u$)를 샘플링함으로써 개념 발견을 "확률적 로또(stochastic lottery)"로 취급합니다. 이론적 분석에 따르면, 글로벌 차원($d_{model}$)이 아닌 $d_{head}$ 부분 공간에서 작동하는 것은 다의성 간섭(polysemantic interference)을 크게 줄여, 특정 어휘 개념과 충실히 정렬되는 "당첨 티켓(winning tickets)"을 찾을 확률을 높여줍니다.

2. 그래디언트 기반 속성 및 회로 마이닝(Gradient-Based Attribution and Circuit Mining):
   이 방법은 **텍스트 속성 점수(Text Attribution Score, TAS)**를 사용하여 개별 어텐션 헤드의 "어휘적 집중도"를 정량화합니다. 이는 프리 소프트맥스(pre-softmax) 어텐션 로짓(logits)에 대한 투영된 개념 강도의 편미분을 계산합니다. 이 속성 맵은 어텐션 활성화($A_{i,j}$)와 패치의 한계 효용($V_j(u) - F_i(u)$)을 결합하여 고려합니다. 레이블이 없는 데이터셋에 대해 점수를 집계함으로써, 이 방법은 어 течение적인 텍스트 정보를 과도하게 인코딩하는 특정 어텐션 헤드와 회로를 식별합니다.

3. 기계적 개입(Mechanistic Intervention):
   취약한 "타이포그래피 판독 회로"가 식별되면, 재학습 없이 **테스트 타임 개입(test-time interventions)**을 적용합니다:

   • 어텐션 재가중치 부여(Attention Reweighting): <cls> 토큰이 있는 모델의 경우, <cls> 토큰에서 텍스트가 포함된 패치로 향하는 어텐션 가중치를 억제(0으로 재가중치 부여)하여 모델이 시각적 패치에 의존하도록 강제합니다.
   • 제로 아블레이션(Zero Ablation): 전용 <cls> 토큰이 없는 LVLM의 경우, 식별된 취약 모듈의 출력을 제로 벡터로 대체하여 프로세싱 스트림에서 어휘적 방해 요소를 효과적으로 제거합니다.

주요 기여

• 샘플링 기반 개념 마이닝: 파라미터 사전 학습 없이 MHSA 모듈의 자연스러운 분해를 활용하여, 개념 적중 가능성을 높이는 새로운 학습 불필요 확률적 샘플링 방법을 제시합니다.
• 취약성 설명: 어텐션 헤드의 "집중"과 개념의 "방향"을 결합하여 분석함으로써 어휘 집중 모듈을 일관되게 식별하는 그래디언트 기반 속성 메커니즘을 제공합니다.
• 기계적 개입: 식별된 회로에 대한 단순한 최적화 없는 개입(재가중치 부여 또는 아블레이션)이 객체 분류 및 시각 질의응답(VQA) 모두에서 TA에 대한 강건성을 실질적으로 향상시킨다는 것을 입증했습니다.

실험 결과
본 방법은 다섯 가지 CLIP ViT 변체(ViT-B/16부터 ViT-bigG/14까지)와 여러 최신 LVLM(Qwen3-VL, InternVL3.5, Gemma3)을 대상으로 평가되었습니다.

• 객체 분류: RTA-100, Disentangling, PAINT와 같은 데이터셋에서, 개입은 객체 분류 정확도(OCA)를 유의미하게 개선하는 동시에 텍스트 혼란율(Text Confusion Rate, TCR)을 급격히 감소시켰습니다. 예를 들어, ViT-H/14에서 OCA는 RTA-100에서 +22.8% 향상되었고, TCR은 27.6% 감소했습니다. 본 방법은 지도 학습 기반 베이스라인(Defense-Prefix) 및 다른 학습 불필요 방법(Dyslexify)보다 우수한 성능을 보였습니다.
• LVLM 강건성: RIO-Bench 데이터셋에서 LVLM에 적용했을 때, 타이포그래피 공격 간섭 하에서도 다양한 모델 크기에 걸쳐 VQA 정확도를 개선했습니다(예: Qwen3-VL-8B에서 +1.58%). 이때 깨끗한 이미지 성능에 미치는 영향은 미미했습니다(<1%).
• 효율성: 회로 추출 과정은 매우 빠르며(단일 A100에서 모든 백본에 대해 1분 미만 소요), 임계값 캘리브레이션을 위해 전체 훈련 데이터의 극히 일부(0.1%)만을 필요로 합니다.

의의 및 주장
본 논문은 트랜스포머 아키텍처 내에서 취약성의 기계적 근원을 정확히 짚어냄으로써, TA 강건성에 대한 충실하고 설명 가능한 솔루션을 제공한다고 주장합니다. 블랙박스 방어와 달리, 이 방법은 특정 어텐션 헤드와 어휘적 오분류 사이의 명확한 인과 관계를 제시합니다. 저자들은 본 연구가 VLM 강건성을 위한 기계적 솔루션의 지평을 넓혔으며, 학습이 필요 없는 회로 수준의 개입이 시각적 의미론을 어휘적 방해 요소로부터 효과적으로 분리하여 자율 주행과 같은 핵심 분야의 안전성을 높일 수 있음을 입증했다고 강조합니다. 실험 결과는 서로 다른 모델 규모와 아키텍처 전반에 걸친 이러한 기계적 접근 방식의 효능과 일반화 가능성을 확인해 줍니다.