기술 요약: 위조된 답변: OCR-free 문서 시각적 질의응답(DocVQA)에 대한 적대적 위조

문제 정의

문서 시각적 질의응답(DocVQA) 시스템, 특히 OCR-free 엔드 투 엔드 아키텍처를 활용하는 모델들은 문서 이미지에 대해 추론할 수 있는 강력한 도구로 부상했습니다. 이 모델들은 원본 이미지와 자연어 질문을 처리하여 답변을 생성함으로써, 전통적인 광학 문자 인식(OCR) 파이프라인과 관련된 계산 비용 및 오류 전파 문제를 우회합니다. 그러나 딥러닝(DL) 모델이 적대적 섭동(adversarial perturbations)—원치 않는 동작을 유발하는 미세한 입력 조작—에 취약하다는 점은 DocVQA 맥락에서 충분히 조사되지 않았습니다.

본 논문은 "문서 위조(document forgery)"를 통한 적대적 공격의 가능성이라는 중대한 보안 격차를 식별합니다. 표준 이미지 분류 공격과 달리, DocVQA 공격은 복잡한 문서 레이아웃에서 도출되는 특정 의미론적 출력(답변)을 조작하는 것을 목표로 합니다. 저자들은 시각적으로 인지하기 어려운 섭동조차도 공격자가 특정 오답(예: 송장의 금융 합계 금액 변경)을 유도하거나 체계적인 모델 실패를 일으킬 수 있다고 주장합니다. 에이전트 결제 프로토콜(AP2)과 같은 프로토콜에 의해 활성화되는 자동화된 파이프라인에서, 이러한 취약점은 직접적인 금전적 손실이나 승인되지 않은 거래로 이어질 수 있습니다.

방법론

위협 모델

저자들은 공격자가 대상 DocVQA 시스템의 아키텍처, 전처리 파이프라인, 파라미터, 그래디언트를 포함한 모든 정보를 완전히 알고 있는 **화이트박스 위협 모델(white-box threat model)**을 정형화합니다. 공격자는 원본 문서 이미지 $x$와 정답 $y$에 접근할 수 있지만, 질문 $q$(예: 시스템 프롬프트)는 고정되어 있습니다. 공격자의 목표는 모델이 조작된 답변 $y^*$를 출력하도록 만드는 섭동된 문서 $x' = x + \delta$를 생성하는 것입니다.

이 공격은 다음 제약 조건 하에 작동합니다:

• 입력 공간 조작: 섭동은 모델 특유의 전처리 단계 이전에 문서 이미지의 원시 픽셀 값에 직접 적용됩니다.
• 비인지성(Imperceptibility): 섭동 $\delta$는 시각적으로 미세하게 유지되도록 $\ell_\infty$ 노름($\|\delta\|_\infty \leq \epsilon$)에 의해 제한됩니다.
• 시나리오: 프레임워크는 세 가지 공격 시나리오를 지원합니다:
  1. 표적 단일-QA (Targeted Single-QA): 하나의 질문에 대해 특정 오답을 강제함.
  2. 표적 다중-QA (Targeted Multi-QA): 여러 질문에 대해 동시에 특정 오답들을 강제함.
  3. 답변 거부 (Denial of Answer, DoA): 문서 상의 모든 질문에 대해 일반적으로 틀린 답변을 유도함 (가용성 침해).

공격 공식화 및 최적화

저자들은 섭동을 최적화하기 위해 **투영 경사 하강법(Projected Gradient Descent, PGD)**을 사용합니다. 목적 함수는 모델의 출력과 목표 답변 $y^*$ 사이의 손실을 최소화하거나(표적 공격의 경우), 정답에 대한 손실을 최대화(비표적 DoA의 경우)합니다.

핵심적인 기술적 기여는 **모델 특유의 전처리(model-specific preprocessing)**를 처리하는 방식입니다. Pix2Struct나 Donut과 같은 DocVQA 모델들은 고유하고 종종 미분 불가능한 전처리 단계(예: 패치 추출, 특정 정규화, 질문 렌더링)를 사용하므로, 저자들은 이러한 파이프라인을 역공학하여 완전 미분 가능한 계산 그래프를 생성했습니다. 이를 통해 그래디언트가 모델 출력에서 원시 입력 이미지로 역전파될 수 있게 하여 엔드 투 엔드 최적화를 가능하게 했습니다.

두 가지 별도의 손실 함수가 사용되었습니다:

1. 표준 미세 조정 손실 (Standard Fine-tuning Loss): 원래 모델 학습에 사용된 음의 로그 가능도(negative log-likelihood)입니다.
2. 커스텀 로짓 손실 (Custom Logit Loss): Donut 모델에 대한 공격 효능을 개선하기 위해 설계된 새로운 손실 함수입니다. 이 손실은 현재 최대 로짓이 아닌 타겟 토큰들만을 처벌함으로써, 이미 정답인 것들을 방해하지 않으면서 타겟 토큰을 "끌어내는" 방향으로 최적화를 유도합니다.

실험 설정

연구는 두 가지 최첨단 OCR-free 모델을 대상으로 공격을 평가합니다:

• Pix2Struct: 질문을 이미지 상의 시각적 헤더로 렌더링하는 시각-언어 트랜스포머입니다.
• Donut: 질문을 텍스트 프롬프트로 받아들이는 트랜스포머 기반 모델입니다.

실험은 PFL-DocVQA 데이터셋을 사용하여 수행되었으며, 각 5개의 질문-답변 쌍이 포함된 1,000개의 고유한 송장 문서 서브셋을 활용했습니다. 저자들은 전체 문서(full-document) 공격(전체 이미지를 섭동)과 패치 기반(patch-based) 공격(예: 우측 하단 모서리의 15% 정사각형 영역 등 국소 영역을 섭동)을 모두 테스트했습니다.

주요 결과

공격 성공률 (ASR)

• 표적 단일-QA: 공격은 매우 효과적이었습니다. 전체 문서 공격의 경우, Pix2Struct는 거의 100%의 ASR에 도달했고, Donut은 80%를 약간 밑도는 수치를 기록했습니다. 패치 공격 또한 Pix2Struct에서는 성공적이었으나(~100% ASR), Donut에서는 현저히 낮은 효율을 보였습니다(<20% ASR).
• 표적 다중-QA: 최적화된 질문의 수($B$)가 증가함에 따라 ASR이 감소했는데, 이는 여러 제약 조건을 동시에 만족시키는 것이 더 어렵다는 것을 반영합니다. Pix2Struct는 작은 $B$ 값에 대해 높은 ASR을 유지한 반면, Donut은 $B=2$에서 0에 가까워질 정도로 성능이 급격히 떨어졌습니다.
• 답변 거부 (DoA): 비표적 공격은 모델 성능을 저하시키는 데 매우 효과적이었습니다. 단 한 번의 최적화 단계($K=1$)만으로도 모델들이 교란되었습니다. DoA에 대한 ASR은 $B=1$일 때 높게 유지되었으나, 더 많은 질문이 타겟팅됨에 따라 감소했습니다. 다만 그 감소 폭은 표적 시나리오에 비해 Donut에서 덜 심각했습니다.

부수적 피해 (Collateral Damage, CDMG) 및 ANLS

• 부수적 피해: 표적 단일-QA 공격의 경우 CDMG가 낮게 유지되었는데, 이는 동일 문서 내의 비표적 답변들이 대체로 올바르게 유지되었음을 나타냅니다. 그러나 다중-QA 및 DoA 시나리오에서는 예상대로 CDMG가 증가했으며, 특히 전역적 교란을 목표로 하는 DoA에서 두드러졌습니다.
• ANLS 점수: 평균 정규화 레벤슈타인 유사도(ANLS) 지표는 공격 역학을 확인해주었습니다. 표적 공격에서 ANLS-B(타겟 답변과의 유사도)는 증가한 반면, ANLS-C(비표적 답변에 대한 정답과의 유사도)는 높게 유지되었습니다. Doa 공격에서는 ANLS-B(정답과의 유사도)가 크게 감소하여 올바른 출력의 저하를 확인시켜 주었습니다.

의의 및 주장

본 논문은 DocVQA 시스템의 적대적 취약성을 구체적으로 분석한 최초의 위협 모델을 제시한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 엔드 투 엔드 취약성: 현재의 DocVQA 시스템은 작고 국소적이거나 전체 문서에 대한 섭동을 통해 특정 의미론적 오답을 유도할 수 있는 적대적 위조에 취약합니다.
2. 실제적 영향: 이러한 공격은 단순히 이론적인 것에 그치지 않습니다. 금융 데이터(예: 송장 합계)를 조작하거나 자동화된 문서 처리 파이프라인에 서비스 거부 조건을 트리거하도록 설계될 수 있습니다.
3. 모델 민감도: 서로 다른 아키텍처는 다양한 수준의 견고성을 보입니다. Pix2Struct는 Donut보다 패치 공격에 더 취약한 것으로 나타났으며, Donut은 다중 타겟 최적화에 더 어려움을 겪었습니다.
4. 방어의 필요성 강조: 본 연구 결과는 문서 모달리티에 적합한 적대적 훈련, 이상 입력 탐지, 전처리 파이프라인 강화 등을 포함한 강력한 방어 체계의 시급한 필요성을 강조합니다.

저자들은 본 연구가 화이트박스 설정을 가정하고 있지만(공격 능력의 상한선), 결과가 이러한 공격의 효과성에 대한 명확한 상한선을 설정하며, 이러한 취약점이 실제 환경에서 악용되기 전에 원칙적인 완화책을 개발할 것을 촉구한다고 강조합니다.