💻 컴퓨터 과학

FASDP: Frequency-Aware Scale-Diverse Purification against Pixel-Space Visual Jailbreaks

본 논문은 시각-언어 모델(vision-language models)에 대한 픽셀 공간 시각적 탈옥 공격을 효과적으로 완화하는 동시에 정상적인 작업에서의 성능을 보존하기 위해, 이미지 스케일에 따라 방어 강도를 적응적으로 할당하는 학습이 필요 없는 주파수 인지 정화 프레임워크인 FASDP를 제안한다.

원저자: Xiaolong Qin, Chunjiang Wu, YiLe Li, TingHui Chen, Zhibin Li, ShiLin Qiu

게시일 2026-11-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaolong Qin, Chunjiang Wu, YiLe Li, TingHui Chen, Zhibin Li, ShiLin Qiu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 급격히 진화하는 세계에서, 보고 동시에 말할 수 있는 새로운 형태의 시스템이 등장했습니다. 이러한 시각-언어 모델은 사진을 묘사하거나, 도표에 관한 질문에 답하거나, 이미지를 보면서 대화를 나눌 수 있는 디지털 관찰자 역할을 합니다. 이들은 의료 영상에서 자율 주행에 이르기까지 모든 분야에서 강력한 도구가 되었습니다. 그러나 인간이 시각적 착시에 속을 수 있는 것처럼, 이 시스템들도 조작될 수 있습니다. 연구자들은 이미지의 픽셀에 미세하고 종종 눈에 보이지 않는 변화를 가함으로써, 공격자가 안전 가이드라인을 준수하도록 설계된 이 모델들이 윤리적 지침을 무시하고 유해하거나 위험한 응답을 생성하도록 강제할 수 있다는 사실을 발견했습니다. '비주얼 탈옥(visual jailbreak)'이라 불리는 이러한 취약점은 소프트웨어 자체를 해킹할 필요 없이 오직 오염된 이미지를 전송하는 것만으로도 가능하기 때문에 중대한 위협이 됩니다. 방어자들의 과제는 이미지를 더 이상 이해할 수 없을 정도로 너무 흐릿하게 만들지 않으면서도, 이러한 오염된 이미지를 정화하는 것입니다.

청두 정보기술대학교와 청두 기술대학교의 연구팀은 이 섬세한 균형 잡기 문제를 해결하기 위한 새로운 방법을 제안했습니다. 그들은 자신들의 접근 방식을 FASDP라고 부르며, 이는 원래의 장면을 보존하면서 이미지에서 악성 노이즈를 제거하는 필터 역할을 하도록 설계된 시스템입니다. 모든 이미지에 고정된 수준의 정화를 적용하는 기존 방식과 달리, 이 새로운 시스템은 검사 중인 이미지의 특정 특성에 따라 그 강도를 조절합니다. 핵심 아이디어는 모든 이미지가 동일한 방식으로 공격받는 것이 아니며, 모든 이미지가 동일한 양의 정화를 필요로 하는 것도 아니라는 점입니다. 미세한 질감이나 날카로운 모서리와 같은 이미지의 고주파 세부 사항이 이미지를 약간 크기 조정했을 때 어떻게 변하는지를 측정함으로써, 시스템은 노이즈가 얼마나 존재하는지를 판단할 수 있습니다. 이 측정값은 시스템에 부드러운 손길을 적용할지 아니면 더 공격적인 세척을 할지를 알려주는 가이드 역할을 합니다.

이 과정은 동일한 이미지를 서로 다른 규모나 세부 수준으로 처리된 여러 버전으로 만드는 방식으로 작동합니다. 일부 버전은 미세한 세부 사항을 유지하기 위해 가볍게 처리되는 반면, 다른 버전은 잠재적인 공격을 제거하기 위해 더 심하게 매끄럽게 처리됩니다. 그런 다음 시스템은 이 버전들을 하나로 혼합하기 위해 특별한 수학적 규칙을 사용합니다. 시스템은 원래 이미지의 저주파의 넓은 형태와 가장 일관성을 유지하는 버전을 선호하는 동시에, 주파수 측정을 사용하여 매끄럽게 처리된 버전들에 얼마만큼의 가중치를 줄지 결정합니다. 만약 시스템이 이미지가 공격에 의해 크게 변경되었다고 감지하면, 위협을 제거하기 위해 매끄럽게 처리된 버전들에 더 큰 비중을 둡니다. 이미지가 깨끗해 보인다면 미세한 세부 사항을 보존합니다. 결정적으로, 이 모든 과정은 인공지능 모델을 재학습시키거나 모델의 내부 작동 방식에 접근할 필요 없이 수행되므로, 기존의 어떤 시스템에도 적용할 수 있는 유연한 방어책이 됩니다.

연구진이 세 가지 유형의 시각적 공격에 대해 세 가지 인기 있는 시각-언료 모델을 대상으로 이 방법을 테스트했을 때, 결과는 매우 고무적이었습니다. 이 시스템은 모델이 유해한 응답을 생성하는 비율을 성공적으로 줄였으며, 종종 표준 이미지 압축이나 더 복격적인 확산 기반 필터와 같은 기존의 방어책보다 뛰어난 성능을 보여주었습니다. 아마도 더 중요한 점은, 이 방법이 이미지의 품질을 망치지 않았다는 것입니다. 모델이 깨끗하고 공격받지 않은 이미지를 설명하도록 요청받은 테스트에서, 시스템은 높은 정확도로 질문에 답하고 캡션을 생성하는 능력을 유지했습니다. 이는 이 필터가 정당한 콘텐츠를 흐리게 하지 않으면서도 악의적인 변경 사항만을 목표로 할 만큼 정밀하다는 것을 시사합니다. 연구진은 이 시스템이 미묘한 조작부터 더 공격적인 픽셀 수준의 왜곡에 이르기까지 광범위한 공격 강도에 대해 효과적으로 작동한다는 것을 발견했습니다.

또한 이 연구는 방어 체계를 알고 전략을 적응시키려는 공격자들을 마주했을 때 시스템이 어떻게 행동하는지를 탐구했습니다. 공격자들이 필터를 우회하기 위해 해당 필터에 특화된 공격을 최적화하여 시도했음에도 불구하고, 시스템은 다른 방법들보다 더 견고한 모습을 보였습니다. 연구진은 이 방어책이 픽셀 기반 공격에는 매우 효과적이지만, 모든 종류의 보안 위험에 대한 보편적인 해결책은 아니라고 언급했습니다. 이 시스템은 유해한 텍스트 프롬프트나 이미지 내의 가시적인 콘텐츠에 의존하는 공격을 막을 수는 없는데, 이는 그러한 공격들이 동일한 종류의 픽셀 수준 노이즈를 포함하지 않기 때문입니다. 그러나 픽셀 조작이라는 특정 문제에 있어서, 이 연구 결과는 강력하고 실용적인 해결책을 제시합니다. 각 개별 이미지의 필요에 따라 정화 강도를 조절함으로써, 연구진은 강력한 시각 AI 시스템이 세상을 명확하게 보는 능력을 희생하지 않으면서도 안전하게 유지할 수 있는 방법을 입증했습니다.

기술 요약: FASDP – 픽셀 공간 시각적 탈옥에 대응하는 주파수 인지형 스케일 다양화 정화 기법

1. 문제 정의

시각-언어 모델(VLM)은 이미지 캡셔닝 및 시각적 질의응답(VQA)과 같은 응용 분야에서 상당한 성공을 거두었습니다. 그러나 이러한 모델의 배포는 **시각적 탈옥 공격(visual jailbreak attacks)**에 대한 취약성을 드러냈습니다. 전통적인 텍스트 기반 탈옥과 달리, 이러한 공격은 입력 이미지를 픽셀 공간에서 조작하여 안전 가이드라인이 설정된 모델이 유해한 응답을 생성하도록 유도합니다.

본 논문이 다루는 구체적인 과제는 픽셀 공간의 적대적 섭동(예: HADES, Image Hijacks, 시각적 적대적 예시)에 대한 방어입니다. 이러한 공격은 종종 큰 $\ell_\infty$ 예산을 포함하며, 상당한 비율의 픽셀을 변형시킵니다. 기존의 방어 전략은 다음과 같은 결정적인 트레이드오프(trade-off)에 직면합니다:

완만한 변환(예: 리사이징, JPEG)은 강력한 섭동을 억제하는 데 실패하는 경우가 많습니다.
공격적인 정화(예: 고노이즈 확산 모델)는 섭동을 효과적으로 제거하지만, 아티팩트(artifacts)를 유발하고 깨끗한 입력 이미지에 대한 VLM의 성능을 저하시킵니다.
고정 강도 방어는 서로 다른 이미지의 다양한 특성과 공격 강도에 적응하지 못합니다.

본 연구의 목표는 대상 모델의 파라미터, 그래디언트 또는 임베딩에 대한 접근 없이도, 깨끗한 이미지의 유용성 손상을 최소화하면서 높은 예산의 탈옥 섭동을 억제할 수 있는 훈련이 필요 없는 입력 정화(training-free, input purification) 방법을 개발하는 것입니다.

2. 방법론: FASDP

저자들은 각 이미지별로 정화 강도를 적응적으로 할당하는 프레임워크인 **FASDP (Frequency-Aware Scale-Diverse Purification)**를 제안합니다. 이 방법은 대상 VLM에 도달하기 전의 입력 이미지 상에서 완전히 작동합니다.

핵심 구성 요소

자기 참조 주파수 분석 (Self-Referenced Frequency Analysis):
- 대상 모델의 신호에 의존하는 대신, FASDP는 변환에 대한 입력의 민감도를 측정하기 위해 자기 참조 주파수 통계량( $\Delta$ )을 사용합니다.
- 이는 완만한 참조 변환(예: 0.75 스케일로 리사이징) 하에서 이산 코사인 변환(DCT) 고주파 에너지 비율의 정규화된 변화를 계산합니다.
- $\Delta$ 는 휴리스틱 단서 역할을 합니다. 양수 값은 변환이 고주파 에너지를 감소시킨다는 것을 나타내며, 이는 감쇄 가능한 섭동이 존재함을 시사합니다. 이 통계량은 퓨전 가중치를 조절하지만, 이진 형태의 공격 탐지기로 작동하지는 않습니다.
스케일 다양화 후보 생성 (Scale-Diverse Candidate Generation):
- 프레임워크는 공격받은 이미지에 고정된 스케일 변환 세트( $S = \{1.0, 0.75, 0.5\}$ )를 적용하여 여러 후보 이미지를 생성합니다.
- 이 후보들은 단일한 고정된 공유 디노이저(U자형 윈도우 어텐션-컨볼루션 네트워크인 SCUNet)에 의해 처리됩니다.
- 결정적으로, 디노이징 강도( $\eta$ )는 고정되어 있지 않습니다. $\eta$ 는 여러 참조 스케일의 주파수 분석을 바탕으로 이미지당 개별적으로 보정됩니다. 강도 $\eta$ 는 스케일 변환된 이미지와 전체 디노이저 출력 사이의 보간을 제어합니다: $D(Y; \eta) = (1-\eta)Y + \eta g_\Theta(Y)$ .
저주파 일관성 퓨전 (Low-Frequency-Consistency Fusion):
- 최종 정화된 이미지는 디노이징된 후보들의 가중 합으로 결정됩니다.
- 가중치는 다음 두 가지 요소를 균형 있게 고려하는 일관성 점수 규칙에 의해 결정됩니다:
  - 입력 일관성: 후보가 원본 공격 이미지의 저주파 콘텐츠를 얼마나 변경하는가.
  - 쌍별 일관성: 후보가 다른 스케일 후보들과 얼마나 불일치하는가.
- 이러한 점수들은 주파수 통계량( $\Delta$ )과 세부 사항 보존을 위해 더 큰 스케일을 선호하는 충실도 편향( $\beta$ )에 의해 조절됩니다.
- 퓨전 규칙은 소프트맥스(softmax) 함수와 온도 스케일링을 사용하여, 이산적인 선택이 아닌 연속적인 가중치 조정을 가능하게 합니다.

워크플로우

분석: 공격받은 이미지와 참조 스케일을 사용하여 주파수 통계량 $\Delta$ 를 계산하고 디노이징 강도 $\eta$ 를 보정합니다.
생성: 스케일 변환을 적용하고 공유 디노이저(강도 $\eta$ 적용)를 통해 후보들을 생성합니다.
퓨전: 저주파 일관성 거리를 계산하고, 주파수로 조절된 사전 확률을 적용하며, 후보들을 집계하기 위한 소프트맥스 가중치를 생성합니다.
출력: 퓨전된 결과를 유효한 픽셀 범위로 클리핑(clip)하여 대상 VLM에 전달합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

훈련이 필요 없는 이미지별 강도 할당: 미세 조정이나 대상 모델에 대한 접근을 요구하는 방법들과 달리, FASDP는 단일 고정 디노이저로부터 스케일 다양화된 후보들의 가중치를 재설정함으로써 각 이미지에 대해 동적으로 정화 강도를 적응시킵게 합니다.
자기 참조 주파수 통계량: 완만한 변환 하에서 고주파 에너지의 정규화된 변화를 측정하는 새로운 통계량( $\Delta$ )을 제안합니다. 이는 실제 노이즈 수준을 추정하지 않고도 디노이징 강도를 보정하고 후보 퓨전을 조절하는 타겟 모델 독립적인 단서를 제공합니다.
저주파 일관성 퓨전 규칙: 저주파 성분의 입력 일관성 및 쌍별 일관성을 바탕으로 후보들을 집계하고, 이를 주파수 통계량으로 조절하는 폐쇄형(closed-form) 퓨전 메커니즘을 제공합니다. 이는 섭동 억제와 콘텐츠 보존 사이의 균형을 맞춥니다.

4. 실험 결과

저자들은 세 가지 대표적인 픽셀 공간 공격(VAE, HADES, Image Hijacks)에 대해 세 가지 오픈 소스 VLM(LLaVA-1.5-7B, InstructBLIP-7B, Qwen2.5-VL-7B)을 대상으로 FASDP를 평가했습니다.

방어 효과 (ASR): FASDP는 테스트된 대부분의 시나리오에서 가장 낮은 공격 성공률(ASR)을 달성했습니다. 예를 들어, Image Hijacks 공격 하의 Qwen2.5-VL-7B에서 FASDP는 ASR을 **20.47%**로 낮추어, DiffPure(24.91%) 및 DiffCAP(22.20%)과 같은 베이스라인보다 우수한 성능을 보였습니다.
깨끗한 이미지 유용성 보존: FASDP는 방어되지 않은 모델에 가장 근접한 깨끗한 이미지 성능(VQA 정확도 및 CIDEr 점수)을 유지했습니다. 예를 들어, Qwen2.5-VL-7B에서 VQA 정확도는 **78.07%**를 유지한 반면(방어되지 않은 모델의 81.60% 대비), DiffPure는 59.57%로 크게 하락했습니다.
이미지 충실도: 적대적 입력에 대해 FASDP는 방어 기법 중 가장 높은 SSIM(87.00)과 CLIP 유사도(95.45), 그리고 가장 낮은 LPIPS(17.71)를 기록하여, JPEG나 DiffPure에 비해 시각적 세부 사항 및 색상 충실도 보존 능력이 우수함을 입증했습니다.
강건성: 이 방법은 다양한 섭동 예산(최대 64/255)에 대해 효과적이었으며, 적응형 공격(BPDA 및 EOT)에 대해서도 다른 방어 기법들에 비해 ASR 증가 폭이 가장 작음을 보여주며 강건성을 입증했습니다.
절제 연구 (Ablation Studies): 주파수 사전 확률, 스케일 다양성 또는 일관성 퓨전 규칙을 제거하면 모두 성능이 저하되었으며, 이는 각 모듈의 필요성을 확인시켜 줍니다. 공유 디노이저의 선택(SCUNet vs 기타)은 성능에 미미한 영향을 미쳤으며, 이는 프레임워크가 특정 디노이저 구조에 관계없이 견고함을 시사합니다.

5. 의의 및 주장

본 논문은 FASDP를 VLM의 안전성과 유용성 사이의 균형을 맞추는 데 있어 매우 실용적인 훈련이 필요 없는 방어책으로 포지셔닝합니다.

제한적 범위의 주장: 저자들은 FASDP가 섭동 기반의 픽셀 공간 공격을 대상으로 함을 명시합니다. 이는 시각적 의미 내용(예: 이미지 내 텍스트)에 유해한 의도를 인코딩하거나 텍스트 전용 프롬프트를 사용하는 공격을 방어한다는 주장이 아닙니다.
메커니즘: 본 연구의 의의는 정화 강도의 적응적 할당에 있습니다. 자기 참조 주파수 단서를 사용함으로써, 시스템은 "일률적인(one-size-fits-all)" 고정 강도 방어의 한계를 극복하고, 공격받은 이미지에서는 강력한 섭동을 억제하는 동시에 깨끗한 이미지에서는 미세한 세부 사항을 보존할 수 있게 합니다.
배포: 이 방법은 대상 모델의 내부 상태(그래디언트, 임베딩)에 대한 접근을 요구하지 않으며 재학습이 필요하지 않으므로, 기존 VLM 시스템을 위한 전처리 계층으로서 배포하기에 적합합니다.

결론적으로, FASDP는 주파수를 인지하는 적응형 정화가 VLM의 표준 작업에 대한 높은 유용성을 유지하면서도 픽셀 공간의 시각적 탈옥을 효과적으로 완화할 수 있음을 보여줍니다.