🤖 machine learning

Structure-Guided Visual Perturbation Neutralization for LVLMs

본 논문은 사전 구조 추출과 동적 유도 중화를 활용하여 대규모 비전 언어 모델의 적대적 교란을 무력화하는 경량이고 효율적인 플러그 앤 플레이 방어 프레임워크인 SIGN 을 제안하며, 이는 최소한의 이미지 수정과 계산 오버헤드로 높은 방어 성공률을 달성하면서도 모델 성능을 유지한다.

원저자: Yuanhe Zhang, Xueting Wang, YanBin Ren, Haoran Gao, Xinhan Zheng, Zhenhong Zhou, Fanyu Meng, Li Sun, Sen Su

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuanhe Zhang, Xueting Wang, YanBin Ren, Haoran Gao, Xinhan Zheng, Zhenhong Zhou, Fanyu Meng, Li Sun, Sen Su

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 시각 언어 모델 (LVLM) 을 지극히 똑똑하고 다재다능한 조수라고 상상해 보세요. 이들은 이미지를 보고 설명하거나, 그 이미지에 대한 질문에 답하거나, 심지어 그들이 보는 것을 바탕으로 결정을 내리는 데 도움을 줄 수도 있습니다. 그러나 인간이 교묘한 착시현상에 속아 넘어질 수 있듯이, 이러한 AI 조수들도 이미지에 가해진 아주 작고 거의 보이지 않는 변화에 속아 넘어질 수 있습니다.

이 논문은 이러한 속임수를 막기 위해 SIGN(Structure-Induced Guided Neutralization, 구조 유도 안내 중화) 이라는 새로운 방어 방법을 소개합니다. 그 작동 원리를 간단히 설명하면 다음과 같습니다:

문제: "보이지 않는 잉크" 공격

공격자가 해로운 개 사진에 "보이지 않는 잉크"를 사용하여 픽셀에 아주 작은 노이즈 점들을 추가한다고 상상해 보세요. 당신의 눈에는 개가 여전히 똑같아 보입니다. 하지만 AI 에게는 그 점들이 비밀 명령처럼 작용합니다. 갑자기 AI 는 다음과 같은 행동을 할 수 있습니다:

제일브레이크 (Jailbreak): 안전 규칙을 무시하고 폭탄을 만드는 방법을 알려줍니다.
크래시 (LLM-DoS): 메모리가 고갈될 때까지 같은 단어를 반복해서 말합니다.
오도 (Mislead): 고양이를 보고 자신 있게 "그것은 토스터입니다"라고 말합니다.

대부분의 기존 방어책은 무거운 솔로 창문 전체를 문질러 더러운 창문을 닦으려는 것과 같습니다. 그들은 더러움 (공격) 을 제거할 수는 있지만, 동시에 사진 (실제 콘텐츠) 을 번지게 하거나 수행하는 데 너무 많은 시간이 걸립니다.

해결책: SIGN ("스마트 스포트 체크")

저자들은 무거운 문지름 대신 가볍고 외과적인 스포트 체크와 같은 SIGN 을 제안합니다. 이는 두 가지 주요 단계로 작동합니다:

단계 1: "집 설계도" 학습 (Prior Structural Extraction)

어떤 특정 사진을 보기 전에, 시스템은 무작위이고 해롭지 않은 사진들을 사용하여 AI 의 "뇌"(시각 인코더) 를 연구합니다.

비유: AI 의 뇌가 특정 레이아웃을 가진 집이라고 상상해 보세요. 안쪽에 다른 가구 (다른 이미지) 를 넣더라도 벽과 보 (구조) 는 동일하게 유지됩니다.
SIGN 이 하는 일: AI 의 뇌가 자연스럽게 가장 민감하게 반응하는 위치를 매핑합니다. "이봐, AI 는 실제로 이미지에 무엇이 있든 상관없이 항상 이미지의 왼쪽 위 모서리에 특히 더 주의를 기울여."라고 학습하는 것입니다. 이 지도를 **구조적 사전 지식 **(Structural Prior)이라고 부릅니다. 이는 이미지에 무엇이 있는지를 보는 것이 아니라, AI 가 이미지를 어떻게 처리하는지를 보는 것입니다.

단계 2: "스포트 체크" (Dynamic Guided Neutralization)

이제 잠재적으로 공격받은 이미지가 들어오면 SIGN 은 그 "설계도"를 사용하여 문제 지점을 찾습니다.

비유: 복도에서 가장 많이 삐걱거리는 마루판이 어디인지 정확히 아는 보안 요원을 상상해 보세요. 누군가 들어오면 보안 요원은 모든 마루판을 하나씩 확인하지 않습니다. 대신 그 특정 민감한 구역에서 삐걱거리는 소리를 듣습니다.
작동 방식:
1. SIGN 은 이미지를 보고 "이 픽셀이 주변 픽셀에 비해 이상해 보이나요?"라고 묻습니다 (국부 이상치).
2. 그 이상을 "설계도"와 비교합니다: "이 이상한 픽셀이 AI 가 본질적으로 민감한 위치에 있나요?" (구조적 사전 지식).
3. 두 가지 모두 "예"라면, SIGN 은 그 작은 픽셀을 의심스러운 것으로 표시합니다.
4. 수정: SIGN 은 전체 이미지를 지우는 대신, 그 작은 의심스러운 픽셀만 변경합니다. 주변 픽셀들의 평균 색상으로 대체하여 해당 지점을 효과적으로 "치유"합니다.

SIGN 이 특별한 이유

이 논문은 SIGN 이 세 가지 이유로 게임 체인저라고 주장합니다:

눈에 보이지 않습니다: 이미지의 픽셀 중 약 **0.5%**만 변경합니다. 해변의 모래알 하나만 바꾸는 것과 같습니다. 인간에게는 이미지가 정확히 동일하게 보이지만, "보이지 않는 잉크" 공격은 사라집니다.
매우 빠릅니다: 이미지를 처리하는 데 0.1 초 미만이 걸립니다. AI 를 재학습시키거나 무거운 계산을 실행할 필요가 없습니다. 이는 "플러그 앤 플레이" 도구입니다.
AI 를 망가뜨리지 않습니다: 변경 사항이 매우 적기 때문에 AI 는 여전히 사진 설명과 같은 일반적인 작업을 완벽하게 수행할 수 있습니다. 다른 방법들은 종종 이미지를 너무 많이 변경하여 AI 가 혼란을 겪거나 작동을 멈추게 합니다.

결과

연구자들은 여러 다른 AI 모델과 네 가지 다른 유형의 공격에 대해 SIGN 을 테스트했습니다.

성공률: 공격을 87% 이상 성공적으로 차단했습니다.
안전성: AI 가 유해한 답변을 제공하거나, 크래시되거나, 물체를 오인식하는 것을 성공적으로 방지했습니다.
효율성: 이미지를 원본과 거의 100% 동일하게 유지하면서 이 모든 작업을 수행했습니다.

요약

SIGN 을 AI 를 위한 스마트한 문지기라고 생각하세요. 클럽에서 모든 사람을 쫓아내거나 (전체 이미지 차단) 모든 사람을 공격적으로 수색하는 (무거운 이미지 처리) 대신, 클럽의 레이아웃 지도를 사용하여 troublemakers 가 숨어 있는 정확한 위치를 찾아내고 부드럽게 밀어내어 파티 (이미지) 를 원래 그대로 남깁니다.

기술 요약: LVLM 을 위한 구조 유도 안내 중화 (SIGN)

1. 문제 제기

대형 시각 언어 모델 (LVLM) 은 이미지 입력을 활용하여 세밀한 시각 정보를 인식하지만, 이 기능은 픽셀 수준의 공격 표면을 초래합니다. 입력 이미지에 추가된 적대적 교란은 jailbreaking(유해 콘텐츠 생성), LLM-DoS(반복적이거나 퇴화된 생성 유도), 오분류 등을 포함한 모델의 안전하지 않은 행동을 유발할 수 있습니다.

기존 방어 전략은 LVLM 맥락에서 상당한 한계에 직면해 있습니다:

전통적인 컴퓨터 비전 (CV) 방어: 이미지 노이즈 제거와 같은 방법들은 종종 단일 모달리티 분류기를 위해 설계되어 LVLM 에 필요한 교차 모달 정렬을 고려하지 못하므로 성능 저하를 초래합니다.
LVLM 특화 방어: LVLM 에 맞춤화된 현재 접근법들은 종종 영역 마스킹 또는 확산 기반 복원에 의존합니다. 이러한 방법들은 종종 상당한 이미지 수정을 요구하여 정상적인 시각 콘텐츠를 방해하고, 상당한 계산 오버헤드를 도입하여 추론 효율성을 저해합니다.

입력 이미지의 최소한의 수정으로 적대적 신호를 억제하면서도 정상 작업 성능을 유지할 수 있는, 아키텍처를 인지하고 경량화된 방어 프레임워크에 대한 시급한 필요성이 있습니다.

2. 방법론: 구조 유도 안내 중화 (SIGN)

저자들은 모델 재학습 없이 작동하는 경량 플러그 앤 플레이 방어 프레임워크인 SIGN을 제안합니다. 이는 **사전 구조 추출 (Prior Structural Extraction)**과 **동적 안내 중화 (Dynamic Guided Neutralization)**라는 두 가지 주요 단계로 작동합니다.

2.1 사전 구조 추출

이 단계는 LVLM 의 비전 인코더가 갖는 고유한 공간 응답 프로파일을 포착하는 "구조적 사전 (Structural Prior)"을 추정합니다.

동기: 저자들은 정상 입력의 경우, 비전 인코더가 샘플 간에 안정적이고 위치에 의존적인 응답 패턴을 보인다고 관찰합니다. 의미론적 콘텐츠는 다양하지만, 집계된 인코더 응답은 일관된 공간 편향을 드러냅니다.
구조 집계: 레이블이 지정되지 않은 이미지 세트를 사용하여, 모든 레이어와 샘플에 걸쳐 패치 토큰 응답의 $L_2$ 노름을 계산합니다. 이러한 스칼라 응답은 평균화되어 1 차원 구조 프로파일 $s$ 를 생성합니다.
사전 구성: 이 프로파일은 대상 LVLM 의 고유 토큰 순서에 따라 재배열되어 2 차원 **구조적 사전 지도 ( $S$ )**를 형성합니다. 이 지도는 의미론적 콘텐츠가 아니라 인코더의 고유한 구조적 응답 편향을 특징짓으며, 민감한 영역을 식별하기 위한 안내 역할을 합니다.

2.2 동적 안내 중화

공격받은 이미지가 주어지면, 이 단계는 구조적 사전이 교란을 억제하기 위한 입력 적응형 안내 지도로 변환됩니다.

국소 이상 특성화: 구조적 사전 $S$ 는 양선형 보간을 통해 입력 이미지의 픽셀 공간에 매핑되어 픽셀 공간 지도 $P(u)$ 를 생성합니다. 동시에, 각 픽셀의 국소 이웃 중앙값으로부터의 편차를 측정하여 국소 이상 점수 $A(u)$ 를 계산합니다.
개입 점수 산정: 결합된 개입 점수 $q(u)$ 는 가중 선형 융합으로 계산됩니다: $q(u) = \lambda P(u) + (1-\lambda)A(u)$ . 이는 인코더의 구조적 편향과 인스턴스별 이상 증거를 통합합니다.
희소 중화: 픽셀은 개입 점수에 따라 순위가 매겨집니다. 효율성과 국소성을 보장하기 위해 이웃 제약이 적용됩니다: 픽셀은 국소 윈도우 내 선택된 픽셀의 수가 예산 $k_\rho$ 를 초과하지 않는 경우에만 개입 대상으로 선택됩니다.
복원: 선택된 픽셀은 국소 윈도우 내 선택되지 않은 이웃들의 평균으로 대체됩니다. 이는 적대적 교란의 희소하고 국소적으로 일관된 중화를 초래합니다.

3. 주요 기여

구조적 편향 발견: 이 논문은 데이터셋 의미론과 크게 무관한 LVLM 비전 인코더 내의 안정적인 구조적 응답 편향을 밝혀냈습니다. 이 편향은 적대적 방어를 위한 모델 수준의 사전 정보를 제공합니다.
SIGN 프레임워크: 이 구조적 사전에 의존하여 희소하고 픽셀 수준의 개입을 안내하는 경량 방어 메커니즘입니다. 모델 파인튜닝이 필요 없으며 플러그 앤 플레이 모듈로 작동합니다.
효율성과 효과성: 이 방법은 최소한의 이미지 수정 (픽셀의 0.5%) 과 낮은 지연 시간 (이미지당 약 0.16 초) 으로 높은 방어 성공률을 달성하며, 무거운 재구성이나 대규모 마스킹에 의존하는 기존 베이스라인을 능가합니다.

4. 실험 결과

저자들은 SIGN 을 여섯 개의 LVLM(LLaVA, InstructBLIP, Qwen-VL 포함) 과 네 가지 대표적인 공격 생성기 (Visual-Adv, Con-Ins, RECITE, CroPA++) 에 걸쳐 평가했습니다.

방어 성공률 (DSR): SIGN 은 다양한 공격 목표 (Jailbreak, LLM-DoS, Mislead) 에서 평균 87% 이상의 방어 성공률을 달성했습니다.
최소 수정: 이 방어는 이미지 픽셀의 **0.5%**만 수정하면 되었으며, 마스킹 기반 방어 (예: AMIA 의 약 18.75%) 나 전체 이미지 억제 방법보다 현저히 낮았습니다.
효율성: 방어 구성 시간은 이미지당 평균 0.16 초였으며, 모델의 추론 시간에 비해 무시할 수 있는 오버헤드를 도입했습니다.
유용성 보존: SIGN 은 정상 작업 성능을 보존하여 작업 성공률이 원래 입력과 거의 동일하게 유지되었습니다. 원래와 방어된 시각 표현 간의 코사인 유사도는 0.99 이상으로 유지되어 정상적인 시각 의미론이 대부분 보존되었음을 나타냈습니다.
사전의 견고성: 실험은 구조적 사전이 서로 다른 소스 데이터셋 (예: ImageNet, CelebA) 에서 안정적이며, 10 개의 레이블이 지정되지 않은 샘플만으로도 신뢰성 있게 추정될 수 있음을 보여주었습니다.

5. 중요성과 주장

이 논문은 SIGN 이 비용이 많이 드는 모델 학습이나 무거운 이미지 재구성이 필요한 방어에 대한 실용적이고 경량화된 대안을 제공한다고 주장합니다. 비전 인코더의 내재적 구조적 속성을 활용함으로써, SIGN 은 추론 품질이나 효율성을 타협하지 않고도 견고한 LVLM 방어를 달성할 수 있음을 보여줍니다.

저자들은 자신의 작업을 비전 인코더 자체를 효율적인 적대적 보호에 활용할 수 있는 잠재력을 부각시키는 것으로 위치 짓습니다. 그들은 평가가 대표적인 공격을 다루지만, SIGN 의 동적이고 입력 적응형 특성으로 인해 기존 공격 레시피가 이에 대해 최적화하기 어렵다고 지적하지만, 이 특정 방어 메커니즘에 대한 완전한 적응형 공격은 여전히 향후 연구 영역임을 인정합니다. 이 작업은 인코더 수준의 구조적 사전 정보를 활용하는 것이 견고하고 경량화된 LVLM 방어를 위한 실현 가능한 길이라고 결론 내립니다.