🤖 machine learning

On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspaces

이 논문은 트랜스포머 기반 시각-언어 모델의 적대적 취약성을 드러내고 강화하기 위해 중간 표현(intermediate representations)과 우하단 특이 벡터 부공간(bottom-right singular vector subspaces) 사이의 정렬을 이용하는 화이트박스 스펙트럼 부공간 가이드 공격(SSGRA)을 소개한다.

원저자: Chethan Krishnamurthy Ramanaik, Tobias Callies, Michael Hecht, Eirini Ntoutsi

게시일 2026-07-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chethan Krishnamurthy Ramanaik, Tobias Callies, Michael Hecht, Eirini Ntoutsi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

시각-언어 모델(VLM)을 매우 정교한 번역가라고 상상해 보십시오. 당신이 사진을 보여주면, 모델은 자신이 보는 것을 설명합니다. 하지만 이 복잡한 기계에는 비밀스러운 약점이 있습니다. 만약 사진을 아주 미세하게, 눈에 보이지 않을 정도로 살짝 수정한다면, 이 번역가는 갑자기 횡설수설하기 시작할 수 있습니다.

이 논문은 왜 이러한 기계들이 그렇게 쉽게 속아 넘어가는지를 조사합니다. 하지만 저자들은 사진 자체나 최종 결과물을 보는 대신, 시스템을 통해 정보를 이동시키는 내부의 **"톱니바퀴와 파이프"**를 들여다봅니다. 그들은 수학의 한 개념인 **스펙트럼 분석(spectral analysis)**을 사용하며, 이를 서로 다른 너비의 파이프를 통해 흐르는 물이라는 간단한 비유로 설명합니다.

핵심 아이디어: "새는 파이프"

AI 내부의 정보를 다양한 너비의 파이프를 통해 흐르는 물이라고 생각해 보십시오.

넓은 파이프 (상위 특이 벡터, Top Singular Vectors): 가장 중요한 정보가 쉽고 원활하게 흐르는 강력하고 주요한 통로입니다. 이곳으로 물을 밀어 넣으면 크고 명확하게 전달됩니다.
작고 막힌 파이프 (하위 특이 벡터, Bottom Singular Vectors): 좁고 거의 막혀 있는 통로입니다. 이곳으로 물을 밀어 넣으려고 하면, 정보는 즉시 찌그러지거나, 손실되거나, "감쇄(attenuated)"되어 약해집니다.

저자들은 해커가 AI 모델을 속이려 할 때, 공격이 자연스럽게 정보를 이 작고 막힌 파이프 쪽으로 밀어 넣는다는 사실을 발견했습니다. 일단 정보가 이 좁은 채널에 갇히게 되면, 모델은 이미지를 이해하는 능력을 잃고 환각을 일으키거나 잘못된 답을 내놓기 시작합니다.

새로운 공격 방식: "막힘 유도기" (SSGRA)

이 논문은 SSGRA(Spectral Subspace Guided Representation Attack, 스펙트럼 부공간 유도 표현 공격)라고 불리는 새로운 해킹 방법을 제안합니다.

기존 해킹 방법: 이전의 방법들은 사진을 약간 다르게 만들거나 최종 답변을 망가뜨림으로써 AI를 혼란스럽게 만들려 했습니다. 그것은 마치 기계가 비틀거리게 만들기 위해 돌을 던지는 것과 같았습니다.
새로운 방법 (SSGRA): 이 방법은 더 똑똑합니다. 이 방법은 어떤 "파이프"가 가장 취약한지 정확히 알고 있습니다. 이 방법은 의도적으로 AI가 이미지를 그 작고 막힌 파이프를 통해 처리하도록 강제합니다.
- 비유: 당신이 공장의 장난감 생산을 중단시키고 싶다고 가정해 봅시다. 노동자들에게 소리를 지르는 대신(기존 방식), 당신은 가장 취약한 부품들이 조립되는 컨베이어 벨트를 구체적으로 고장 냅니다. 그러면 공장은 단순히 비틀거리는 수준이 아니라, 필수 부품들이 통과할 수 없게 되어 완전히 멈춰버리게 됩니다.

연구 결과

연구진은 세 가지 인기 있는 AI 모델(Qwen, LLaVA, Gemma)을 대상으로 테스트를 진행했습니다. 결과는 다음과 같았습니다.

더 효과적임: 그들의 새로운 공격은 "막힌 파이프"를 의도적으로 막음으로써, 기존 방식보다 AI를 실패하게 만드는 데 훨씬 더 성공적이었습니다. 이 공격은 아주 미세하고 눈에 보이지 않는 이미지 변화만으로 "개"에 대한 명확한 설명을 "초록색 슬라임" 같은 헛소리로 바꿀 수 있었습니다.
AI의 자연스러운 특성: 새로운 "스마트한" 공격 없이도, 연구진은 AI를 속이려고 시도할 때 수학적으로 정보가 이러한 취약한, 막힌 파이프 쪽으로 자연스럽게 밀려간다는 것을 발견했습니다. AI는 바로 이런 방식으로 취약하도록 설계되어 있습니다.
모든 AI가 동일하지 않음: 모델마다 가진 "막힌 파이프"의 수가 달랐습니다. 막힌 파이프가 가장 많았던 모델(Qwen)이 가장 깨뜨리기 쉬웠습니다. 막힌 파이프가 더 적었던 모델(Gemma)은 깨뜨리기가 더 어려웠지만, 여전히 취약했습니다.

시사점

논문은 이러한 AI 모델을 더 안전하고 견고하게(robust) 만들기 위해서는, 단순히 "넓은 파이프"(네트워크의 강한 부분)를 강화하는 것에만 집중해서는 안 된다고 결론짓습니다. 우리는 또한 "막힌 파이프"(0에 가깝거나 약한 방향)를 고치거나 보호해야 합니다.

정보가 이러한 작고 약한 채널에서 손실되는 것을 막을 수 있다면, AI는 속이기가 훨씬 더 어려워질 것입니다.

요약하자면: 저자들은 AI 모델의 가장 약한 내부 경로를 사용하도록 강제함으로써 모델을 무너뜨리는 새로운 방법을 찾아냈으며, 그 특정 취약한 경로들을 고치는 것이 모델을 더 강하게 만드는 열쇠라고 제안합니다.

기술 요약: 중간 스펙트럼 부공간(Intermediate Spectral Subspaces)의 관점에서 본 시각-언어 모델의 적대적 취약성

문제 정의
심층 신경망, 특히 현대적인 시각-언어 모델(VLM)은 시각적으로는 인지할 수 없으면서도 모델의 예측을 변화시키는 적대적 섭동(adversarial perturbations)에 취약한 것으로 알려져 있다. 기존 연구들은 입력 공간의 기하학적 구조, 결정 경계의 특성, 특징 강건성, 그리고 입력-출력 자코비안(Jacobian)을 통해 이러한 취약성을 광범위하게 분석해 왔으나, 네트워크 내부의 선형 변환 내에서의 스펙트럼 동작(spectral behavior)에 대한 연구는 여전히 미개척 영역으로 남아 있다. 구체적으로, 트랜스포머 기반 VLM의 핵심을 구성하는 선형 계층(예: 셀프 어텐션, 피드포워드 네트워크, 퓨전 모듈)의 특이 벡터 부공간(singular-vector subspaces)을 통해 적대적 신호가 어떻게 전파되는지에 대한 이해가 부족하다. 본 논문은 "바텀(bottom)" 특이 벡터 부공간—정보를 감쇄시키는 0에 가까운 특이값과 연관된 방향들—이 이전에 간과되었던 공격 표면(attack surface)이 될 수 있는지 조사한다.

방법론
저자들은 적대적 전파와 부적절한 조건의 역문제(ill-posed inverse problems) 사이의 불안정성 사이의 유사성에 기초한 프레임워크를 제안한다. 역문제에서 재구성이 근-영(near-null) 특이 방향을 따라 실패하는 것처럼, 저자들은 중간 표현(intermediate representations)을 선형 변환의 바텀 특이-벡터 부공간에 정렬시키는 것이 정보의 감쇄와 의미적 퇴화를 초래한다는 가설을 세운다.

이를 테스트하기 위해, 저자들은 화이트박스 비표적 공격(white-box untargeted attack)인 **스펙트럼 부공간 유도 표현 공격(Spectral Subspace Guided Representation Attack, SSGRA)**을 도입한다. 방법론은 다음과 같다:

스펙트럼 분해(Spectral Decomposition): VLM 내 선형 변환의 가중치 행렬에 대해 특이값 분해(SVD)를 수행한다.
정렬 측정(Alignment Measure): 특정 특이 부공간(top- $k$ 대 bottom- $k$ )에 투영된 토큰 표현의 에너지를 정량화하는 지표 $\Psi_k$ 를 정의한다.
최적화 목적 함수(Optimization Objective): 다음 두 항을 결합한 최적화 문제를 구성한다:
- 특징 계층 구조를 파괴하기 위한 표현 불일치 항(Blockwise Similarity Attack 기반).
- 선택된 선형 계층의 바텀- $s$ 특이-벡터 부공간과의 정렬을 명시적으로 최대화하여 적대적 중간 표현을 유도하는 스펙트럼 가이드 항.
계층별 프로빙(Layer-wise Probing): 저자들은 명시적인 스펙트럼 가이드 없이도 적대적 최적화가 어떻게 자연스럽게 표현을 바텀 특이 부공간으로 이동시키는지 분석하고, 서로 다른 VLM(Qwen2.5-VL, LLaVA-1.5, Gemma-3)의 스펙트럼 특성을 비교하기 위해 프로빙 메커니즘을 사용한다.

주요 기여

새로운 공격 표면 식별: 본 논문은 트랜스포머 기반 VLM에서 이전에 간과되었던 중요한 스펙트럼 공격 표면으로서 선형 변환의 바텀 특이-벡터 부공간을 식별하였다.
SSGRA 공격: 저자들은 이러한 통찰력을 활용한 스펙트럼 가이드 화이트박스 공격인 SSGRA를 제안한다. 이는 기존의 최첨단 베이스라인(FDA, DRA, BSA와 같은 특징 공간 공격 및 CE, EGA와 같은 출력 레벨 공격 포함)보다 개선된 효과를 입증한다.
스펙트럼 역학의 실증적 검증: 계층별 프로빙을 통해, 비표적 적대적 최적화가 명시적인 스펙트럼 가이드 없이도 정보 감쇄형(bottom) 특이 부공간에 대한 정렬을 높이는 경향이 있음을 보여준다.
VLM의 스펙트럼 특성화: 저자들은 세 가지 주요 VLM에 대한 스펙트럼 분석을 제공하며, 근-영(near-null) 특이 방향의 비율이 높은 모델(예: Qwen2.5-VL)이 낮은 모델(예: Gemma-3)에 비해 SSGRA에 더 큰 취약성을 보임을 밝혀냈다.

실험 결과
실험은 ImageNet 데이터셋을 사용하여 세 가지 최첨단 VLM(Gemma-3 4B, Qwen2.5-VL 7B, LLaVA-1.5 7B)을 대상으로 수행되었다.

공격 효과성: SSRA는 모든 베이스라인을 일관되게 능가했다. Qwen2.5-VL의 경우, 가장 강력한 베이스라인과 비교했을 때 BERTScore F1에서 7.90–19.74%, ROUGE-L F1에서 30.50–97.93%의 추가적인 상대적 성능 저하를 달성했다. LLaVA-1.5와 Gemma-3에서도 섭동 예산(perturbation budget)에 따라 성능이 확장되며 우수한 성능을 보였다.
질적 분석: 시각적 검사를 통해 베이스라인 공격들이 대개 미세한 환각(hallucination)을 동반하면서도 일반적인 의미적 내용은 유지하는 반면, SSGRA는 빈번하게 완전히 무의미하거나 관련 없는 예측(예: 구급차 대신 자동차 사고를 설명함)을 유도함을 확인했다.
스펙트럼 상관관계: 결과는 근-영 특이 방향의 밀도와 취약성 사이의 상관관계를 확인해주었다. 근-영 특이값을 가장 많이 보유한 Qwen2.5-VL이 가장 취약했으며, 가장 적게 보유한 Gemma-3가 가장 견고했다.
계산 비용: SSGRA는 다른 최적화 기반 공격과 유사한 계산 복잡도(FLOPs로 측정)를 유지하며, 유의미한 오버헤드가 발생하지 않았다.

의의 및 주장
본 논문의 주요 의의는 적대적 취약성의 관점을 입력 공간의 특성에서 중간 선형 변환의 스펙트럼 구조로 전환하는 데 있다고 주장한다. 적대적 최적화가 자연스럽게 근-영 특이 방향을 이용한다는 것을 입증함으로써, 저자들은 강건성 전략이 단순히 큰 특이값을 제한하는 것(스펙트럼 정규화를 통해)뿐만 아니라 근-영 특이 방향의 제어를 다루어야 한다고 주장한다.

저자들은 본 연구가 비표적 화이트박스 공격을 통해 취약성의 스펙트럼 메커니즘을 격리했음을 명시적으로 밝힌다. 또한, 이 프레임워크의 전이(transfer-based) 및 블랙박스 설정에 대한 적용 가능성은 아직 조사되지 않았으며 향후 연구 과제로 남아 있다고 겸허히 언급한다. 본 연구 결과는 표현을 바텀 특이-벡터 부공간에 정렬시키는 것을 명시적으로 제어하는 것이 VLM의 적대적 강건성을 향상시키기 위한 보완적인 전략이 될 수 있음을 시사한다.

핵심 아이디어: "새는 파이프"

새로운 공격 방식: "막힘 유도기" (SSGRA)

연구 결과

시사점

유사한 논문