🤖 AI

Securing Multimodal AI through Internal Information Decomposition

본 논문은 부분 정보 분해(Partial Information Decomposition)에서 영감을 받은 플로우벡터(FlowVectors)를 이용한 내부 교차 모달 일관성 모니터링을 통해 적대적 공격을 탐지함으로써 멀티모달 AI를 보호하는 경량 추론 시점 프레임워크인 FlowGuard를 제안하며, 이는 최소한의 지연 시간 및 유틸리티 손실로 공격 성공률을 크게 감소시킨다.

원저자: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

게시일 2026-07-27

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 카메라를 통해 세상을 보고 마이크를 통해 당신에게 말을 거는 로봇을 만들고 있다고 상상해 보세요. 이 로봇은 이미지와 단어를 결합하여 일어나는 일을 이해하는 초스마트 AI인 '멀티모달 거대 언어 모델(Multimodal Large Language Model)'입니다. 하지만 여기 까다로운 문제가 있습니다. 로봇이 무해한 사진과 무해한 문장을 본다고 해서 그 둘의 '조합'이 반드시 안전하다는 뜻은 아닙니다. 이것은 마치 요리사에게 케이크 사진과 케이크 레시피를 건네주면서, 귀에 대고 독을 넣으라는 비밀 코드를 속삭드는 것과 같습니다. 사진도 괜찮아 보이고 레시피도 괜찮아 보이지만, 최종 요리는 위험해질 수 있습니다. 이것이 바로 연구자들이 우려하는 새로운 종류의 위험입니다: 해커들이 나쁜 의도를 이미지와 텍스트에 나누어 담아, 각각의 입력값은 의심스럽지 않게 보이면서도 결합되었을 때 AI를 속여 해로운 행동을 하게 만드는 것입니다.

이 교활한 속임수를 잡아내기 위해 과학자들은 보통 보안 요원이 가방과 신분증을 하나씩 따로 검사하듯, 사진이나 텍스트를 개별적으로 확인하려고 시도합니다. 하지만 이 논문은 더 똑똑한 방법을 제안합니다: 단순히 입력을 확인하는 대신, 로봇의 뇌가 그것들을 어떻게 '생각'하는지를 관찰해야 한다는 것입니다. 핵심 아이디어는 로봇이 정상적으로 작동할 때, 사진과 텍스트는 서로 일치하며 로봇이 명확하고 확신 있는 결정을 내리도록 도와야 한다는 것입니다. 만약 해커가 로봇을 속이려 한다면, 이 내부적인 합의가 깨집니다. 로봇의 뇌는 혼란에 빠지거나, 사진과 텍스트가 서로 반대 방향으로 끌어당기게 됩니다. 비록 최종 답변은 매끄럽게 보일지라도 말입니다. 이 논문은 FlowGuard라는 새로운 안전 시스템을 제안하는데, 이는 단순한 '생각 탐정'처럼 작동합니다. 즉, 표면적인 단어나 픽셀을 체크하는 것이 아니라, 로봇의 내부 추론 과정을 지켜보며 사진과 텍스트가 서로 싸우고 있는지, 혹은 이상하게 행동하고 있는지를 포착합니다.

FlowGuard 이야기: "사고의 균열"을 잡아내다

연제혁 교수와 동료들이 이끄는 연구진은 이러한 AI 모델이 어떻게 작동하는지에 대한 매혹적인 사실을 발견했습니다. 여러분이 모델에게 일반적인 이미지와 일반적인 질문을 주면, 이미지를 보는 뇌의 부분과 텍스트를 읽는 부분이 보통 아주 잘 어울립니다. 그들은 정보를 공유하고, 무엇이 중요한지에 대해 동의하며, 최종 답변은 안정적이고 확실하게 느껴집니다. 이것은 마치 두 친구가 함께 모래성을 쌓는 것과 같습니다. 두 사람 모두 성이 어떤 모습이어야 하는지 알고 있으며, 그들의 결합된 노력은 성을 더 튼튼하고 상세하게 만듭니다.

하지만 공격자가 모델을 '탈옥(jailbreak)'시키려 할 때—즉, 사진이나 텍스트 속에 나쁜 지시를 숨겨서 모델이 안전 규칙을 무시하도록 강제할 때—그 조화는 깨집니다. 논문에 따르면, 공격자가 사진과 텍스트를 각각 무해해 보이도록 충분히 영리하게 꾸몄더라도, 모델이 이 둘을 결합하려고 하는 순간 무언가 잘못됩니다. 내부 논리가 '균열(fractured)'됩니다. 사진은 한 가지를 외치고 있는데 텍스트는 다른 것을 속삭이거나, 혹은 그 조합이 모델의 뇌가 매끄럽게 해결할 수 없는 혼란스러운 엉망진창을 만들어낼 수 있습니다.

이를 잡기 위해 팀은 FlowGuard를 구축했습니다. FlowGuard를 문 앞의 경비원이 아니라, 로봇의 뇌 안에 앉아 있는 '번역가'라고 생각해보세요. FlowGuard는 최종 답변만을 보는 것이 아니라, 로봇의 의사 결정 과정 중 아주 첫 번째 찰나를 엿봅니다. FlowGuard는 세 가지 질문을 빠르게 던집니다:

로봇이 오직 사진만 본다면 뭐라고 할 것인가?
로봇이 오직 텍스트만 읽는다면 뭐라고 할 것인가?
로봇이 둘 다 함께 볼 때는 뭐라고 하는가?

그런 다음, 이 세 가지 답변을 비교합니다. 안전한 상황에서 '둘 다'의 답변은 빨간색과 노란색 물감을 부드럽게 섞어 오렌지색을 만드는 것처럼, 다른 두 답변의 행복한 혼합이어야 합니다. 하지만 공격이 발생하면, '둘 다'의 답변은 갑자기 이상한 색으로 변하거나, 빨간색과 노란색 물감이 서로 섞이기를 거부할 수도 있습니다. FlowGuard는 이 '혼합' 과정을 특정한 수학적 개념(부분 정보 분해, Partial Information Decomposition에서 영감을 얻음)을 사용하여 측정하고, 이를 통해 FlowVector를 생성합니다. 이것은 사진과 텍스트가 어떻게 상호작용하는지를 정확히 설명하는 네 개의 숫자로 된 작은 코드입니다.

중복성 (Redundancy): 사진과 텍스트가 서로 동의하는가? (높은 중복성은 그들이 같은 생각을 하고 있음을 의미합니다).
독자성 (Uniqueness): 어느 한쪽이 대화를 독점하고 있는가? (사진이 소리를 지르고 텍스트가 침묵하고 있다면, 이는 높은 시각적 독자성을 의미합니다).
시너지 (Synergy): 둘을 결합하는 것이 답변을 더 명확하게 만드는가, 아니면 더 혼란스럽게 만드는가? (좋은 시너지는 전체가 부분의 합보다 크다는 것을 의미하며, 나쁜 시너지는 결합이 혼돈을 창조함을 의미합니다).

연구팀은 오직 '좋은' 예시들—로봇이 완벽하게 행동했던 수천 개의 정상적인 사진과 질문들—만을 사용하여 FlowGuard를 훈련시켰습니다. 그들은 AI 탐지기(Isolation Forest)가 '정상적인' 흐름이 무엇인지 인식하도록 가르쳤습니다. 오직 좋은 행동만을 가지고 훈련시켰기 때문에, 이 탐지기는 조금이라도 정상적인 패턴에서 벗어난 것을 발견하면 그것이 수상하다는 것을 알게 됩니다. 이것은 마치 보안 시스템에 일반적인 집의 소리를 가르치는 것과 같습니다. 침입자가 변장을 하고 있더라도, 창문이 깨지거나 바닥 판이 이상한 방식으로 삐걱거린다면 알람이 울리는 것과 같습니다.

연구 결과

결과는 놀라울 정도로 효과적이었습니다. 연구진은 ASCII 아트에 나쁜 단어를 숨기거나, 보이지 않는 픽셀 변화로 이미지를 뒤섞거나, 사진과 문장에 나쁜 지시를 나누어 담는 등 다양한 종류의 공격을 대상으로 FlowGuard를 테스트했습니다.

방어책이 없을 때, 이 모델들은 매우 취약했습니다. 가장 교활한 공격의 경우, 모델들은 90% 이상의 확률로 해로운 콘텐츠를 생성하며 기꺼이 실패했습니다. 하지만 FlowGuard를 켰을 때, 이러한 공격의 성공률을 15% 미만으로 대폭 낮추었습니다. 많은 경우, FlowGuard는 거의 모든 시도를 잡아내어 실패율을 한 자릿수(교차 모달 공격의 경우 약 6%~9%)로 떨어뜨렸습니다.

정말 멋진 점은 FlowGuard가 나쁜 놈들을 막는 것뿐만 아니라, 선한 사람들도 실수로 막지 않았다는 것입니다. 연구진은 FlowGuard가 까칠하게 굴며 정상적인 질문에 답변하기를 거부하는지 확인했습니다. 그 결과, FlowGuard는 정상적인 입력에 대해 약 2.4%의 오류만을 범했는데, 이는 안전을 위해 흔히 무해한 질문까지 차단해버리는 다른 안전 방식들에 비해 훨씬 뛰어난 수치입니다. 게ట 더, 매우 빨랐습니다. 다른 안전 점검 방식들이 복잡한 이미지 재구성을 실행하느라 몇 초의 시간이 걸리는 반면, FlowGuard는 약 1.3초 만에 임무를 수행하여 실시간 사용이 가능함을 증명했습니다.

또한 이 논문은 이 기술이 40억 개의 '뇌 세포'를 가진 작은 로봇부터 700억 개의 세포를 가진 거대한 로봇까지 다양한 유형의 로봇에서 작동함을 보여주었습니다. 심지어 API를 통해 접근하는 모델(전체 뇌를 볼 수는 없고 상위 예측값만 볼 수 있는 경우)에서도 작동했는데, 이는 '사고의 균열' 신호가 특정 설계의 글리치가 아니라 모델이 작동하는 방식의 근본적인 부분임을 입증합니다.

결론

이 논문은 멀티모달 AI를 보호하는 최선의 방법은 입력값 주변에 더 높은 벽을 쌓는 것이 아니라, AI가 어떻게 생각하는지에 귀를 기울이는 것이라고 제안합니다. 사진과 텍스트가 서로 사이좋게 지내지 못하는 순간을 감시함으로써, FlowGuard는 로봇이 문장을 완성하기도 전에 해커의 속임수를 포착할 수 있습니다. 이는 가볍고 빠르며 놀라울 정도로 강력한 보안 방식이며, 보안의 핵심은 기계의 마음속에 있는 내부적인 조화에 주목하는 것일 수도 있음을 시사합니다.

기술 요약: 내부 정보 분해를 통한 멀티모달 AI 보안

문제 정의

멀치모달 대규모 언어 모델(MLLM)은 단일 모달 시스템에는 존재하지 않는 새로운 공격 표면을 도입합니다. 공격자는 악의적인 의도를 여러 모달리티(텍text 및 이미지)에 분산시켜, 개별 입력은 무해하고 내부적으로 일관되어 보이지만, 이들의 결합이 안전하지 않은 행동을 유도하도록 만들 수 있습니다. 이러한 "조합적(compositional)" 실패 모드는 기존의 안전 방어 체계를 무력화합니다. 기존 방식들은 원시 입력을 정화하거나, 생성된 출력을 검증하거나, 스칼라 신뢰도 지표(예: 가능도, 엔트로피, 퍼플렉시티)를 모니터링하는 데 집중합니다. 그러나 텍스트 전용 및 비전 전용 추론이 각각은 일관되게 나타나더라도, 이들의 융합이 확신에 차 있으면서도 조합적으로 정렬되지 않은 행동을 생성할 때 이러한 방법들은 종종 실패합니다. 핵심 과제는 밑바닥 모델을 수정하거나 적대적 감독에 의존하지 않고, 특히 공격이 미처 발견되지 않았거나 제로샷(zero-shot) 상황일 때 이러한 실패를 탐지하는 것입니다.

방법론: FlowGuard

저자들은 멀티모달 추론의 내부 일관성을 모니터링하여 유해한 입력을 탐지하는 경량 추론 시점 프레임워크인 FlowGuard를 제안합니다. FlowGuard는 표면적인 입력이나 출력을 검사하는 대신, 단일 모달 및 멀티모달 예측 분포 사이의 상호작용을 분석합니다.

핵심 메커니즘

FlowGuard는 세 가지 서로 다른 조건부 구성을 통해 대상 MLLM을 프로빙(probing)합니다:

텍스트 전용: $P^{(1)}_t = P_M(\cdot \mid \emptyset, Q)$
비전 전용: $P^{(1)}_v = P_M(\cdot \mid I, Q_\emptyset)$ (고정된 중립 프롬프트 사용)
결합 멀티모달: $P^{(1)}_{mm} = P_M(\cdot \mid I, Q)$

시스템은 첫 번째 토큰의 예측 분포( $P^{(1)}$ )에 집중하며, 이는 자기회귀적 증폭이 일어나기 전 모델의 초기 결정 상태를 포착합니다.

FlowVectors 및 부분 정보 분해 (PID)

부분 정보 분해(PID)에서 영감을 얻은 FlowGuard는 텍스트와 비전으로부터의 정보가 어떻게 융합 과정에서 중첩되고, 갈라지며, 안정화되는지를 정량화하는 4차원 FlowVector $\phi(x) = (U_v, U_t, R, S)$ 를 도출합니다:

독자성 (Uniqueness, $U_v, U_t$ ): 방향성 쿨백-라이블러(KL) 발산을 통해 측정됩니다.
- $U_v = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_t)$ : 융합된 사후 확률이 텍스트 전용 사전 확률으로부터 얼마나 벗어나는지 포착합니다 (시각적 지배력).
- $U_t = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_v)$ : 비전 전용 사전 확률로부터의 발산을 포착합니다 (텍스트 지배력).
- 의미: 적대적 조작은 모달리티 영향력의 균형을 깨뜨려 비대칭적인 발산 신호를 유발하는 경우가 많습니다.
중복성 (Redundancy, $R$ ): Jensen-Shannon 발산 $1 - JSD(P^{(1)}_t \parallel P^{(1)}_v)$ $1 - J S D (P_{t}^{(1)} ∥ P_{v}^{(1)})$ 로 측정됩니다.
- 의미: 단일 모달 사전 확률 간의 의미론적 정렬을 포착합니다. 양호한 입력은 정렬된 구조를 유도하지만, 적대적 프롬프트는 상충하는 의도를 도입하여 중복성을 감소시킵니다.
시너지 (Synergy, $S$ ): 엔트로피 감소량으로 측정됩니다: $S = \frac{H(P^{(1)}_t) + H(P^{(1)}_v)}{2} - H(P^{(1)}_{mm})$ $S = \frac{H ( P _{t}^{(1)} ) + H ( P _{v}^{(1)} )}{2} - H (P_{mm}^{(1)})$ .
- 의미: 융합이 불확실성을 감소시키는지(건설적 통합, $S > 0$ ) 아니면 불확실성을 증폭시키는지(불안정한 상호작용, $S < 0$ )를 나타냅니다.

방어 목표

FlowGuard는 안전 탐지를 단일 클래스 분류(one-class classification) 문제로 프레임화합니다. Isolation Forest는 오직 양호한 데이터(예: VQAv2 검증 세트)에서 도출된 FlowVector만을 사용하여 학습됩니다. 이 모델은 "정렬된" 멀티모달 정보 흐름의 압축된 영역을 학습합니다. 적대적 입력은 비정상적인 교차 모달 상호작용(예: 파쇄된 흐름, 음의 시너지, 또는 극단적인 모달리티 지배)을 보이며, 이는 이 공간에서 이상치(outlier)로 나타납니다.

접근 요구사항: FlowGuard는 다음 토큰 확률 분포(또는 API 모델의 경우 충분히 큰 상위- $k$ 로그 확률 꼬리)에 대한 접근만을 필요로 합니다. 모델 가중치, 그래디언트 또는 은닉 활성화 함수를 필요로 하지 않습니다.

주요 기여

프로세스 수준의 멀티모달 안전성: 본 논문은 MLLM의 안전성을 텍스트 전용, 비전 전용, 그리고 결합된 예측 분포 사이의 일관성에 초점을 맞춤으로써 재정의하며, 표면적인 콘텐츠가 아닌 멀티모달 융합 실패를 직접 겨냥합니다.
FlowVectors: 추론 시점에 멀티모달 추론의 내부 정보 흐름을 포착하는 압축된 정보 이론적 특징(중복성, 독자성, 시너지)을 도입했습니다.
제로샷 공격 탐지: 양호한 멀티모달 행동을 단일 클래스 분류를 통해 모델링함으로써, 적대적 학습이나 생성적 검증 없이도 다양한 미지의 탈옥(jailbreak) 공격을 견고하게 탐지할 수 있음을 입증했습니다.

실험 결과

저자들은 여러 MLLM 아키텍처(LLaVA-1.5-7B, Qwen2.5-VL-7B, Gemma-3-4B, LLaMA-3.1-70B)와 텍스트 전용, 비전 전용 및 교차 모달 공격을 포함하는 벤치마크(MM-SafetyBench, VLSafe, VLSU)에서 FlowGuard를 평가했습니다.

공격 성공률(ASR) 감소: FlowGuard는 미지의 공격에 대해 ASR을 $>90\%$ (보호되지 않은 상태)에서 $<15\%$ 로 일관되게 감소시켰습니다. 예를 들어, LLaVA-1.5-7B에서 Universal Master Key(UMK)의 ASR을 96.0%에서 8.7%로, Color-Based Substitution Cipher(CBSC)를 94.8%에서 9.1%로 감소시켰습니다.
유틸리티 보존: 본 프레임워크는 양호한 유틸리티를 베이스라인 성능의 2.4% 이내로 유지했습니다. 또한 복잡한 의미를 가진 양호한 쿼리(MOSSBench)에 대해 2.4%의 허위 양성률(FPR)을 달성하여, 퍼플렉시티 기반(11.2% FPR) 및 신뢰도 기반(14.5% FPR) 탐지기보다 크게 앞섰습니다.
효율성: FlowGuard는 샘플당 약 1.3초(세 번의 순방향 패스 포함)의 지연 시간을 가지며, 이는 MirrorCheck 및 CIDER와 같은 확산 기반 검증 방법보다 최대 6배 빠른 속도를 제공합니다.
강건성: 이 방법은 다양한 모델 규모(4B ~ 70B 파라미터)와 부분 분포 접근 방식(상위- $k$ 로그 확률를 사용하는 GPT-4.1-mini)에서도 강건함을 입증했으며, 평균 ASR 10.4%를 유지했습니다.
절제 연구(Ablation Studies):
- 시너지 ( $S$ ): 시너지 특징을 제거했을 때 가장 큰 성능 저하가 발생했으며, 이는 멀티모달 불확실성 감소의 편차가 주요 탐지 신호임을 나타냅니다.
- 디코딩 단계: 첫 번째 디코딩 단계( $k=1$ )만 모니터링하는 것으로도 포화 상태에 도달했으며, $k$ 를 늘려도 선형적 지연 비용 대비 득한 이득은 미미했습니다.
- 분류기 선택: 단일 클래스 Isolation Forest가 미지의 공격에 대해 지도 학습 기반 MLP보다 우수한 성능을 보였으며, 이는 특정 섭동 패턴에 과적합되는 것을 방지합니다.

의의 및 주장

본 논문은 교차 모달 일관성을 모니터링하는 것이 효율적이고 효과적인 방어책을 제공하며, 유창성과 신뢰도보다 멀티모달 통합의 구조를 강조하는 기존 안전 기준의 근본적인 한계를 해결한다고 주장합니다.

일반화 가능성: 정보 흐름의 구조적 일관성에 의존함으로써, FlowGuard는 특정 공격 패턴에 의존하지 않고 다양한 아키텍처와 미지의 탈옥 전략에 일반화될 수 있는 공격 불가지론적(attack-agnostic) 방어를 제공합니다.
상호 보완성: 저자들은 FlowGuard를 기존의 입력 정화 및 출력 검증 방법과 보완적인 레이어로 위치시키며, 표면적인 체크가 놓치는 멀티모달 통합의 실패를 탐지하는 모델 내부 신호를 제공합니다.
확장성: 이 프레임워크는 모델 재학습이나 그래디언트 접근 없이도 가볍게 작동하므로, 모델 가중치가 독점적이거나 접근 불가능한 실제 시스템 배포에 적합합니다.

저자들은 FlowGuard가 교차 모달 및 비전 공격에는 매우 효과적이지만, 텍스트 전용 공격에 대해서는 약간 더 높은 잔여 ASR(약 13~14%)을 보인다는 점을 언급하며, 포괄적인 보호를 위해 텍스트 특화 방어와의 조합이 필요할 수 있음을 시사했습니다. 또한, 탐지 메커니즘을 공개하는 것이 적응형 공격자에게 정보를 제공할 수 있으며, 이상 탐지 기반 접근 방식은 드물지만 정당한 입력을 잘못 분류할 위험이 있으므로 민감한 애플리케이션에서는 참조 데이터셋의 정교한 큐레이션과 허위 양성 검토가 필요하다고 인정했습니다.