[기술 요약] 멀티모달 파운데이션 모델(MFM)의 보안-안전 연속체: 정보 흐름 및 비대칭 위협에 대한 게임 이론적 분석

1. 문제 정의 (Problem Statement)

멀티모달 파운데이션 모델(MFM)은 텍스트, 이미지, 오디오 등 다양한 데이터를 통합하여 강력한 능력을 발휘하지만, 동시에 새로운 차원의 안전(Safety) 및 보안(Security) 위협을 야기합니다.

• 기존 연구의 한계: 기존 연구들은 '안전(의도치 않은 실패)'과 '보안(악의적 공격)'을 분리하여 다루거나, 특정 공격 유형(프롬프트 인젝션, 데이터 포이즈닝 등)에만 집중하는 경향이 있습니다. 이로 인해 모달리티 간 상호작용을 통해 발생하는 연쇄적 실패(Cascading failures)를 설명하는 데 한계가 있습니다.
• 핵심 과제: 모델 수준의 취약점과 시스템 수준의 상호작용이 어떻게 결합되어 위협을 증폭시키는지, 그리고 왜 기존의 모델 중심 방어 기법이 적응형 공격(Adaptive attacks)에 취약한지를 규명할 통합적 프레임워크가 필요합니다.

2. 방법론 (Methodology)

본 논문은 **정보 이론(Information Theory)**과 **게임 이론(Game Theory)**을 결합하여 MFM의 위협과 방어를 분석하는 독창적인 프레임워크를 제안합니다.

A. 정보 이론적 추상화 (Shannon-Hartley 정리 응용)

모델의 정보 전달 능력을 채널 용량($C$)으로 정의하고, 이를 네 가지 핵심 요소로 분해하여 분석합니다.

• 채널 용량 ($C$): 모델이 과업 관련 정보를 신뢰성 있게 전달할 수 있는 능력.
• 신호 ($S$): 입력 데이터에서 추출할 수 있는 의미 있는 정보(Semantic information).
• 노이즈 ($N$): 신호를 왜곡하는 무관하거나 악의적인 정보(Adversarial perturbations 등).
• 대역폭 ($B$): 시스템/에이전트가 허용된 정보 흐름에 따라 행동할 수 있는 권한 및 경로(Authorized Information Pathway).

B. 위협 분류 체계 (Taxonomy)

정보 흐름(Information Flow)을 기준으로 위협을 체계화합니다.

• 모델 수준 (Safety): 예측(Prediction), 학습(Learning), 역추출(Extraction) 흐름을 대상으로 하며, 주로 신호($S$)를 왜곡하거나 노이즈($N$)를 주입하여 채널 용량을 저하시킵니다.
• 시스템 수준 (Security): 에이전트의 행동(Action), 상호작용(Interaction), 메모리(Memory) 흐름을 대상으로 하며, 허가되지 않은 정보 경로를 통해 대역폭($B$)을 장악합니다.

C. 게임 이론적 분석 (Minimax Formulation)

공격자와 방어자 간의 상호작용을 결정론적 미니맥스(Deterministic Minimax) 게임으로 모델링하여, 공격자는 피해를 최대화하고 방어자는 이를 최소화하려는 전략적 관계를 수학적으로 분석합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 제안: 정보 이론을 통해 안전과 보안을 하나의 연속체(Continuum)로 묶어 분석할 수 있는 원칙적인 기반을 마련했습니다.
2. 포괄적 분류 체계 구축: 42개의 모델 수준 공격과 31개의 시스템 수준 공격을 포함하는 방대한 분류 체계를 제시했습니다.
3. 방어 비대칭성(Structural Defense Asymmetry) 규명: 모델 중심 방어(노이즈 제거 등)는 공격이 강해질수록 효과가 로그 함수적으로 감소하는 반면, 시스템 수준 방어(대역폭 제한)는 결정론적인 보호를 제공함을 수학적으로 증명했습니다.
4. 방어 커버리지 지수(DCI) 도입: 다양한 방어 기법의 효율성을 정량적으로 평가할 수 있는 지표를 제안했습니다.
5. 아키텍처 원칙 제시: 격리(Compartmentalization)와 임계치 초과 시 시스템을 강제 종료하는 '자기 파괴적 회로 차단기(Self-destructive circuit breakers)' 개념을 제안했습니다.

4. 연구 결과 (Results)

• 모델 수준 방어의 한계: JPEG 압축이나 언어 도구(LanguageTool) 같은 노이즈 제거 방식은 단일 공격에는 효과적이지만, 여러 모달리티를 동시에 공격하는 'Co-attack'에는 방어 성능이 급격히 떨어집니다.
• 시스템 수준 방어의 우월성: 시스템 수준에서 허가된 행동 범위를 제한하는 대역폭 제어(Bandwidth constraints)는 공격의 강도와 무관하게 매우 강력하고 일관된 보호를 제공합니다. (예: DataSentinel과 같은 프롬프트 인젝션 방어 기법의 높은 성능 확인)
• 실험적 검증: 15개의 대표적인 방어 기법을 DCI로 평가한 결과, 시스템 수준의 제약 조건이 모델 수준의 메커니즘보다 훨씬 높은 방어 커버리지를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 논문은 MFM의 보안 연구 방향을 **"모델의 견고함(Robustness) 강화"**에서 **"시스템의 정보 흐름 제어(Information Flow Control)"**로 전환해야 함을 시사합니다.

• 학술적 의의: 파편화되어 있던 MFM의 안전/보안 연구를 정보 이론이라는 단일한 언어로 통합하여 체계화했습니다.
• 실무적 의의: AI 에이전트 시스템 설계 시, 모델 자체의 성능 개선에만 매달릴 것이 아니라, 에이전트의 권한을 격리하고(Compartmentalization), 위험 상황 시 시스템을 즉시 차단할 수 있는 안전 장치(Circuit Breaker)를 설계하는 것이 훨씬 효율적이고 강력한 방어 전략임을 입증했습니다.