💬 NLP

Source-Modality Monitoring in Vision-Language Models

이 논문은 시각-언어 모델(VLM)이 정보의 출처(이미지 또는 텍스트)를 추적하고 식별하는 '소스 양식 모니터링(source-modality monitoring)' 능력을 정의하고, 모델이 정보를 결합할 때 구문적 신호보다 의미적 신호에 더 의존하는 경향이 있음을 실험을 통해 분석했습니다.

원저자: Etha Tianze Hua, Tian Yun, Ellie Pavlick

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Etha Tianze Hua, Tian Yun, Ellie Pavlick

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 제목: AI의 '출처 감별사' 능력 테스트

1. 상황 설정: "눈과 귀가 섞인 혼란스러운 상황"

상상해 보세요. 당신이 아주 바쁜 요리사라고 해봅시다. 옆에서 보조 요리사가 **"지금 팬에 있는 건 소금이에요!"**라고 말하는데, 정작 당신의 눈에는 설탕이 보입니다. 이때 당신은 혼란에 빠지겠죠? "방금 들은 말이 소금이라는 거야, 아니면 눈에 보이는 게 소금이라는 거야?"

현재의 멀티모달 AI(사진과 글을 동시에 이해하는 AI)도 이와 비슷합니다. 사진 한 장과 그에 대한 설명 글을 동시에 주었을 때, AI가 **"사진 속 내용"**을 물어보면 사진을 보고, **"글 내용"**을 물어보면 글을 보고 대답해야 합니다. 이걸 논문에서는 **'소스 모달리티 모니터링(Source-Modality Monitoring)'**이라고 부릅니다.

2. 실험: "가짜 정보로 낚시하기"

연구진은 AI를 골탕 먹이기 위해 **'엇박자 퀴즈'**를 냈습니다.

사진: 말을 타고 있는 사람
글: 오토바이를 탄 사람
질문: "사진 속에 뭐가 있나요?" $\rightarrow$ (정답: 말 탄 사람)
질문: "글에는 뭐라고 적혀 있나요?" $\rightarrow$ (정답: 오토바이 탄 사람)

만약 AI가 사진과 글을 제대로 구분하지 못한다면, 질문이 무엇이든 상관없이 자기가 더 믿음직하다고 생각하는 쪽(예: 사진)으로만 대답할 것입니다.

3. 발견: "AI는 어떻게 정답을 맞힐까?" (두 가지 단서)

연구 결과, AI는 두 가지 방식으로 정보를 구분한다는 것을 알아냈습니다.

첫 번째: "이름표(태그) 보고 알기" (문법적 신호)
마치 서류 봉투에 [사진], **[텍스트]**라고 이름표를 붙여놓은 것과 같습니다. AI는 이 이름표를 보고 "아, 이 부분은 사진이구나!"라고 인식합니다. 이름표가 있으면 훨씬 더 정확하게 대답합니다.
두 번째: "느낌(분위기) 보고 알기" (의미적 신호)
이게 아주 흥미로운 부분입니다! 이름표를 떼버려도 AI는 눈치를 챕니다. 사진 데이터는 특유의 '데이터 느낌'이 있고, 글자 데이터는 또 다른 '데이터 느낌'이 있거든요. 마치 우리가 이름표가 없어도 "이건 그림 같은데?" 혹은 **"이건 문장 같은데?"**라고 직관적으로 느끼는 것과 비슷합니다.

4. 결론: "AI는 생각보다 눈치가 빠르지만, 가끔은 낚인다"

연구진은 AI의 뇌(데이터 표현)를 살짝 건드려서 **"이름표를 바꿔치기"**하거나 **"데이터의 느낌을 조작"**해 보았습니다. 그랬더니 AI가 엉뚱한 대답을 하기 시작했습니다.

이 연구가 왜 중요할까요?
앞으로 AI는 단순히 사진을 보는 수준을 넘어, "어제 회의 내용 알려줘", "이 영상에서 주인공이 한 말 뭐야?" 같은 복잡한 일을 수행하는 **'AI 비서(Agent)'**가 될 것입니다. 이때 AI가 정보의 출처(이게 영상인지, 음성인지, 문서인지)를 정확히 구분하지 못하면 큰 사고가 날 수 있습니다.

이 논문은 AI가 정보를 어떻게 분류하고 기억하는지 그 **'뇌 구조의 작동 원리'**를 밝혀냄으로써, 더 똑똑하고 믿을 수 있는 AI를 만드는 밑거름을 제공합니다.

요약하자면:

"AI는 이름표(태그)를 보고 정보를 구분하기도 하지만, 이름표가 없어도 데이터 자체의 '느낌'을 통해 출처를 파악하는 능력이 있다. 하지만 이 두 가지 신호가 충돌하면 혼란을 겪기도 하므로, 더 완벽한 AI를 만들려면 이 메커니즘을 잘 이해해야 한다!"

[기술 요약] 시각-언어 모델(VLM)의 소스 모달리티 모니터링 연구

1. 문제 정의 (Problem Statement)

멀티모달 AI 에이전트가 발전함에 따라, 모델은 다양한 정보원(이미지, 텍스트, 오디오 등)으로부터 정보를 수집하고 이를 업데이트해야 합니다. 이때 인간과 효과적으로 상호작용하기 위해서는 **"어떤 정보가 어떤 모달리티(Source Modality)에서 왔는가"**를 추적하고 전달하는 능력이 필수적입니다.

본 논문은 이를 **'소스 모달리티 모니터링(Source-Modality Monitoring)'**이라 정의하며, 이를 더 넓은 의미의 **'결합 문제(Binding Problem)'**의 일종으로 간주합니다. 즉, 모델이 특정 콘텐츠(예: 이미지 내용)를 추상적인 역할(예: "이미지")에 올바르게 연결(Binding)할 수 있는지를 탐구합니다. 특히, 모델이 이 결합을 수행할 때 명시적인 **구문적 신호(Syntactic signals, 예: <image> 태그)**에 의존하는지, 아니면 데이터의 분포적 특성인 **의미적 신호(Semantic signals, 예: 이미지 토큰의 분포적 특징)**에 의존하는지를 핵심 질문으로 던집니다.

2. 연구 방법론 (Methodology)

2.1 타겟 모달리티 검색 작업 (Target-Modality Retrieval Task)

모델의 모니터링 능력을 측정하기 위해 **'불일치 입력 쌍(Inconsistent Input Pair)'**을 설계했습니다.

데이터 구성: 이미지와 내용이 서로 일치하지 않는(Inconsistent) 이미지-캡션 쌍을 생성합니다. (예: 이미지는 '말을 타는 사람'인데, 캡션은 '오토바이를 타는 사람'인 경우)
태스크: 모델에게 "이미지에 무엇이 있는가?" 또는 "캡션에 무엇이 적혀 있는가?"라고 질문하여, 모델이 요청받은 특정 모달리티의 정보만을 정확히 추출하는지 측정합니다.
평가 지표:
- Selectivity (선택성): 모델이 요청된 모달리티의 정보를 얼마나 정확하게 선택하는지를 나타내는 지표 ([-1, 1] 범위).

2.2 실험 설계 및 변인 통제

11개의 오픈소스 VLM을 대상으로 다음과 같은 실험을 수행했습니다.

구문적 신호 조작 (Structural Perturbation): 명시적 모달리티 마커(예: <image>, </image>)를 제거(Remove)하거나 서로 맞바꿈(Swap)하여 모델의 반응 변화를 관찰합니다.
의미적 신호 분석 (Distributional Analysis): 이미지 토큰과 텍스트 토큰의 임베딩 공간에서의 선형 분리 가능성(Linear Separability)을 측정합니다.
심볼릭 결합 테스트 (Symbolic Binding): 모달리티 이름 대신 'Alpha', 'Beta' 같은 임의의 기호를 사용하여 모델이 순수하게 기호적 결합이 가능한지 확인합니다.
개입 실험 (Learned Intervention): 학습된 벡터( $\delta$ )를 마커나 콘텐츠 토큰에 더하여 모델의 모달리티 귀속(Attribution)을 의도적으로 왜곡(Misattribution)시킬 수 있는지 테스트합니다.

3. 주요 연구 결과 (Key Results)

VLM의 결합 능력 확인: 대부분의 최신 VLM은 높은 선택성(Selectivity)을 보이며, 요청된 모달리티의 정보를 잘 찾아냅니다. 특히 명시적인 마커 토큰을 사용하는 모델(Qwen2.5-VL, Gemma-3 등)이 그렇지 않은 모델보다 성능이 우수했습니다.
하이브리드 메커니즘 (Syntactic + Semantic):
- 모델은 순수하게 기호(Symbol)만으로 결합하는 능력도 갖추고 있습니다.
- 하지만 마커를 제거하거나 바꿨을 때 성능이 저하되더라도 완전히 0(무작위)으로 떨어지지는 않습니다. 이는 모델이 **콘텐츠 자체의 분포적 특징(의미적 신호)**을 사용하여 모달리티를 구분하고 있음을 시사합니다.
- 비대칭성 발견: 모델은 '이미지'를 식별하는 데는 매우 강건(Robust)하지만, '캡션/텍스트'를 식별할 때는 명시적인 마커에 더 크게 의존하는 경향을 보였습니다.
신호의 전파 (Propagation): 마커 토큰의 정보는 단순히 마커 위치에 머물지 않고, 문맥화(Contextualization) 과정을 통해 하위 콘텐츠 토큰의 표현(Representation) 속으로 전파되어 모달리티 정체성을 심어줍니다.
개입을 통한 조작 가능성: 학습된 벡터를 통해 모델의 모달리티 귀속을 반대로 뒤집는 것이 가능함을 확인했습니다. 특히 모델의 초기 및 중간 레이어에서 이러한 개입이 가장 효과적이었습니다.

4. 연구의 의의 (Significance)

이론적 기여: AI의 '결합 문제(Binding Problem)'가 단순한 기호적 논리 문제가 아니라, 구문적 구조와 의미적 분포가 결합된 복합적인 메커니즘임을 입증했습니다.
실무적 시사점: 향후 멀티모달 에이전트가 복잡한 환경에서 작동할 때, 모든 입력에 명시적인 태그를 붙이는 것은 불가능합니다. 따라서 모델이 텍스트나 이미지의 **내재적 특성(Distributional cues)**을 통해 소스를 스스로 식별하는 능력을 키우는 것이 중요함을 시사합니다.
강건성(Robustness)에 대한 통찰: 모델이 특정 모달리티(예: 텍스트)에 대해 마커에 과도하게 의존할 경우, 마커가 없는 상황에서 정보 소스를 혼동할 위험이 있음을 보여주며, 이는 모델의 신뢰성 설계에 중요한 지표가 됩니다.