💬 NLP

When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models

이 논문은 멀티모달 거대 언어 모델에서 과업과 무관한 텍스트가 결정 마진(decision margin)에 예측 가능한 아핀 변환(affine transformation)을 유도함으로써 이진 시각적 판단을 체계적으로 편향시킨다는 점을 밝히며, 이러한 효과를 구조화되지 않은 노이즈가 아닌 추정 가능한 기하학적 왜곡으로 규정한다.

원저자: Yinfeng Wang, Zhiyuan Yao, Zheren Fu, Lei Zhang, Zhendong Mao

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yinfeng Wang, Zhiyuan Yao, Zheren Fu, Lei Zhang, Zhendong Mao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 지형에서, 이미지와 언어를 동시에 보고 말할 수 있는 새로운 세대의 시스템이 등장했습니다. 이러한 멀티모달 모델은 이미지를 보고 그에 대한 질문에 답하거나, 장면을 상세하게 묘사하도록 훈련되었습니다. 이들은 사물을 식별하고, 사진 속 텍스트를 읽으며, 복잡한 상황을 추론할 수 있는 강력한 도구입니다. 하지만 이 시스템들은 진공 상태에서 작동하지 않습니다. 실제 응용 분야에서 이들은 이미지와 함께 추가적인 정보, 즉 사용자의 이전 메시지, 검색된 기사, 또는 데이터베이스 항목 등을 함께 전달받는 경우가 많습니다. 이 추가 텍스트는 모델이 이미지를 더 잘 이해하도록 돕기 위한 것입니다. 그러나 만약 그 추가 텍스트가 이미지와 아무런 관련이 없다면 어떻게 될까요? 모델은 그 소음을 무시할까요, 아니면 혼란에 빠질까요? 이 질문은 이러한 지능형 시스템이 시각적 장면과 관련 없는 단어들 사이에서 주의력이 분산될 때 정보를 어떻게 처리하는지에 대한 최근의 조사 핵심에 자리 잡고 있습니다.

연구진은 통제된 실험을 통해 정확히 이 시나리오를 테스트하기 위해 나섰습니다. 그들은 사진 속의 개가 허들을 넘고 있는지 묻는 것과 같은 일련의 이미지와 질문들을 준비했습니다. 그런 다음 각 질문에 대해 두 가지 버전의 입력을 만들었습니다. 첫 번째 버전에서 모델은 이미지와 질문만을 보았습니다. 두 번째 버전에서 모델은 동일한 이미지와 질문을 보되, 프롬프트에 완전히 무관한 텍스트 블록이 삽 함께 삽입되었습니다. 이 텍스트는 책이나 기사에서 가져온 무작위 문장으로, 예를 들어 프랑스로 여행하는 사람에 대한 이야기처럼 개나 허들과는 전혀 상관없는 내용이었습니다. 연구진은 이 무작위 소음이 모델의 생각을 바꿀 것인지를 확인하고자 했습니다.

결과는 놀라웠습니다. 무관한 텍스트가 추가되었을 때, 모델은 단순히 그것을 무시하지 않았습니다. 대신, 모델은 일관되게 답변을 변경했습니다. 더 중요한 점은, 모델이 무작위 방식으로 생각을 바꾼 것이 아니라는 사실입니다. 모델은 이미지가 명확하게 "예"인 상황을 보여줄 때조차도 "아니오"라고 답할 가능성이 현저히 높아졌습니다. 예를 들어, 모델이 개가 점프하고 있다는 것에 확신을 가지고 있었더라도, 무관한 텍스트가 추가되면 종종 주춤하며 개의 점프 여부에 대해 "아니오"라고 답하며 결정을 뒤집었습니다. 이러한 변화는 다양한 유형의 이미지와 다양한 모델에서 나타났으며, 이는 단순한 무작위 오류가 아니라 체계적인 결함임을 시사했습니다. 모델은 단순히 약간 덜 정확해진 것이 아니라, 자신이 보고 있는 시각적 증거를 의심하게 되는 특정 유형의 오류로 내몰리고 있었습니다.

왜 이런 일이 발생하는지 이해하기 위해, 연구진은 단순히 최종 답변만을 보는 것을 넘어 더 깊이 조사했습니다. 그들은 모델이 결정을 내리기 전에 생성하는 내부 확신 점수(confidence scores)를 검토했습니다. 그들은 모델이 정보를 처리하는 방식에서 매우 구적인 패턴을 발견했습니다. 모델이 이미지만 보았을 때는 답변에 대해 특정 수준의 확신을 가졌습니다. 하지만 무관한 텍스트가 추가되었을 때, 그 확신이 사라지거나 혼란스러워진 것이 아니었습니다. 대신, 그 확신은 예측 가능한 수학적 방식으로 변화했습니다. 새로운 확신 수준은 원래의 확신을 왜곡하여 압축하고 특정 방향으로 밀어낸 형태였습니다. 마치 추가된 텍스트가 모델의 확실성을 짜내고 시각적 증거에 불리한 쪽으로 저울을 기울게 만드는 필터처럼 작용하는 것 같았습니다.

이 발견은 모델이 단순히 추가된 단어들 때문에 혼란을 겪었거나, 텍스트가 무작위적인 정적 소음 역할을 했다는 가설을 배제했습니다. 만약 그것이 무작위 소음이었다면 오류는 흩어져 있고 예측 불가능했을 것입니다. 그러나 오류는 엄격한 규칙을 따랐습니다. 연구진은 이 규칙을 모델의 내부 판단이 텍스트의 존재에 의해 늘어나고 이동하는 일관된 변화라고 설명했습니다. 그들은 이 변화를 측정하고 심지어 예측할 수 있다는 것을 발견했습니다. 이 변화의 패턴을 이해함으로써, 연구진은 무관한 텍스트로 인한 피해를 부분적으로 되돌려 모델이 본 것을 다시 신뢰할 수 있게 만드는 간단한 교정 방법을 만들어낼 수 있었습니다.

이 연구는 또한 텍스트가 제시되는 방식이 중요하다는 점을 밝혀냈습니다. 무관한 텍스트가 마치 이미지와 관련이 있을 수 있는 것처럼 틀이 잡혀 제시될 때, 왜곡은 더욱 강력해졌습니다. 모델은 무작위 단어들을 마치 단서인 것처럼 취급하여 이를 사진에 대한 이해에 끼워 맞추려 노력했고, 이는 더 큰 혼란으로 이어졌습니다. 이는 모델이 단순히 정보를 수동적으로 받는 것이 아니라, 정보가 쓸모없을 때조차도 주어진 모든 것을 이해하려고 능동적으로 노력한다는 것을 시사합니다. 모델은 시각적 과업에 관련된 것과 단순한 배경 소음을 구분하는 데 어려움을 겪고 있습니다.

이러한 발견은 인공지능이 정보를 어떻게 다루는지에 대한 새로운 관점을 제공합니다. 시각적 과업에 추가 텍스트를 더하는 것은 단순히 양을 늘리는 것이 아니라, 모델의 사고 형상을 변화시킨다는 것이 밝혀졌습니다. 모델은 주어진 맥락에 민감하며, 이러한 민감성은 그들이 자신의 눈을 의심하게 만들 수 있습니다. 연구진은 이 효과를 측정하고 부분적으로 교정할 수 있음을 보여주었지만, 근본적인 문제는 여전히 남아 있습니다: 이러한 시스템은 아직 무관한 것을 무시할 만큼 견고하지 못합니다. 이러한 기술이 끊임없이 데이터 스트림을 받게 될 더 복합적인 현실 세계 시스템에 통합됨에 따라, 소음에 어떻게 반응하는지를 이해하는 것은 매우 중요합니다. 이 연구는 이러한 편향을 포착하기 위한 명확한 진단 도구를 제공하며, 주변 세상이 온갖 방해 요소로 가득 차 있더라도 이미지에 집중할 수 있는 시스템을 구축하기 위한 토대를 마련해 줍니다.

문제 정의
멀티모달 거대 언어 모델(MLLM)은 검색된 구절, 사용자가 제공한 부가 정보, 또는 대화 이력과 같이 현재의 시각적 작업과 반드시 정렬되지 않는 보조적인 텍스트 컨텍스트에 빈번하게 노출됩니다. 자연어 처리(NLP) 분야의 선행 연구들은 무관하거나 주의를 분산시키는 텍스트가 거대 언어 모델(LLM)의 추론 및 질의응답 작업에서 오답을 유도할 수 있음을 입증해 왔으나, MLLM의 시각적 근거 기반 작업(visually grounded tasks)에서 이러한 "이미지와 무관한" 컨텍스트가 미치는 구체적인 영향에 대해서는 아직 충분히 탐구되지 않았습니다. 본 논문은 다음의 질문을 다룹니다: 무관한 컨텍스트가 MLLM의 시각-언어 작업 예측에 영향을 미치는가? 만약 그렇다면, 그것은 기저의 의사결정 과정을 어떻게 변화시키는가?

방법론
저자들은 이 조사를 이진 시각적 판단 프레임워크 내에서의 통제된 개입(controlled intervention)으로 정식화했습니다.

실험 설정: 각 이미지-질문 쌍에 대해, 이미지와 질문만을 포함하는 "컨텍스트 프리(context-free)" 입력( $x_o$ )과, 무관한 텍스트 구절(WikiText에서 샘플링됨)이 삽입된 "컨텍스트 조건부(context-conditioned)" 입력( $x_c$ )을 정의합니다. 이들은 세 가지 프레이밍 조건을 테스트합니다: 컨텍스트 프리(context-free), 컨텍스트 중립(context-neutral, 텍스트를 단순히 추가), 컨텍스트 조건부(context-condition, 텍스트를 이미지와 "관련이 있을 수 있음"으로 프레이밍).
결정 마진 분석: 집계된 성능 지표를 넘어, 저자들은 양성("Yes") 답변과 음성("No") 답변의 로그 확률 차이로 정의되는 결정 마진(decision margin) $m$ 을 도입합니다: $m(x) = \log P(y_+ | x) - \log P(y_- | x)$ .
아핀 변환 가설(Affine Transformation Hypothesis): 저자들은 컨텍스트 프리 마진( $m_0$ )과 컨텍스트 조건부 마진( $m_c$ ) 사이의 관계가 구조화되지 않은 노이즈가 아니라 구조화된 패턴을 따를 것이라고 가설을 세웁니다. 구체적으로, $m_c \approx a \cdot m_0 + b$ (여기서 $a$ 와 $b$ 는 모델별 파라미터)를 만족하는지 테스트합니다.
해석 프레임워크: 인컨텍스트 러닝(in-context learning)의 암묵적 베이지안 해석에 기초하여, 저자들은 기울기 $a$ 를 원래의 시각적 결정 구조의 보존(시각적 확신, visual commitment)으로, 절편 $b$ 를 텍스트에 의해 도입된 방향성 있는 답변 오프셋(편향, bias)으로 해석합니다.
검증: 연구는 네 가지 벤치마크(POPE, AMBER, MME, GQA)에 걸쳐 여러 모델(LLaVA-1.5, Qwen2-VL, InternVL)을 평가합니다. 또한 프롬프트 위치, 컨텍스트 길이, 소스에 대한 어블레이션 연구(ablation studies)를 수행하며, 아핀 변환의 역변환을 사용하여 효과를 완화하는 사후 교정(post-hoc calibration) 방법을 제안합니다.

주요 결과

성능 저하 및 방향성 변화: 무관한 컨텍스트를 추가하면 모든 벤치마크에서 예측 정확도가 일관되게 저하됩니다. 더 결정적으로, 이는 음성 응답("No") 쪽으로 결정 선호도를 유도하는 체계적인 이동을 일으키며, 이는 "Yes 비율"의 감소와 예측 반전(flip)의 증가로 나타납니다.
아핀 규칙성(Affine Regularity): 핵심 발견은 컨텍스트 조건부 마진이 컨텍스트 프리 마진의 아핀 변환( $m_c \approx a \cdot m_0 + b$ )에 의해 잘 근사된다는 것입니다. 이 관계는 서로 다른 모델과 데이터셋에 대해 높은 적합도( $R^2$ )와 함께 유지됩니다.
파라미터 안정성 및 해석:
- 기울기 $a$ 는 일관되게 1보다 작으며, 이는 무관한 텍스트가 원래의 시각적 확신을 약화시킴(마진 압축, margin compression)을 의미합니다.
- 절편 $b$ 는 일관되게 음수이며, 이는 "No"를 향한 방향성 있는 편향을 나타냅니다.
- 의미적 프레이밍이 중요합니다: 텍스트를 "관련이 있을 수 있음"으로 프레이밍하는 경우(Condition), 중립적 프레이밍에 비해 더 낮은 기울기 $a$ (더 강한 압축)를 보이지만, 음수의 오프셋 $b$ 는 상대적으로 안정적으로 유지됩니다.
예측 반전(Prediction Flips): 예측 반전은 균등하게 분포되지 않습니다. 이들은 원래 마진 $m_0$ 가 약한(결정 경계에 가까운) "반전 영역(Flip Region)"에 집중되어 있습니다. 아핀 이동은 유효 결정 경계를 $m_0 = 0$ 에서 $m_0 = -b/a$ 로 이동시켜, 약한 양성 샘플들이 음성 예측으로 바뀌게 만듭니다.
교정(Calibration): 역 아핀 변환( $m_{cal} = (m_c - \hat{b}) / \hat{a}$ )을 사용하는 경량 사후 교정은 손실된 정확도의 상당 부분을 성공적으로 회복하며, 교차 데이터셋 전이 설정에서도 반전율을 줄여줍니다.

의의 및 주장
본 논문은 MLLM의 무관한 컨텍스트 효과에 대한 마진 수준의 진단적 관점을 제공한다고 주장합니다. 주요 기여는 무관한 컨텍스트가 구조화되지 않은 확률적 노이즈가 아니라, 모델 선호도의 **추정 가능하고 구조화된 왜곡(estimable, structured distortion)**임을 입증한 데 있습니다.

메커니즘 통찰: 연구 결과는 MLLM이 무관한 컨텍스트로부터 유용한 증거를 제공받지 못할 때조차 이에 민감하게 반응하며, 이를 전역적인 방향성 편향 및 시각적 확신의 압축으로 취급한다는 것을 시사합니다.
강건성: 서로 다른 벤치마크 전반에 걸친 아핀 파라미터의 안정성은 보조 텍스트에 대한 MLLM의 공유된 행동적 제약을 시사합니다.
실용적 유용성: 단순한 아핀 파라미터를 통해 이 왜곡을 모델링할 수 있는 능력은, 모델 재학습 없이도 사후 교정과 같은 강건성 전략을 개발할 수 있는 기초를 제공합니다.

저자들은 본인의 분석이 주로 이진 시각적 질의응답 설정에서 수행되었으며, 아핀 법칙에 대한 이론적 설명이 완전한 인과적 설명이라기보다는 행동적이고 해석적인 수준임을 언급하며 연구 범위에 대해 겸손한 태도를 유지합니다. 또한, 아핀 패턴이 추가적인 이론적 조사가 필요한 더 넓은 컨텍스트 간섭 현상의 특정한 발현일 수 있음을 인정합니다.

유사한 논문