기술 요약: 텍스트의 색상은 무엇인가? 이미지 내 임베디드 프롬프트에 의해 유발된 환각을 위한 벤치마크

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 지각과 언어적 추론을 정렬하는 데 있어 상당한 능력을 입증해 왔다. 그러나 이들의 신뢰성은 출력이 시각적 현실과 괴리되는 환각 현상으로 인해 빈번하게 저해된다. 기존 연구는 이러한 실패의 주요 원인을 교차 모달 불일치(외부 텍스트 프롬프트와 시각적 콘텐츠 간의 충돌)로 돌리는 반면, 본 논문은 더 은밀한 도전 과제인 모달 내 의미적 간섭(intra-modal semantic interference)을 식별한다.

다루고자 하는 핵심 문제는 "임베디드 스트룹(Embedded Stroop)" 효과이다. 즉, 쿼리(질문) 자체가 시각적 입력 내에 직접 렌더링될 때 어떤 일이 발생하는가? 이러한 통합된 모달리티 환경에서는 의미적 내용(쿼리의 텍스트)과 시각적 속성(잉크 색상)이 픽셀 공간 내에 공존한다. 본 논문은 현재의 MLLM이 실제 시각적 색상을 인지하는 것보다 임베디드된 텍스트의 의미적 내용을 읽는 것을 우선시할 수 있으며, 이로 인해 표준적인 디커플링(decoupled) 평가 프로토콜로는 드러나지 않는 체계적인 환각이 발생한다고 가정한다.

2. 방법론: WCIT 벤치마크

이러한 간섭을 격리하고 측정하기 위해, 저자들은 What-Color-Is-the-Text (WCIT) 벤치마크를 도입한다.

데이터셋 구축

• 색상 팔레트: 전문 저장소에서 선별된 59개의 미세한 색상 목록이 선택되었다.
• 필터링: 지각적 구별성을 보장하기 위해 $\Delta E_{00}$ (CIEDE2000) 기반 파이프라인을 사용하여 저대비 색상, 검은색에 가까운 톤, 복합 명칭을 필터링하였다.
• 자극 생성: 샘플은 흰색 배경과 세 가지 구성 요소로 이루어진다:
  1. 임베디드 쿼리: "What color is the text?"라는 지시문이 검은색으로 렌더링됨.
  2. 타겟 자극: 색상을 나타내는 단어(예: "RED")가 충돌하는 물리적 색상(예: 파란색 잉크)으로 렌더링됨.
• 변형 모델: 효과의 강건성을 테스트하기 위해 세 가지 주요 조건을 포함한다:
  1. 표준 스트룹 (대조군): 쿼리가 텍스트 프롬프트로 제공되며, 이미지에는 충돌하는 자극만 포함됨.
  2. 임베디드 스트룹 (주요 실험군): 쿼리가 자극과 함께 이미지 내에 시각적으로 임베디드됨.
  3. 적대적 변형: 의미적 가독성을 방해함으로써 환각이 완화되는지 테스트하기 위해 뒤집기(공간적으로 반전된 텍스트) 및 마스킹(가려진 텍스트) 버전을 포함함.
  4. 대조 그룹: 시각적 인지와 의미적 간섭을 분리하기 위해 충돌하는 색상 단어를 의미적으로 중립적인 어휘로 대체함.

평가 프레임워크

저자들은 일반적인 지각 실패와 특정 의미적 포착(semantic capture)을 구분하기 위해 **삼원 오차 분해(three-way error decomposition)**를 제안한다:

1. 정확도 (Acc): 시각적 색상을 올바르게 식별함.
2. 스트룹 환각률 (SHR): 시각적 색상이 아닌 의미적 텍스트 색상(단어의 의미)으로 잘못 답변함.
3. 기타 오차율 (OER): 시각적 색상도 아니고 의미적 타겟도 아닌 다른 색상을 예측함 (일반적인 명명 실패).

또한, 무작위 추측과 구별되는 스트룹 환각의 비율을 측정하기 위해 **스트룹 간섭 비율 (SIR)**을 도입한다.

실험 설정

• 모델: GPT-5, GPT-4o, Gemini 2.5/3와 같은 독점 시스템과 Qwen3-VL, InternVL, DeepSeek-VL, Gemma-3와 같은 오픈 소스 아키텍처를 포함한 16개의 MLLM을 평가하였다.
• 지표: 평가는 순열 테스트(5,000회 셔플)와 표준 설정에서 모델이 올바르게 수행한 샘플에 국한된 조건부 분석을 포함하였다.

3. 주요 결과

평가는 독점 및 오픈 소스 모델 모두에서 광범위한 취약성을 드러냈다:

• 높은 환각률: 임베디드 스트룹 조건에서 모델들은 SHR의 상당한 급증을 보인다. 예를 들어, Gemma-3-12B는 **78.5%**의 SHR에 도달했고, Qianfan-VL-8B는 **83.5%**에 도달했다. 반면, 표준 스트룹 설정(텍스트 프롬프트)에서는 SHR이 훨씬 낮게(종종 <15%) 나타났으며, 이는 환각이 질문의 의미적 내용이 아니라 텍스트의 시각적 임베딩에 의해 유발됨을 확인시켜 준다.
• 의미적 포착의 지배력: 삼원 분해 결과, 많은 모델에서 오류는 무작위가 아니었다. SIR은 FDR 보정 후 64개 모델 난이도 조건 중 56개에서 우연한 기준선(1.7%)을 크게 상회했다. 일부 모델(예: Kimi-VL-A3B)의 경우, 거의 모든 오류(SIR $\approx$ 91%)가 스트룹 환각이었다.
• 조건부 분석: 모델이 표준 설정에서 색상을 올바르게 식별한 샘플으로 분석을 제한하더라도, 결합 조건부 SHR은 51.9% (95% CI: [35.4%, 66.8%])로 높게 유지되었다. 이는 이 효과가 단순히 색상 이름을 대는 능력의 문제가 아니라, 시각적 지각과 충돌할 때 의미적 처리를 억제하지 못하는 특정 실패임을 확인시켜 준다.
• 조립적 지각 (Coarse-Grained Perception): 59개의 미세한 색상을 11개의 기본 색상군으로 매핑했을 때, 모델들은 조립적 색상 인지는 유지했으나(정확도 38.4%) 여전히 상당한 SHR(21.6%)을 보였다. 이는 어휘 불일치를 제거하더라도 의미적 포착이 지속됨을 나타낸다.
• 방해를 통한 완화: 의미적 가독성을 방해하면 환각이 유의미하게 감소한다. 임베디드 텍스트를 뒤집거나 마스킹(예: 25% 차폐)하면 정확도가 크게 회복되고 SHR이 감소했는데, 이는 이 효과가 의미적 텍스트의 가독성에 의존함을 시사한다.

4. 주요 기여

1. WCIT 벤치마크: 쿼리를 시각적 입력 내에 직접 임베디드하여 시각적 우선순위와 의미적 우선순위를 비교할 수 있는 통합 모달리티 평가를 가능하게 하는 통제된 진단 도구.
2. 오차 분해 프레임키: 순열 테스트와 조건부 분석을 통해 검증된, 올바른 지각, 스트룹 특유의 의미적 포착, 그리고 일반적인 명명 실패를 구분하는 새로운 방법론.
3. 조건부 검증: 모델이 표준 설정에서 잘 수행하더라도 높은 조건부 SHR을 보인다는 점을 통해, 스트룹 효과가 단순한 인지 능력의 결함이 아닌 실제적인 간섭 현상임을 입증함.
4. 광범위한 평가: 16개 모델에 대한 체계적 테스트를 통해 적대적 섭동(뒤집기/마스킹)이 환각을 억제할 수 있음을 밝히고, 적대적 인지 프롬프트가 SHR을 최대 91%까지 줄일 수 있음을 보여줌 (단, 이는 주로 시각적 정확도를 개선하기보다 오류를 OER로 재분배하는 데 그침).

5. 의의 및 주장

본 논문은 현재의 MLLM이 충돌이 시각적 모달리티 내부에서 발생할 때 스트룹 효과를 진정으로 극복하지 못했다고 주장한다. 연구 결과는 텍스트에 대한 지속적인 맹신을 시사하며, "시각화된 텍스트"가 시각적 지각을 압도하는 초자극(super-stimulus)으로 작용한다는 것을 보여준다.

• 모달 내 실패: 이 연구는 환각이 주로 교차 모달적이라는 기존의 관점에 도전한다. 이는 지각 실패가 엄격히 시각적 모달리티 내부의 충돌에서 기인할 수 있음을 입증한다.
• 안전성 함의: 임베디드 스트룹 간섭에 대한 취약성은 잠재적인 안전 문제를 부각시킨다. (예: 오도하는 도로 표지판이나 모순된 라벨 등) 실제 상황에서 텍ricting 정보가 충돌할 경우, MLLM은 시각적 증거보다 텍스트를 우선시하여 신뢰할 수 없는 판단을 내릴 수 있다.
• 한계점: 저자들은 벤치마크가 합성 이미지와 영어 텍스트를 사용한다는 점을 겸허히 언급한다. 또한 59개의 미세한 색상 팔레트가 어휘 불일치를 유발할 수 있음을 인정하면서도, 조립적 분석을 통해 이를 완화하고자 노력했다. 또한 프롬프트 기반 개입이 의미적 포착을 줄일 수는 있지만, 근본적인 시각적 지각 문제를 완전히 해결하지는 못한다는 점을 강조한다.

결론적으로, WCIT는 MLLM이 시각적 속성과 임베디드된 의미적 내용을 분리하는 능력에 있어 근본적인 격차가 있음을 드러내는 정밀한 스트레스 테스트를 제공하며, 더욱 강력한 멀티모달 정렬을 향한 미래 연구를 촉구한다.