💬 NLP

SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models

이 논문은 멀티모달 거대 언어 모델이 시각적 단서와 텍xtual 단서 사이의 충돌을 어떻게 해결하는지 평가하기 위해 25,555개의 이미지 변형으로 구성된 통제된 반사실적 벤치마크인 SIGNPOST-Bench를 소개하며, 적대적 텍스트 개입이 지리적 위치 추정 정확도를 유의미하게 저하시키고 평가된 20개 모델 전반에 걸쳐 뚜렷한 중재 행동을 드러낸다는 점을 밝힌다.

원저자: Sirun Li, Minghao Liu, Ling Dai, Yong Li, Haoxin Lyu, Junting Zhou, Fan Zhang

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sirun Li, Minghao Liu, Ling Dai, Yong Li, Haoxin Lyu, Junting Zhou, Fan Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이 사진이 어디서 찍혔는지 밝혀내려는 탐정이라고 상상해 보십시오. 당신에게는 두 가지 단서가 있습니다. 첫 번째는 건축물, 나무, 자동차, 그리고 건물을 비추는 빛의 방식과 같은 시각적 장면입니다. 두 번째는 사진 속 표지판, 상점 간판, 또는 광고판에 적힌 텍text입니다. 보통 이 단서들은 서로 일치합니다. "파리"라고 적힌 표지판은 파리에 있을 법한 건물 위에 놓여 있습니다. 하지만 이 단서들이 서로 충돌한다면 어떻게 될까요? 만약 사진에는 눈 덮인 산속의 나무 오두막이 보이는데, 창문에 있는 밝은 네온사인에는 "사하라 사막에 오신 것을 환영합니다"라고 적혀 있다면 어떨까요?

이것이 바로 **멀티모달 거대 언어 모델(MLLM)**의 세계입니다. 이들은 이미지와 텍스트를 동시에 보고 읽을 수 있는 매우 똑똑한 AI 컴퓨터입니다. 과학자들은 이들이 세상을 추론하기 위해 이러한 단서들을 결합하도록 가르쳐 왔습니다. 하지만 큰 의문이 하나 있습니다. 시각적 단서와 텍스트 단서가 서로 싸울 때, AI는 무엇을 신뢰할까요? AI는 혼란스러운 표지판을 무시하고 눈(snow)을 바라볼까요? 아니면 표지판을 맹목적으로 믿고 눈(snow)을 잊어버릴까요? 지금까지는 이러한 특정한 종류의 혼란을 테스트할 좋은 방법이 없었습니다.

여기, 연구자들이 AI를 속이는 게임을 하기 위해 설계한 새로운 실험인 SIGNPOST-Bench가 등장했습니다. 그들은 수천 장의 실제 사진을 가져와 각 사진에 대해 특별한 "역사실적(counterfactual)" 버전들을 만들었습니다. 이는 하나의 원본 사진을 가지고 네 개의 새로운 복사본을 만드는 사진 편집 워크숍을 생각하면 쉽습니다:

공백(The Blank): 텍스트를 완전히 지워버렸습니다.
유사함(The Similar): 표지판을 해당 위치에서 여전히 말이 되는 다른 것으로 교체했습니다 (예: "미시간에 오신 것을 환영합니다"를 "디트로이트에 오신 것을 환영합니다"로 변경).
무작위(The Random): 장소와 전혀 상관없는 표지판을 붙였습니다 (예: "달에 오신 것을 환영합니다").
적대적(The Adversarial): 이것이 까다로운 부분입니다. 표지판을 특정하고 다른 장소를 가리키는 거짓말로 교체했습니다 (예: "미시간에 오신 것을 환영합니다"를 "뉴욕에 오신 것을 환영합니다"로 변경).

연구진은 7개 주요 기술 기업에서 나온 20개의 서로 다른 AI 모델에게 모든 다섯 가지 버전의 사진에 대해 위치를 추측하도록 요청했습니다. 그들은 AI가 거짓말을 알아챌 수 있는지, 아니면 새로운 표지판에 속아 넘어갈지를 보고 싶었습니다.

결과는 상당히 놀라웠습니다. AI가 원본 사진을 보았을 때는 위치를 꽤 잘 맞혔습니다. 하지만 적대적(Adversarial) 거짓말이 도입되었을 때, 모델들은 혼란에 빠졌습니다. 평균적으로 AI의 정확도는 4.8배 감소했습니다. 약 282km 정도의 오차를 보이던 AI는 이제 1,347km나 벗어나게 되었습니다.

더 흥anche한 점은, AI가 단순히 성능이 나빠진 것이 아니라 잘못된 방향으로 유도되었다는 것입니다. 표지판에 "뉴욕"이라고 적혀 있으면, AI는 단순히 무작위로 추측하는 것이 아니라 실제로 뉴욕 쪽으로 가까워졌습니다. 사실, 테스트한 모든 모델에서 충돌하는 텍스트의 존재는 정답을 거짓말이 가리키는 방향으로 끌어당겼습니다. 약 **6.5%에서 20.1%**의 확률로, AI의 추측은 거짓 표지판이 가리키는 곳으로부터 50km 미만의 거리에 위치했습니다.

또한 이 연구는 표지판을 읽는 능력이나 사진을 보는 능력이 "똑똑함"을 보장하지 않는다는 것을 발견했습니다. 깨끗하고 정직한 사진을 통해 위치를 아주 잘 맞히던 일부 모델들이, 오히려 더 작은 규모의 모델들보다 거짓말을 무시하는 데 더 서툴렀습니다. 표지판을 읽을 수 있다고 해서 사진의 나머지 부분과 모순될 때 그것을 무시할 줄 안다는 뜻은 아닙니다.

마지막으로, 연구진은 AI에게 구체적으로 충돌을 주의 깊게 살펴보라고 "코칭"을 시도했습니다. 이것은 AI가 무언가 잘못되었다는 것을 49%의 확률로 깨닫게 하는 데는 도움이 되었지만, 실제로 올바른 위치를 맞히는 데는 도움이 되지 않았습니다. AI는 자신이 혼란스럽다는 것은 알았지만, 여전히 그 퍼즐을 어떻게 풀어야 할지는 알지 못했습니다.

요약하자면, 이 논문은 현재의 AI 모델들이 텍스트와 이미지가 불일치할 때 여전히 매우 쉽게 속는다는 것을 보여줍니다. 그들은 눈에 뻔히 보이는 거짓말일지라도 텍스트를 너무 많이 신뢰하는 경향이 있습니다. 연구진은 미래의 AI 개발자들이 자신들의 모델이 정확히 어디에서 실패하는지 이해하고, 눈을 믿어야 할 때와 표지판을 의심해야 할 때를 아는 더 나은 탐정이 되도록 가르칠 수 있도록 돕기 위해 이 "SIGNPOST-Bench" 테스트를 구축했습니다.

기술 요약: SIGNPOST-Bench

문제 정의

멀티모달 거대 언어 모델(MLLM)은 실세계 시나리오에서 근거 있는 예측을 수행하기 위해 시각적 문맥과 장면 텍스트(scene text) 모두에 점점 더 의존하고 있습니다. 기존의 벤치마크들은 OCR, 시각적 인식, 일반적인 멀티모달 능력을 평가하지만, 모델이 시각적 증거와 텍스트 증거가 충돌할 때 이를 어떻게 중재하는지를 분리하여 평가하는 경우는 드뭅니다. 자연스러운 장면에서 건축물이나 지형적 단서는 특정 위치를 암시하는 반면, 표지판이나 주소는 다른 곳을 암시할 수 있습니다. 현재의 평가 방식은 종종 최종적인 이산적 결과(예: 정답/오답)만을 보고하며, 어떤 증거 소스가 결정을 유도했는지 또는 공유된 출력 공간 내에서 예측 변화의 크기와 방향을 측정하지 못합니다. 결과적으로, 정렬된 입력값에 대한 강력한 성능이 모델이 경쟁하는 시각적 및 텍스트 단서 사이를 신뢰성 있게 선택할 수 있는 능력을 보장하지는 않습니다.

방법론

저자들은 시각적 지리 위치 파악(visual geolocation)을 통해 텍스트-비전 충돌 해결 능력을 평가하기 위해 설계된 통제된 카운터팩추얼(counterfactual) 벤치마크인 SIGNPOST-Bench(Scene Image Geo-localization with Noisy Perturbation on Observed Sign Text)를 소개합니다.

벤치마크 구축

벤치마크의 핵심 단위는 단일 소스 이미지에서 파생된 **카운터팩추얼 퀸튜플릿(counterfactual quintuplet)**입니다. 각 퀸튜플릿은 주변의 비텍스트 콘텐츠를 보존하도록 설계된 합성된 국소적 장면 텍스트 개입을 통해 생성된 다섯 가지 변형으로 구성됩니다:

Original (원본): 고유한 장면 텍스트가 포함된 수정되지 않은 소스 이미지.
Blank (공백): 선택된 장면 텍스트 영역을 제거한 것으로, 텍스트가 제거된 베이스라인 역할을 합니다.
Similar (유사): 텍스트를 실제 지리적 맥락이나 언어와 호환되는 대안으로 교체합니다 (예: "Welkom to Holland" 대신 "Welkom to Flanders").
Random (무작위): 텍스트를 지정된 지리적 목표가 없는 무관하고 읽기 가능한 텍스트로 교체합니다.
Adversarial (적대적): 텍스트를 지리적으로 상충하는 단서로 교체합니다. 텍로 지리 코딩(geocodable)이 가능한 경우, 이는 실제 정답(ground truth)과 구별되는 **주입된 타겟( $y_{trap}$ )**을 정의합니다.

본 벤치마크는 IM2GPS3K, YFCC4K, Google Street View, Baidu Street View의 네 가지 데이터셋에서 추출한 5,111개의 카운터팩추얼 그룹과 25,555개의 이미지 변형으로 구성됩니다. 장면 텍스트는 지리적 식별 가능성에 따라 T1 (휴대용), T2 (문화적), **T3 (지리 특정적)**의 분류 체계로 범주화됩니다.

평가 프로토콜

본 연구는 7개 제공업체(Google, OpenAI, Anthropic, Alibaba, Moonshot, ByteDance, xAI)의 20개 MLLM을 대상으로 다섯 가지 모든 조건에 대해 평가를 수행합니다. 평가는 세 가지 주요 진단 지표를 사용합니다:

가중 위치 정확도 (Weighted Localization Accuracy, WLA): 지오데식 거리(geodesic distance)에 기반한 지수적 감쇠를 사용하여 정답 대비 예측 품질을 측정합니다.
텍스트 편향 점수 (Text Bias Score, TBS): 편집된 텍스트로 인해 발생한 위치 오차의 쌍을 된 변화를 Blank 베이스라인과 비교하여 측정합니다 ( $TBS = D_{edited} - D_{blank}$ ). 양(+)의 TBS는 텍스트가 성능을 저하시켰음을 나타냅니다.
트랩 적합률 (Trap-Fit Rate, TFR): 적대적 예측이 주입된 타겟의 50km 반경 내에 떨어지는 비율을 측정하며, 이는 모델이 상충하는 텍스트에 의해 "함정(trapped)"에 빠졌는지를 나타냅니다.

또한, 성능을 능력 점수(Capability Score, C) (Original/Blank에서의 성능)와 충돌 강건성 점수(Conflict Robustness Score, R) (Random/Adversarial 텍스트 하에서의 성능 유지력, 오차 증가 및 트랩 추종에 의해 페널티 부여)로 분해하는 **멀티모달 충돌 강건성 점수(Multimodal Conflict Robustness Score, MCRS)**를 제안합니다.

주요 결과

성능 저하: 상충하는 장면 텍스트는 위치 파악 성능을 실질적으로 저하시킵니다. 모든 모델에 걸쳐, Original 이미지와 Adversarial 변형을 비교했을 때 중앙값 위치 오차가 4.8배 (282 km에서 1,347 km로) 증가했습니다. 평균 WLA는 36.6% 감소했습니다.
방향성 있는 변화: 충돌은 단순히 무작위 오차를 증가시키는 것이 아니라, 방향성을 가진 변화를 유도합니다. 지리 코딩이 가능한 적대적 샘플의 경우, 모델 전반에서 **6.5% ~ 20.1%**의 예측이 주입된 타겟의 50km 이내에 떨어졌습니다. 평가된 모든 모델이 양(+)의 평균 쌍 트랩 거리 감소(Trap Distance Reduction, TDR)를 보여, 예측이 단순히 정확도가 낮아지는 것이 아니라 주입된 지리적 타겟을 향해 이동했음을 확인했습니다.
텍스트 유형에 따른 차이:
- Similar (유사) 교체(호환 가능한 텍스트)는 일반적으로 Blank 베이스라인보다 오차를 줄였으며, 이는 모델이 의미론적 정렬을 활용함을 보여줍니다.
- Random (무작위) 및 Adversarial (적대적) 교체는 오차를 크게 증가시켰습니다.
- T3 (지리 특정적) 텍스트는 정렬된 입력에서 가장 높은 성능을 제공했지만, 충돌 시에도 가장 큰 성능 저하(42.2% 비례 감소)를 유발하여, 유용성과 취약성 사이의 트레이드오프를 시사했습니다.
능력 vs. 강건성: 깨끗한 입력에 대한 위치 파악 성능(Capability Score)이 상충하는 텍스트에 대한 강건성을 완전히 예측하지는 못합니다. Original 이미지에서 높은 WLA를 보이는 모델이 반드시 Adversarial 조건에서도 높은 WLA를 유지하는 것은 아니었습니다. 예를 들어, Qwen3-VL-30B는 Seed-2.0-Pro보다 낮은 원래의 능력에도 불구하고 더 높은 강건성을 보였습니다.
충돌 인지: Gemini-2.5-Flash 및 GPT-4o-mini를 이용한 표적 탐사 실험 결과, 명시적인 충돌 탐지 정확도(CDA)가 개선된 위치 파악 성능과 반드시 상관관다는 것을 보여주었습니다. 모델이 충돌을 식별하더라도 여면 여전히 주입된 텍스트를 따르는 경우가 많았습니다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

정식화: 텍스트-비전 충돌 해결을 연속적인 좌표 공간에서 정식화하여, 이산적 작업 벤치마크에는 없는 기능인 위치 파악 저하와 주입된 지리적 타겟으로의 방향성 있는 변화를 모두 측정할 수 있게 했습니다.
벤치마크 구축: 25,555개의 이미지 변형을 포함하는 대규모의 통제된 프레임워크인 SIGNPOST-Bench를 제공하며, 이를 통해 네이티브 텍스트, 텍스트 제거, 그리고 호환/무관/상충하는 교체 간의 장면 내 비교를 가능하게 합니다.
실증적 발견: 상충하는 장면 텍스트가 현재 MLLM의 체계적인 실패 모드임을 입증했습니다. 결과는 모델들이 상충하는 텍스트에 의해 "함정에 빠져" 주입된 타겟으로 예측이 이동하기 쉽다는 것을 보여줍니다. 결정적으로, 본 논문은 깨끗한 입력에 대한 위치 파악 성능이 충돌 강건성의 충분한 대리 지표가 아님을 주장하며, 텍스트 내의 명시적인 지명(place names)이 덜 직접적인 시각적 증거를 압도할 수 있다는 현재 모델 정렬의 격차를 강조합니다.

저자들은 SIGNPOST-Bench를 단순한 집계 정확도를 넘어 장면-텍스트 해석의 구체적인 실패 모드를 분석함으로써, MLLMs가 상충하는 멀티모달 증거를 어떻게 중재하는지 진단할 수 있는 재현 가능한 프레임워크로 포지셔닝합니다.