💬 NLP

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

본 논문은 비전-언어 모델이 "다시 확인해 보자"와 같은 자기반성적 진술을 진정한 시각적 재검사를 유발하는 것이 아니라 단순한 텍스트 패턴으로 생성하는 경우가 많음을 밝히며, 이러한 주장은 시각적 교차 프레임워크가 이러한 주장에도 불구하고 의미적으로 다른 이미지 교체를 자주 탐지하지 못함을 보여줌으로써 입증된다.

원저자: Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

게시일 2026-05-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

평이한 영어로 설명한 논문: "VLM 은 실제로 보고 있는 걸까, 아니면 그저 말만 하고 있는 걸까?"

매우 똑똑하고 수다스러운 로봇과 수학 시험을 치른다고 상상해 보세요. 당신은 로봇에게 60 도 각도를 가진 삼각형 사진 한 장을 보여줍니다. 로봇은 소리 내어 생각하기 시작합니다: "좋아, 60 도 각도를 봤어. 180 에서 이를 빼면 120 이 나오지. 잠깐, 확실히 하기 위해 사진을 다시 한번 확인해 봐야겠어."

그런 다음, 당신은 교묘하게 화면 위의 사진을 60 도가 아닌 50 도 각도를 가진 다른 삼각형으로 바꿔치기 합니다. 새로운 사진은 이전 사진과 거의 똑같이 보이지만, 그 한 숫자만 다릅니다.

로봇은 여전히 혼자 중얼거리며 "도형을 다시 한번 확인해 보자" 라고 말하지만, 실제로는 새로운 사진을 보지 않습니다. 그저 앞서 시작했던 계산을 계속할 뿐입니다. 사진이 이제 정답이 130이어야 함을 말하고 있음에도 불구하고, 로봇은 120이라고 자신 있게 답합니다.

"VLM 은 실제로 보고 있는 걸까, 아니면 그저 말만 하고 있는 걸까?"라는 제목의 이 논문은 비전 - 언어 모델 (VLM) 에서 정확히 이러한 현상을 조사합니다. 연구자들은 이러한 AI 모델들이 "다시 한번 이미지를 확인해 보자"라고 말할 때, 실제로는 보고 있는 것이 아니라 그저 말만 하고 있는 경우가 많다는 사실을 발견했습니다.

다음은 그들의 발견을 간단한 비유로 정리한 내용입니다:

1. "기계의 유령" (환상)

연구자들은 VISUALSWAP이라는 테스트를 만들었습니다. AI 가 문제를 풀게 한 후, AI 가 '생각'하는 과정 중에 이미지를 약간 다른 것으로 바꿔치기 했습니다. 그리고 AI 에게 이미지를 "다시 확인"하도록 요청했습니다.

결과: AI 는 거의 항상 실패했습니다. AI 는 새로운 사진을 무시하고 몇 초 전에 보았던 이전 사진을 바탕으로 답을 계속 냈습니다.
비유: 이는 "수프를 다시 한번 맛보겠다"고 말하지만, 냄비에 있는 수프를 맛보는 대신 이전에 상상했던 맛을 기억하며 맛본 척하는 요리사와 같습니다. 그들은 본 것처럼 환각을 일으키지만, 실제로는 그저 대본을 반복하고 있을 뿐입니다.

2. "과도하게 생각하는 이들"이 가장 심각한 문제입니다

"생각하는" 모델 (깊고 천천히 추론하도록 설계된 AI) 이 이 부분에서 더 나을 것이라고 생각할 수 있습니다. 하지만 그것은 틀렸습니다.

발견: "생각하는" 모델들은 이미지 교체 사실을 인지하는 데 있어 일반 모델보다 3 배나 더 나빴습니다.
비유: 시험을 치르는 학생을 상상해 보세요. 일반 학생은 새로운 문제를 한 번 훑어보고 조정합니다. 하지만 "생각하는" 학생은 자신의 내면 독백 ("X 를 계산했고, 그다음 Y 를...") 에 너무 깊이 빠져서, 페이지에 있는 질문이 바뀌었다는 사실에 눈이 멀게 됩니다. 그들의 own 생각은 새로운 현실을 보지 못하게 막는 장벽이 됩니다.

3. "텍스트적 관성" (왜 발생하는가)

이 논문은 AI 가 긴 추론 체인을 작성하기 시작하면 그 관성에 빠져버린다고 설명합니다. 문장을 마무리하고 논리적 흐름을 유지하는 데 너무 집중하다 보니 시각적 입력에 주의를 기울이지 않게 됩니다.

비유: 기차와 선로를 생각해 보세요. 일단 빠르게 움직이면 멈추기 어렵습니다. AI 의 "생각의 기차"가 너무 빠르게 움직이기 때문에, 풍경 (이미지) 이 바뀌어도 기차는 창밖을 보려고 속도를 늦추지 않습니다. 그저 옛날 선로를 따라 계속 나아갈 뿐입니다.

4. "마법 스위치" (어떻게 고칠 것인가)

가장 흥미로운 부분은 여기입니다: AI 는 변화를 볼 수 있습니다. 다만 스스로 그렇게 하지 않을 뿐입니다.

실험: 인간 (또는 사용자 프롬프트) 이 AI 를 명시적으로 중단시키고 **"멈춰! 방금 준 새 이미지를 봐"**라고 말하면, AI 는 갑자기 깨어납니다. 즉각적인 차이를 인지하고 정답을 맞힙니다.
비유: 이는 공상하는 학생과 같습니다. 혼자 내버려 두면 이전 답안에 대한 공상을 계속합니다. 하지만 선생님이 어깨를 톡톡 치며 "이봐, 이 새로운 사진을 봐"라고 말하면, 그들은 정신을 차리고 진실을 보게 됩니다. 능력은 처음부터 있었을 뿐, 마법을 깨기 위한 외부의 자극이 필요했을 뿐입니다.

5. "주의" 증명

연구자들은 AI 의 속을 들여다보았습니다 (특히 AI 가 무엇에 집중할지 결정하는 '주의' 메커니즘).

발견: AI 가 "확인해 보자"라고 말할 때, 이미지로의 주의 집중은 거의 움직이지 않습니다. 하지만 사용자가 "이미지를 확인해"라고 말하면, AI 의 주의 집중은 극적으로 급증합니다.
교훈: AI 가 확인한다고 말할 때, 그것은 이미지에 대해 '생각'하고 있는 것이 아니라, 확인하는 것처럼 들리는 텍스트를 생성하고 있을 뿐입니다.

요약

이 논문은 현재의 AI 모델들이 (의도치 않게조차) 기만의 달인이라고 결론 내립니다. 그들이 자신의 내면 추론 중에 이미지를 "재검토한다"고 주장할 때, 실제로는 보지 않고 그저 학습된 문구를 반복하는 경우가 많습니다. 그들은 "보고 있다"고 말하지만, 변화에는 "눈이 멀어" 있습니다.

그러나 이는 그들의 시력에 영구적인 결함이 아니라, 자제력의 결함입니다. 그들은 진실을 볼 수 있지만, 인간이 그들의 "텍스트적 관성"을 깨고 실제로 보도록 강요해야 합니다.

일반 대중을 위한 핵심 교훈: AI 가 사진을 다시 확인한다고 말한다면, 실제로 그렇게 했다고 가정하지 마세요. 그저 혼자 말하고 있을 뿐일 수 있습니다. 그들이 진정으로 보려면, 명시적으로 다시 보라고 지시해야 합니다.

기술적 요약: VLM 은 실제로 보고 있는가, 아니면 단지 말하고 있는가? 시각적 재검사의 환상 드러내기

문제 제기
비전 - 언어 모델 (VLM) 은 특히 확장된 사고 연쇄 (Chain-of-Thought, CoT) 생성과 자기 성찰 메커니즘을 활용하는 사고 강화 모델의 등장과 함께 다중 모달 추론에서 상당한 진전을 보여주었습니다. 이러한 모델들에서 흔히 관찰되는 행동은 추론 과정에서"잠깐, 그림을 다시 한번 확인해 보자"와 같은 자기 성찰적 문장을 생성하는 것입니다. 이는 지각적 환각을 완화하고 입력 이미지에 대한 충실성을 확보하기 위한 의도였으나, 중요한 질문이 남아 있습니다: 이러한 문장들이 진정한 시각적 재검사를 유발하는 것일까, 아니면 실제 시각적 근거가 결여된 단순한 학습된 언어 패턴에 불과한 것일까? 모델이 이미지를 재검토한다고 주장하면서도 시각적 변화를 감지하지 못한다면, 안전이 중요한 분야에서의 신뢰성은 훼손됩니다.

방법론: VISUALSWAP 과 VS-BENCH
이 현상을 조사하기 위해 저자들은 추론 과정 중 자기 성찰 시 VLM 이 실제로 시각적 입력에 다시 주의를 기울이는지 탐지하도록 설계된 진단 프레임워크인 VISUALSWAP을 제안합니다. 이 프레임워크는 두 단계 프로토콜을 사용합니다:

표준 추론: 모델은 원본 이미지 ( $I_a$ ) 와 질문 ( $Q$ ) 을 기반으로 초기 추론 연쇄 ( $R_a$ ) 를 생성합니다.
재검사 탐지: 생성된 추론 컨텍스트 ( $R_a$ ) 를 유지하면서 시각적 입력을 의미적으로 구별되지만 시각적으로 유사한 이미지 ( $I_b$ ) 로 교체하고, 자기 성찰 프롬프트 (예:"잠깐, 그림을 다시 한번 확인해 보자") 를 추가합니다. 그런 다음 모델에게 생성을 계속하도록 요청합니다.

모델이 진정한 시각적 재검사를 수행한다면, $I_b$ 와 $R_a$ 사이의 불일치를 감지하고 추론을 업데이트하여 $I_b$ 에 대한 정답을 생성해야 합니다. 만약 실패한다면, 모델이 새로운 시각적 증거보다는 이전 추론 경로에 의존하는"텍스트적 관성 (textual inertia)"이 있음을 의미합니다.

이 평가를 지원하기 위해 저자들은 MathVista, MathVerse, MathVision, MMMU-Pro 에서 파생된 800 개의 이미지 쌍으로 구성된 VS-BENCH 벤치마크를 구축했습니다. 이러한 쌍은 정답에 결정적인 미세한 세부 사항에서는 다르지만, 레이아웃과 스타일과 같은 고수준 시각적 유사성을 공유하도록 구성되었습니다. 이를 통해 질문이 두 이미지 모두에 유효하지만 서로 다른 답변을 요구하도록 보장했습니다.

주요 기여

VISUALSWAP 프레임워크: 추론 과정 중 시각적 입력을 조작하여 VLM 의 시각적 재검사 진위성을 평가하는 원칙적인 진단 도구.
VS-BENCH 벤치마크: 일반적인 시각적 질문 응답 (VQA) 에서 시각적 재검사 능력을 분리해 내도록 신중하게 구성된 800 개의 이미지 쌍 데이터셋.
메커니즘 분석: 명시적인 다중 턴 사용자 지시와 비교하여 자기 생성 성찰의 실패를 뒷받침하는 주의 메커니즘에 대한 조사.

실험 결과
저자들은 Qwen3-VL, Kimi-VL, ERNIE-VL 계열의 15 개 모델을 평가했으며, 여기에는'Instruct'버전과'Thinking'버전이 모두 포함되었습니다. 결과는 치명적인 실패 모드를 드러냈습니다:

광범위한 실패: 모델들은 자기 성찰 중 이미지 교체를 거의 감지하지 못합니다. 성능 저하 ( $\Delta = Acc_{base} - Acc_{probe}$ ) 는 최대 60% 에 달합니다 (예: ERNIE-4.5-VL-Thinking 은 79.9% 에서 19.6% 로 하락).
Thinking 모델이 더 취약함: 역설적으로'Thinking'모델은'Instruct'버전보다 거의 3 배 더 취약한 것으로 나타났습니다. 예를 들어, Qwen3-VL-32B-Thinking 은 48.3% 하락한 반면 Instruct 버전은 17.9% 하락했습니다.
확장이 도움이 되지 않음: 모델 크기를 늘리는 것이 문제를 완화하지 못합니다. 오히려 더 큰 모델은 더 큰 성능 저하를 보입니다 (예: Qwen3-VL-235B-Thinking 은 54.6% 하락).
사용자 지시를 통한 회복: 성찰이 자기 생성 텍스트가 아닌 명시적인 다중 턴 사용자 지시 (예:"이미지를 다시 확인하세요") 로 트리거될 때, 성능은 기준선 수준으로 회복됩니다. 이는 모델이 새로운 이미지를 처리할 잠재적 능력을 보유하고 있지만, 자율적으로 이를 활성화하지 못함을 확인시켜 줍니다.
주의 분석: 주의 점수는 자기 성찰적 문장이 시각 토큰에 대한 주의를 거의 증가시키지 않는다는 것을 보여줍니다. 반면, 명시적인 사용자 지시는 시각적 주의에서 상당한 급증을 유발하여 성능 격차를 설명합니다.

의의 및 주장
이 논문은 현재 VLM 들이 실제로 이미지를"보고"있는 것이 아니라 재검토한다고"말하는"경향이 있다고 결론지었습니다. 이 현상은 시각적 능력의 부재가 아니라 자율적 주의 제어의 실패로 식별됩니다. 저자들은 확장된 추론 연쇄가 지속적인 디코딩 중 시각적 증거와 모델을 분리시키는 강력한 텍스트적 관성을 생성한다고 주장합니다.

이 연구의 의의는 다중 모달 환경에서 현재 사고 연쇄 (CoT) 패러다임의 근본적인 한계를 폭로하는 데 있습니다: 이러한 패러다임은 시각적 수용보다 텍스트적 일관성을 우선시합니다. 이러한 발견은 현재 구현된 자기 성찰이 시각적 환각을 수정하는 신뢰할 수 있는 메커니즘이 아닐 수 있음을 시사합니다. 논문은 진정한 자율적 시각적 재근무 (re-grounding) 가 단순한 언어적 프롬프팅을 넘어선 메커니즘을 필요로 한다고 제시하며, 시각적 입력과 다시 상호작용하기 위해 자신의 추론 경로를 효과적으로 중단할 수 있는 모델에 대한 향후 연구의 필요성을 강조합니다. 저자들은 이것이 새로운 학습 알고리즘에 대한 제안이 아니라 모델 행동에 대한 진단적 발견임을 강조하지만, 다중 턴 프롬프팅과 같은 외부 개입이 성공적으로 근무를 회복시킬 수 있음을 지적합니다.