🤖 AI

Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models

이 논문은 시각-언어 모델들이 불완전한 텍스트를 충실하게 전사하기보다는 그럴듯한 형태로 재작성한다는 점을 입증하기 위해 FaithC4 벤치마크를 소개하며, 이를 통해 모델 유형에 따른 뚜렷한 저하 패턴을 드러내고 이러한 재작성 동작을 유발하는 특정 레이어 표현과 단어 길이를 식별한다.

원저자: Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

게시일 2026-07-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

할머니의 손글씨 노트를 읽는 로봇을 가르치고 있다고 상상해 보세요. 당신은 로봇이 모든 꼬불꼬불한 글씨, 얼룩, 그리고 오타까지도 나타난 그대로 똑같이 포착해내는, 아주 정확한 복사기처럼 행동하기를 기대합니다. 이것이 바로 수십 년 동안 텍스트 이미지를 디지털 단어로 바꾸는 데 사용되어 온 기술인 광학 문자 인식(OCR)의 역할입니다. 하지만 최근에 새로운 종류의 로봇이 등장했습니다. 바로 시각-언어 모델(Vision-Language Model, VLM)입니다. 이들은 단순히 글자를 '보는' 것을 넘어, 문장이 무엇을 의미해야 하는지 '생각'하는 로봇이라고 생각하면 됩니다. 카메라와 함께 인터넷 전체를 학습한 매우 똑똑한 두뇌를 결합한 형태죠.

여기서 중요한 질문이 있습니다. 이 똑똑한 로봇들이 엉망이 된 단어를 보았을 때, 그것을 있는 그대로 충실하게 복사할까요, 아니면 그것을 "수정"하려고 할까요? 이는 우리가 문장 중간의 글자들이 뒤섞여 있어도 원래 의도된 단어를 추측하여 문장을 읽을 수 있는 '타이포글리세미아(typoglycemia)' 효과를 경험하는 것과 비슷합니다. 인간에게는 이것이 도움이 되지만, 법적 계약서나 역사적 서신처럼 완벽하고 글자 그대로의 복사본이 필요한 경우 로봇에게는 재앙이 될 수 있습니다. 만약 로봇이 실제 문서의 일부였던 오타를 "수정"해 버린다면, 그것은 기록이 아니라 역사를 새로 쓰는 것이 되기 때문입니다. 이 논문은 이 새로운 AI 로로봇들이 충실한 필사가인지, 아니면 지나치게 의욕적인 편집가인지 파헤칩니다.

VLM은 읽는 것인가, 다시 쓰는 것인가?

이 연구에서 아마존(Amazon)의 연구진은 이 시각-언어 모델(VLM)들의 특정 습관을 테스트하기 위해 실험을 진행했습니다. 즉, 이 모델들이 조금 이상해 보이는 단어를 보았을 때, 그것을 있는 그대로 읽을까요, 아니면 몰래 더 말이 되는 단어로 다시 쓸까요?

이를 알아내기 위해 연구팀은 FaithC4라는 특별한 놀이터를 만들었습니다. 영어, 중국어, 한국어로 된 수천 개의 깨끗하고 정상적인 텍스트 페이지를 가져왔다고 상상해 보세요. 그런 다음, 이미지를 만들기 전에 단어들을 가지고 '전화기 게임(telephone game)'을 했습니다. 적격 단어의 8%를 골라 세 가지 창의적인 방식으로 망가뜨렸습니다:

뒤섞기(Scramble): 내부 글자들을 섞었습니다 (예: "standard"를 "sdanartd"로 변경).
무작위(Random): 글자를 완전히 무작위인 다른 글자로 바꿨습니다 (예: "xkpmewqi").
시각적(Visual): 글자를 거의 비슷하게 생긴 다른 글자로 바꿨습니다 (예: 'a'를 'c'로, 또는 'o'를 '0'으로 변경).

그런 다음 이 "망가진" 이미지들을 15개의 서로 다른 시스템에 보여주었습니다. 이 시스템들은 세 그룹으로 나뉩니다:

구세대(The Old Guard): 단순히 픽셀을 보고 "이것은 'a'처럼 보인다"라고 말하는 전통적인 OCR 도구들(Tesseract 등)입니다.
전문가(The Specialists): 문서 읽기에 특화되어 훈련된 VLM들입니다.
제너럴리스트(The Generalists): 수학부터 시까지 모든 것에 능숙한 강력하고 거대한 VLM들(Qwen, GPT-4V, Gemini 등)입니다.

결과: "똑똑한" 로봇들이 너무 똑똑하다

연구 결과는 놀라웠으며, 완벽한 복사본이 필요한 사람들에게는 다소 우려스러운 내용이었습니다. 연구진은 로봇이 "똑똑할수록" 텍-스트를 다시 쓸 가능성이 높다는 것을 발견했습니다.

구세대 (전통적 OCR): 이들은 가장 충실했습니다. 텍스트가 망가졌을 때도 답변을 거의 바꾸지 않았습니다. 오류율이 0.6 퍼센트 포인트 미만으로 상승했습니다. 그들은 그저 엉망인 상태를 보고 그 엉망인 상태를 그대로 복사했습니다.
전문가: 제너럴리스트보다는 나았지만 여전히 일부 변경을 가했습니다. 오류율이 0.2에서 2 퍼센트 포인트 사이로 상승했습니다.
제너럴리스트: 충실함 측면에서 최악이었습니다. 텍스트가 뒤섞이거나 시각적으로 변형되었을 때, 이들의 오류율은 최대 4.5 퍼센트 포인트까지 치솟았습니다.

왜 그럴까요? 이러한 범용 모델들은 문장이 어떻게 보여야 하는지를 예측하는 능력이 너무 뛰어나서, 실제로 쓰여 있는 내용을 무시하는 경우가 많기 때문입니다. 만약 그들이 "prbolem"을 본다면, 이미지에 분명히 "prbolem"이라고 적혀 있더라도 자신 있게 "problem"이라고 출력합니다. 이는 마치 선생님이 칠판에 휘갈겨 쓴 실수에도 불구하고 정답을 너무 잘 알고 있어서, 실수를 무시하고 정답을 써 내려가는 학생과 같습니다.

숨겨진 메커니즘: 언제 다시 쓰기가 일어나는가?

이 현상이 왜 발생하는지 이해하기 위해, 연구진은 Qwen3-VL-4B라는 모델의 뇌 내부를 레이어별로 살펴보았습니다. 그들은 로봇이 오류에 대해 "눈이 먼" 것인지, 아니면 단순히 그것을 무시하기로 "선택"한 것인지 알고 싶었습니다.

그들은 흥미로운 규칙을 발견했습니다: 로봇은 단어가 여전히 익숙해 보인다고 "생각"할 때만 단어를 다시 씁니다.

만약 로-봇의 내부 표현(internal representation)이 뒤섞인 단어가 원래 단어와 매우 가깝게 유지된다면 (마치 흐릿한 사진이 여전히 고양이처럼 보이는 것처럼), 로봇은 "오, 저건 확실히 '고양이'야!"라고 말하며 단어를 다시 씁니다.
하지만 뒤섞임이 너무 심해서 내부 표현이 원래 단어로부터 멀리 벗어나 버린다면 (사진이 이제 그냥 덩어리로 보이는 것처럼), 로봇은 추측을 멈추고 마침내 보이는 대로 읽습니다.

이것이 왜 단어 길이가 그토록 중요한지를 설명해 줍니다. 짧은 단어(4~6글자)는 로봇이 원래 단어를 추측하기 쉽기 때문에 최대 **10%**의 확률로 다시 쓰여집니다. 하지만 단어가 8글자 이상이 되면, 다시 쓰기 비율은 **0%**로 떨어집니다. 뒤섞임이 너무 커서 로봇의 "추측하는 뇌"가 원래 단어를 회복할 수 없게 되므로, 로봇은 추측을 포기하고 충실하게 전사하게 됩니다.

파급 효과

가장 놀라운 부분은 이것입니다: 몇 개의 단어를 망가뜨리는 것은 단지 그 특정 단어들에만 영향을 주는 것이 아닙니다. 연구진은 문서 내의 단어 중 단 **5%**만을 망가뜨렸음에도 불구하고, 제너럴리스트 모델들의 경우 손대지 않은 완벽한 단어들의 오류가 5~10배나 급증했다는 사실을 발견했습니다.

이는 마치 로봇이 하나의 오타 때문에 혼란에 빠져 주변의 문단 전체를 잘못 읽기 시작하는 것과 같습니다. 전통적인 OCR 시스템은 이런 문제가 없었습니다. 혼돈 속에 둘러싸여 있어도 차분하고 정확한 상태를 유지했습니다.

이것이 의미하는 바

이 논문은 이 화려한 새로운 AI 모델들이 문서를 이해하고 질문에 답하는 데는 놀랍지만, 텍스트의 문자 그대로의 완벽한 복사가 필요한 작업에는 신뢰할 수 없다고 결론짓습니다. 역사적 원고를 디지털화하거나, 법적 계약서를 검토하거나, 모든 오타가 중요한 의료 기록을 분석하고 있다면, 전통적인 OCR이나 전문화된 도구를 사용하는 것이 좋습니다. 제너럴리스트 VLM들은 고쳐서는 안 될 것들을 고쳐줌으로써 "도움을 주려는" 의욕이 너무 앞서 있습니다.

연구진은 우리가 이 모델들을 사용하는 방식에 주의를 기울여야 한다고 제안합니다. 모델이 문서를 읽을 수 있다고 해서, 그것을 충실하게 읽는다는 뜻은 아닙니다. 현재로서는, 만약 당신이 쓰인 그대로의 진실을 원한다면, 구식 로봇들이 여전히 가장 정직한 필사가입니다.

기술 요약: VLM은 읽는가, 아니-면 다시 쓰는가? 시각-언어 모델의 전사 충실도에 대하여

문제 정의

시각-언어 모델(VLM)은 텍스트 인식, 레이아웃 분석, 그리고 다운스트림 작업을 단일 모델 내에서 처리할 수 있는 능력 덕분에 전통적인 광학 문자 인식(OCR) 파이프라인을 대체하며 문서 이해 분야에서 점점 더 많이 활용되고 있습니다. 그러나 깨끗한 텍스트에 의존하는 표준 OCR 벤치마크는 VLM의 결정적인 행동 결함인 '침묵의 재작성(silent rewriter)' 현상을 포착하지 못합니다. 즉, VLM은 단순히 텍스트를 읽는 것이 아니라, 불완전한 입력(오타, 시각적 아티팩트 또는 불분명한 글자)이 주어졌을 때 실제 적힌 대로 전사하기보다 언어적 사전 지식(language priors)에 기반하여 자신이 '예상하는' 내용을 출력하는 경향이 있습니다. 인간의 독서 과정에서 나타나는 '타이포글리세미아(typoglycemia)' 효과와 유사한 이 동작은 법률 문서, 의료 기록, 역사적 사본과 같이 문자 그대로의 전사가 필수적인 영역에서 심각한 위험을 초라합니다. 기존 연구들은 깨끗한 텍스트 인식에 초점을 맞추고 있어, 이러한 재작성 행동을 체계적으로 조사하지 않았습니다.

방법론

이러한 공백을 메우기 위해 저자들은 불완전한 입력 환경에서의 전사 충실도를 측정하기 위해 설계된 다국어 섭동 벤치마크인 FaithC4를 도입합니다.

데이터셋 구축: 저자들은 Colossal Clean Crawled Corpus(C4)에서 원문 텍스트를 가져와 이를 단일 페이지 문서 이미지로 렌더링했습니다. 영어(EN), 중국어(ZH), 한국어(KO) 세 가지 언어에 대해 4자 이상의 단어(대상 단어의 8%)에 대해 통제된 섭동(perturbation)을 적용했습니다. 섭동 유형은 다음과 같습니다:
- Scramble (뒤섞기): 첫 글자와 마지막 글자는 유지하면서 내부 글자를 섞음 (예: "standard" $\to$ "sdanartd").
- Random Substitution (무작위 치환): 글자를 동일한 스크립트 내의 무작위 문자로 교체.
- Visual Substitution (시각적 치환): 글자를 시각적으로 유사한 대안으로 교체 (예: "standard" $\to$ "stsndord").
- 섭동된 텍스트가 정답(ground truth) 역할을 하며, 모델의 출력을 이와 비교하여 모델이 오류를 충실히 전사했는지, 아니면 원래의 단어로 "재작성"했는지를 판별합니다.
평가 대상 시스템: 본 연구는 세 가지 카테고리에 걸쳐 15개 시스템을 평가합니다:
1. 범용 VLM: 오픈 웨이트 모델(예: Qwen3-VL, InternVL, Gemma) 및 클로즈드 웨이트 모델(예: GPT-5.4-mini, Gemini).
2. OCR 특화 VLM: 문서 추출을 위해 미세 조정된 모델(예: MinerU, DeepSeek-OCR).
3. 전통적 OCR: 문자 단위 파이프라인(Tesseract, docTR).
평가 지표:
- 단어 오류율 (WER): 순서에 민감한 단어 수준의 정확도를 측정 (중국어의 경우 문자 오류율(CER) 사용).
- 편집 거리 유사도 (EDS): 문자 수준의 유사도를 측정.
- 오류 분류: 섭동된 단어에 대한 오류를 Rewritten (섭동되지 않은 원래 단어와 일치), Close (미세한 수정), Moderate (중간), Wrong (틀림)으로 분류.
메커니즘 프로빙 (Mechanistic Probing): 저자들은 재작성의 기원을 식별하기 위해 Qwen3-VL-4B에 대한 레이어별 프로빙을 수행합니다. 원본과 섭동된 입력 간의 피드포워드 네트워크(FFN) 출력의 코사인 유사도를 분석하고, 강조된 단어 패치에 대한 어텐션 가중치를 측정합니다.

주요 결과

1. 성능 저하 및 강건성 계층

연구 결과, 모든 세 가지 언어에서 모델의 언어적 사전 지식의 강도와 상관관계가 있는 일관된 3단계 강건성 계층 구조가 발견되었습니다:

전통적 OCR: 가장 강건하며, WER/CER에서 저하가 0.6 퍼센티지 포인트(pp) 미만입니다. 이들은 시각적 증거를 무시하지 않고 문자 단위로 전사합니다.
OCR 특화 VLM: 중간 정도의 저하(0.2–2.0 pp)를 보이며, 일부 언어적 사전 지식을 유지하지만 범용 모델보다는 적습니다.
범용 VLM: 가장 큰 성능 저하(최대 4.5 pp)를 보입니다. 예를 들어, InternVL3.5-4B는 영어 시각적 섭동 하에서 4.45 pp 저하되었으나, Gemini-3-Flash는 0.23–0.60 pp의 낮은 저하를 보이며 예외적인 모습을 보였습니다.

2. 재작성 행동 (Rewriting Behavior)

재작성 비율: 범용 VLM은 섭동된 단어의 상당 부분을 재작성합니다. 예를 들어, Scramble 섭동 하에서 Gemini-2.5-Flash는 오류의 64.6%를 재작성한 반면, Qwen3-VL은 29.2%를 재작성했습니다. 전통적 OCR은 재작성률이 0%였습니다.
비국소적 오류 전파 (Non-Local Error Propagation): 약 4.7%의 단어만을 섭동시켰음에도 불구하고, 범용 VLM의 경우 섭동되지 않은 나머지 텍스트의 오류율이 5~~10배 증가했습니다. 반면 전통적 OCR은 1.7~~3.1배의 증폭만을 보였습니다. 이는 재작성이 비국소적인 실패 모드임을 시사합니다.
교차 언어적 일관성: 저하 계층 구조는 영어, 중국어, 한국어 모두에서 유지되지만, 가장 치명적인 섭동 유형은 스크립트에 따라 다릅니다 (예: 중국어 범용 VLM에는 무작위 치환이 가장 치명적임).

3. 메커니즘적 통찰 (Qwen3-VL-4B)

Qwen3-VL-4B의 내부 레이어를 프로빙한 결과, 재작성은 섭동을 인지하지 못해서 발생하는 것이 아님이 밝혀졌습니다:

어텐션 vs 표현 (Attention vs. Representation): 모델은 초기 및 후기 레이어에서 섭동된 단어의 이미지 패치에 더 많은 어텐션을 할당합니다. 이는 모델이 해당 오염을 "보고 있음"을 의미합니다.
게이팅 메커니즘 (The Gating Mechanism): 재작성은 섭동된 단어의 최종 레이어에서의 내부 FFN 표현이 원본 인코딩과 가까울(close) 때만 발생합니다.
- 만약 표현이 충분히 발산한다면(낮은 코사인 유사도), 모델은 충실하게 전사합니다.
- 만약 표현이 가깝게 유지된다면(높은 유사도), 언어적 사전 지식이 시각적 증거를 압도하여 단어를 "교정"합니다.
단어 길이 효과: 재작성은 단어 길이에 크게 의존합니다. 짧은 단어(4~6자)는 최대 10%까지 재작성됩니다. 8자 지점에서 급격한 절단점이 존재하며, 8자 이상에서는 재작성률이 0%로 떨어집니다. 짧은 단어는 내부 표현에 미치는 방해가 적어 언어적 사전 지식이 이를 인식하고 "교정"할 수 있게 합니다.

의의 및 주장

본 논문은 FaithC4가 깨끗한 텍스트 벤치마크로는 탐지할 수 없는 VLM의 체계적인 한계, 즉 언어적 사전 지식에 기반하여 불완전한 텍스트를 침묵 속에서 재작성하는 경향을 드러낸다고 주장합니다. 저자들은 리터럴(literal)한 전사가 필요한 응용 분야(법률, 의료, 역사 등)의 경우, 범용 VLM은 체계적인 재작성 오류를 유발할 수 있으므로 전통적 OCR이나 신중하게 선택된 OCR 특화 VLM이 여전히 가장 안전한 선택이라고 주장합니다.

이 연구는 "재작성" 행동이 존재하지 않는 객체를 생성하는 전통적인 의미의 환각(hallucination)이 아니라, 섭동이 내부 표현을 인식 가능한 수준으로 남겨둘 만큼 미미할 때 언어적 사전 지식이 시각적 증거를 압도하는 특정 실패 모드임을 입증합니다. 이 행동은 입력에 할당된 어텐션의 양이 아니라, 모델의 내부 표현에서 발생하는 변화의 크기에 의해 제어됩니다.