기술 요약: '일국어 일문자(One Language, One Script)'를 넘어서

문제 제기

현재의 시각-언어 모델(VLM)은 '일국어 일문자(OLOS)'라고 불리는 결함이 있는 가설 하에 작동하고 있습니다. 이 패러다임은 문자를 언어의 결정론적 함수로 취급하며, 단일 언어가 단일 문자 체계에 대응한다고 가정합니다. 결과적으로, 기존의 벤치마크(예: XM3600, MaXM)는 펀잡어(구르무키, 샤무키, 로마자), 세르비아어(키릴 문자, 라틴 문자), 쿠르드어(아랍 문자, 라틴 문자, 키릴 문자)와 같이 다중 문자 체계를 통해 세상을 항해하는 수십억 명의 사용자들을 간과하고 있습니다.

본 논문은 이러한 평가의 공백이 '문자-현실 간 격차(Script-Reality Gap)'를 생성한다고 주장합니다. 만약 동일한 의미적 내용이 서로 다른 문자로 제시되었을 때 모델의 추론 능력이 변동한다면, 해당 모델의 '다국어 능력'은 진정한 의미의 의미론적 접지(semantic grounding)보다는 문자 패턴 매칭에 더 의존하고 있다는 것을 의미합니다. 이는 특정 문자의 사용자에게는 유능하지만, 동일한 사용자 층 내의 다른 문자 사용자에게는 신뢰할 수 없는 모델이 되어 결국 형평성 격차를 초래합니다.

방법론: PuMVR 벤치마크

이러한 편향을 정량화하기 위해, 저자들은 다중 모달 추론에서 문자를 독립 변수로 분리하도록 설계된 최초의 벤치마크인 **PuMVR (Punjabi Multimodal Visual Reasoning)**을 도입합니다.

• 데이터셋 구성: PuMVR은 전문가가 큐레이션한 375개의 문화적 맥락이 담긴 이미지 추론 과제로 구성됩니다. 각 과제는 펀잡어의 세 가지 활성 문자 체계 간에 완벽한 의미적 등가성을 유지합니다:
  1. 구르무키 (Gurmukhi): 인도 펀잡 지역에서 지배적인 인도 계열 문자.
  2. 샤무키 (Shahmukhi): 파키스탄 펀잡 지역에서 지배적인 페르시아-아랍 계열 문자.
  3. 로마자 (Roman): 디아스포라 및 디지털 커뮤니티에서 사용되는 라틴 전사.
• 과제 카테ка리: 375개의 인스턴스는 시각적 유추(Visual Analogies), 문화적 대상 인식, 축제 및 기념일 추론, 건축 및 랜드마크 인식, 이미지 내 텍스트 추론(OCR), 추상적 시각-언어 추론의 6개 범주로 분산되어 있습니다.
• 실험 설계: 본 연구는 10개의 최첨단 VLM(GPT-4o, Gemini 2.5, Claude Sonnet 4와 같은 독점 프런티어 모델 및 Qwen2-VL, Llama-3.2-Vision과 같은 오픈 웨이트 모델 포함)을 다섯 가지 보완적 조사 항목에 걸쳐 평가합니다:
  1. 문자 격차 정량화: 문자 간 정확도 차이 및 문자 일관성 비율(SCR) 측정.
  2. 모달리티 절제 실험 (Modality Ablation): 시각적 접지가 문자 편향을 보완할 수 있는지 확인하기 위해 텍스트 전용 입력과 다중 모달 입력을 비교.
  3. 교차 문자 전이 (Cross-Script Transfer): 예시와 테스트 쿼리가 서로 다른 문자를 사용할 때의 퓨샷 학습 효율성 테스트.
  4. OCR 불일치 강건성: 이미지 텍스트와 쿼리 문자가 불일치할 때 발생하는 성능 저하 측정 (문자 불일치 지수).
  5. 추론 발산 (Reasoning Divergence): 사고 사슬(Chain-of-Thought, CoT) 출력을 분석하여 문자의 선택이 추론 경로를 변경하는지 확인.

주요 기여

1. PuMVR 벤치마크: 언어의 폭을 넘어 문자의 깊이를 평가하기 위해 설계된 통제된 3방향 문자 평가 프레임워크를 제공합니다.
2. 문자 편향의 정량화: 문자 불가지론적 평가를 위한 핵심 지표로서 **문자 일관성 비율(SCR)**을 도입했습니다. 연구 결과, 현재 모델들은 상당한 성능 격차를 보이며, 정확도 차이는 최대 16%에 달하고 일부 모델의 SCR은 24.8%까지 떨어지는 것으로 나타났습니다.
3. 추론 발전의 증거: 문자의 선택이 모델로 하여금 동일한 이미지-텍스트 쌍에 대해 서로 다른 시각적 특징에 집중하게 하는 등, 서로 다른 추론 전략을 채택하게 만드는 잠재적 트리거 역할을 한다는 것을 입증했습니다.

주요 결과

• 보편적 문자 격차: 평가된 10개 모델 모두에서 문자에 따른 성능 저하가 관찰되었습니다. GPT-4o와 같은 프런티어 모델조차도 유의미한 격차(예: 구르무키와 샤무키 간 4.26% 차이)를 보였습니다.
• 문자적 파편화: 높은 문자 일관성 비율은 드물었습니다. 예를 들어, GPT-4o는 구르무키에서 90.93%의 정확도를 달inos했으나, SCR은 78.13%에 불과하여 지식의 12.8%가 문자에 의해 고착되어 있음을 보여주었습니다. 오픈 웨이트 모델의 성과는 더 낮았으며, Llama-3.2-11B-Vision은 27.47%의 SCR을 기록했습니다.
• 시각적 접지는 보완이 아닌 가산적 요소: 시각적 입력이 모든 문자에서 절대적인 성능을 높였지만(시각적 이득 7.5% ~ 36.1%), 문자 격차를 좁히지는 못했습니다. 상대적 편향은 지속되었으며, 이는 근본적인 문자의 파편화가 체계적임을 시사합니다.
• 제한적인 교차 문자 전이: 추론 패턴의 전이성이 제한적이었습니다. 퓨샷 설정에서 일부 모델은 치명적인 성능 저하를 경험했습니다 (예: Qwen2-VL-72B-Instruct는 구르무키 예시를 사용한 구르무키 테스트에서 83.5%에서 33.6%로 급락). 전이 효율성(TE)은 모델마다 크게 달랐으며, 이는 지식이 개념적으로 추상적이기보다 특정 문자에 종속되어 있음을 나타냅니다.
• OCR 및 문자 불일치: 이미지 텍스트와 쿼리 문자가 불일치할 때, 특히 샤무키의 경우와 OCR 능력이 약한 모델에서 상당한 성능 저하(문자 불일치 지수)가 관찰되었습니다.
• CoT 발산: 사고 사슬(CoT) 분석 결과, 구조화된 프롬프팅이 특정 문자 기반의 경로를 불안정하게 만들 수 있음이 드러났습니다. 예를 들어, GPT-4o의 샤무키 정확도는 CoT 적용 시 20.4% 하락한 반면, 구르무키 성능은 안정적으로 유지되었습니다. 이는 샤무키 추론이 명시적 설명 하에서는 붕괴되는 암묵적 휴리스틱에 의존하고 있음을 시사합니다.

의의 및 주장

본 논문은 언어의 폭이 곧 다국어 능력과 같다는 가정, 즉 다국어 VLM 평가의 중대한 사각지대를 폭로한다고 주장합니다. 최첨단 모델들이 진정한 의미의 다중 문자 모델이 아님을 입증함으로써, 저자들은 OLOS 패러다임에 도전합니다.

이 연구의 의의는 다음과 같습니다:

• 평가의 재정의: 언어의 개수에서 문자의 강건함으로 이동하기 위한 필수 지표로 **문자 일관성 비율(SCR)**을 제안합니다.
• AI의 형평성: 다중 문자 사용자(전 세계 10억 명 이상)에게 있어, 한 문자에는 성공하지만 다른 문자에는 실패하는 모델은 '부분적으로 유능한' 것이 아니라 '신뢰할 수 없는' 모델임을 강조합니다.
• 방법론적 청사진: 다른 다중 문자 언어(예: 힌디어-우르두어, 세르비아어, 쿠르드어)에서도 문자 편향을 진단할 수 있는 재현 가능한 프레임워크를 제공하여, 글로벌 AI의 문자적 형평성을 달성하는 데 기여합니다.

저자들은 공평한 AI를 달성하기 위해서는 언어의 폭을 넘어 문자의 깊이로 나아가야 하며, 시각적 접지와 의미론적 추론이 문자의 선택에 의해 파편화되지 않도록 보장해야 한다고 결론짓습니다.