JaWildText: A Benchmark for Vision-Language Models on Japanese Scene Text Understanding
이 논문은 혼합 문자, 수직 쓰기, 방대한 한자 집합 등 일본어 특유의 복잡성을 포착하지 못했던 기존 벤치마크의 한계를 극복하기 위해, 일본에서 새로 촬영된 2,961 장의 이미지와 112 만 개의 주석 문자를 기반으로 밀집된 장면 텍스트 VQA, 영수증 정보 추출, 손글씨 OCR 등 세 가지 과제를 수행하는 새로운 진단 벤치마크 'JaWildText'를 제안하고, 이를 통해 다양한 비전 - 언어 모델의 성능과 주요 오류 원인을 분석합니다.
원저자:Koki Maeda (Institute of Science Tokyo, Tokyo, Japan, Research and Development Center for Large Language Models, National Institute of Informatics, Tokyo, Japan), Naoaki Okazaki (Institute of Science Koki Maeda (Institute of Science Tokyo, Tokyo, Japan, Research and Development Center for Large Language Models, National Institute of Informatics, Tokyo, Japan), Naoaki Okazaki (Institute of Science Tokyo, Tokyo, Japan, Research and Development Center for Large Language Models, National Institute of Informatics, Tokyo, Japan)
원저자: Koki Maeda (Institute of Science Tokyo, Tokyo, Japan, Research and Development Center for Large Language Models, National Institute of Informatics, Tokyo, Japan), Naoaki Okazaki (Institute of Science Tokyo, Tokyo, Japan, Research and Development Center for Large Language Models, National Institute of Informatics, Tokyo, Japan)
지금까지 AI 가 글을 읽는 능력을 평가할 때는 주로 영어 위주의 시험지를 썼거나, 스캔된 문서 (책이나 계약서) 만을 대상으로 했습니다.
하지만 일본의 거리에는 다음과 같은 **'난이도 높은 상황'**이 많습니다.
혼합된 문자: 한자 (Kanji), 히라가나, 가타카나, 영어가 뒤섞여 있습니다.
세로 쓰기: 가로로만 쓰지 않고 세로로 쓰인 글씨가 많습니다.
날것의 환경: 비가 오거나, 글자가 찌그러지거나, 반사광이 들어오는 등 완벽한 조건이 아닙니다.
기존 시험지는 이런 '날것 (Wild)'의 상황을 제대로 잡아내지 못했습니다. 마치 "실전 사격 훈련 없이, 표적만 딱 맞춰서 쏘는 연습만 해본 선수"를 평가하는 것과 비슷합니다.
2. 새로운 시험지 'JaWildText'의 구성 (3 가지 미션)
연구팀은 일본의 거리에서 직접 사진을 찍어 3 가지 미션으로 구성된 새로운 시험지를 만들었습니다.
미션 1: 복잡한 간판 퀴즈 (Dense STVQA)
상황: 가게 간판이나 게시판처럼 글자가 빽빽하게 붙어 있는 사진을 보여줍니다.
과제: "이 가게의 영업시간은 몇 시부터 몇 시까지야?"처럼 여러 글자를 조합해 추론해야 합니다.
비유:미로 찾기. 글자 하나를 읽는 것뿐만 아니라, 여러 글자를 연결해 정답을 찾아야 합니다.
미션 2: 영수증 정보 추출 (Receipt KIE)
상황: 구겨지거나 접힌 실제 영수증 사진입니다.
과제: "총 금액은 얼마야?", "어느 가게에서 샀지?"처럼 특정 정보를 찾아내야 합니다.
비유:보물 지도 해독. 글자 사이사이에 숨겨진 중요한 정보 (날짜, 금액) 를 정확히 찾아내야 합니다.
미션 3: 손글씨 읽기 (Handwriting OCR)
상황: 사람들이 노트나 화이트보드에 쓴 다양한 손글씨입니다.
과제: 글씨를 그대로 텍스트로 옮겨 적어야 합니다.
비유:친구의 낙서 읽기. 글씨가 흐트러지거나 개성 있게 쓰여 있어, AI 가 이를 정확히 알아보는 능력을 봅니다.
3. 실험 결과: AI 들은 얼마나 잘했을까?
연구팀은 최신 AI 모델 14 개를 이 시험지에 풀어보게 했습니다.
최고 점수: 가장 잘한 모델도 64 점 (100 점 만점 기준) 을 받았습니다.
결론: 아직 일본어 자연 환경의 글씨를 완벽하게 이해하는 AI 는 없습니다.
주요 발견 사항:
읽기 (Recognition) 가 가장 약점: AI 가 글자를 '이해'하기 전에, 글자 자체를 '잘못 읽는' 경우가 가장 많았습니다. 특히 한자를 읽는 데 가장 큰 어려움을 겪었습니다.
모델 크기가 답은 아님: 모델이 크다고 해서 무조건 잘하는 건 아닙니다. 일본어 데이터로 특별히 훈련된 작은 모델이, 거대하지만 일본어 훈련이 부족한 모델보다 더 잘하기도 했습니다.
손글씨는 여전히 어렵다: 전문적인 OCR(문자 인식) 프로그램보다 최신 AI 가 조금 더 잘하지만, 여전히 손글씨를 완벽하게 읽는 것은 어렵습니다.
4. 이 연구의 의미 (왜 중요할까?)
이 연구는 단순히 "AI 가 몇 점 맞았나"를 알려주는 것을 넘어, **"어디서 왜 틀렸는지"**를 진단해 줍니다.
비유: 학생이 시험에서 틀렸을 때, "공부 안 해서 틀린 건지 (이해 부족), 문제를 잘못 읽어서 틀린 건지 (기초 실력 부족)"를 구분해 주는 것과 같습니다.
효과: 이제 개발자들은 AI 가 한자를 못 읽는지, 아니면 문맥을 이해하지 못하는지 정확히 파악하여, 약점을 보완할 수 있게 되었습니다.
💡 한 줄 요약
"일본 거리에서 빽빽하고 복잡한 글씨를 읽는 AI 는 아직 초보 수준이며, 이 연구는 AI 가 글자를 '읽는' 능력과 '이해하는' 능력을 구분해 진단할 수 있는 새로운 나침반을 제시했습니다."
1. 문제 정의 (Problem)
기존의 다국어 비전 - 언어 모델 (VLM) 벤치마크는 일본어와 같은 복잡한 스크립트 환경의 고유한 난제를 충분히 포착하지 못합니다. 일본어 장면 텍스트 (Scene Text) 는 다음과 같은 특성으로 인해 기존 평가에서 간과되기 쉽습니다.
혼합 스크립트: 한자 (Kanji), 히라가나, 가타카나, 라틴 알파벳이 혼재되어 있습니다.
수직 작성: 수평뿐만 아니라 수직으로 쓰이는 텍스트가 빈번합니다.
방대한 문자 집합: 라틴 알파벳보다 훨씬 많은 수의 고유 문자 (특히 한자) 를 다룹니다.
기존 일본어 관련 데이터셋은 주로 스캔된 문서에 집중되어 있으며, 자연 환경 (In-the-wild) 에서의 장면 텍스트 이해를 평가하거나, 모델의 오류가 '문자 인식 (Recognition)' 실패인지 '추론 (Reasoning)' 실패인지를 분리하여 진단할 수 있는 체계적인 벤치마크가 부재했습니다.
2. 방법론 (Methodology)
저자들은 이 격차를 메우기 위해 JaWildText라는 진단용 벤치마크를 제안했습니다. 이 벤치마크는 2,961 개의 새로운 이미지에서 추출된 3,241 개의 인스턴스와 112 만 개의 주석 문자 (3,643 개의 고유 문자) 를 포함하며, 세 가지 상호 보완적인 태스크로 구성됩니다.
A. 데이터셋 구성 (3 가지 태스크)
Dense Scene Text Visual Question Answering (STVQA):
목적: 복잡한 간판, 게시판, 포스터 등에서 여러 텍스트 영역을 읽고 이를 연결하여 추론하는 능력 평가.
특징: 질문과 답변 쌍 (1,025 개) 을 생성하며, 각 질문에 필요한 최소한의 증거 영역 (Evidence Regions) 을 주석하여 인식 오류와 추론 오류를 분리 가능하게 함.
Receipt Key Information Extraction (KIE):
목적: 모바일로 촬영된 영수증에서 레이아웃을 인지하여 구조화된 정보 (가게명, 날짜, 총액 등) 를 추출하는 능력 평가.
특징: 실제 촬영 시 발생하는 접힘, 구김, 기울기 등을 포함하여 1,151 개의 영수증 이미지를 사용. 필드 단위 (Field-level) 평가로 특정 필드 추출의 어려움을 진단.
Handwriting OCR:
목적: 다양한 매체 (종이, 태블릿, 화이트보드) 와 방향 (수평/수직) 으로 쓰인 손글씨의 페이지 단위 전사 능력 평가.
특징: 51 명의 작성자가 1,065 개의 손글씨 데이터를 제공. 오타나 불완전한 글자도 원형 그대로 유지하여 모델의 시각적 인식 충실도를 측정.
B. 실험 설정
평가 대상: Qwen3-VL, InternVL3.5, Gemma3, Phi-4-Multimodal, Sarashina2.2-Vision 등 5 개 계열의 14 개 오픈 가중치 VLM 모델.
평가 지표:
STVQA: 증거 영역 인식 여부에 기반한 이진 정답률 (Judge-based accuracy).
KIE: 필드 단위 정확도 및 F1 점수.
Handwriting OCR: 문자 단위 유사도 (1 - CER, 편집 거리 기반).
종합 점수: 세 태스크의 평균.
3. 주요 기여 (Key Contributions)
최초의 일본어 장면 텍스트 전용 벤치마크: 실제 자연 환경 이미지를 기반으로 인식과 추론을 분리하여 평가하는 첫 번째 벤치마크 (JaWildText) 를 소개했습니다.
광범위한 벤치마킹 및 베이스라인 확립: 14 개의 오픈 소스 VLM 을 평가하여 아키텍처 간 성능 격차를 정량화하고 재현 가능한 베이스라인을 제시했습니다.
세부적인 오류 분석 프레임워크: 모델의 실패 원인을 '인식 (Recognition)'과 '추론 (Reasoning)'으로 명확히 분리하고, 스크립트 유형 (한자, 가타카나 등) 에 따른 오류 패턴을 분석했습니다.
4. 실험 결과 (Results)
전체 성능: 가장 성능이 좋은 모델 (Qwen3-VL-8B) 의 종합 평균 점수는 0.64에 불과하여, 일본어 장면 텍스트 이해가 여전히 큰 도전 과제임을 보여줍니다.
태스크별 특징:
STVQA: 모델 간 성능 편차가 가장 컸으며 (0.008~0.62), 인식 오류가 가장 큰 병목 현상이었습니다.
Receipt KIE: 날짜나 시간 등 형식이 제한된 필드는 잘 처리했으나, 가게명 (Store Name) 이나 주소 (Address) 와 같이 레이아웃을 종합해야 하는 필드는 성능이 낮았습니다 (최고 0.16~0.55).
Handwriting OCR: 대부분의 모델이 0.60 이상의 기본 능력을 보였으나, 한자 인식 오류가 전체 점수를 낮추는 주원인이었습니다.
모델 크기 및 아키텍처 영향:
모델 파라미터 수 증가가 성능 향상으로 이어지지만, 특정 태스크 (예: 손글씨 OCR) 에서는 포화 현상이 관찰되었습니다.
일본어 중심 데이터로 학습된 Sarashina2.2-Vision-3B 는 STVQA 에서 InternVL3.5-38B 와 유사한 성능을 보였으나, 다른 태스크에서는 일반 모델과 차이가 없었습니다. 이는 일본어 특화 학습의 효과가 태스크에 따라 다르다는 것을 시사합니다.
오류 분석:
인식 (Recognition) 이 주요 병목: 대부분의 모델에서 추론 오류보다 인식 오류가 훨씬 많았습니다.
한자 (Kanji) 의 어려움: 손글씨 OCR 에서 한자의 문자 오류율 (CER) 이 가장 높았으며, 이는 수천 개의 클래스를 구별해야 하는 복잡성 때문입니다.
스크립트별 차이: InternVL3.5 는 가타카나 혼동, Gemma3 는 한자와 ASCII 문자에서 높은 오류를 보였습니다.
5. 의의 (Significance)
진단적 평가의 중요성 강조: 단순한 종합 점수만으로는 모델의 실제 능력을 파악하기 어렵고, JaWildText 와 같은 세분화된 진단이 필수적임을 입증했습니다.
일본어 NLP 및 멀티모달 연구의 발전: 일본어 고유의 복잡성 (혼합 스크립트, 수직 텍스트, 한자) 을 고려한 체계적인 평가 체계를 마련하여, 향후 모델 개발과 데이터 수집 방향을 제시했습니다.
일반화 가능성: 이 벤치마크는 일본어뿐만 아니라 다른 복잡한 문자 체계 (CJK 등) 를 가진 언어에 대한 진단적 장면 텍스트 평가의 모델이 될 수 있습니다.
결론적으로, JaWildText 는 현재 VLM 들이 일본어 자연 환경 텍스트를 이해하는 데 있어 인식 단계, 특히 한자 인식과 레이아웃 기반 추론에서 여전히 한계가 있음을 명확히 보여주며, 향후 연구의 방향성을 제시하는 중요한 벤치마크입니다.