EuraGovExam: A Multilingual Multimodal Benchmark from Real-World Civil Service Exams

1. 문제 정의 (Problem)

기존의 멀티모달 벤치마크 (VQA, MMMU 등) 는 대부분 텍스트 기반의 질문을 제공하거나, 이미지와 텍스트를 분리하여 입력하거나, OCR(광학 문자 인식) 을 통해 추출된 텍스트를 사용합니다. 또한, 영어 및 라틴 문자 중심의 데이터로 편향되어 있어, 실제 공공 기관 시험 (국가 공무원 시험 등) 에서 발생하는 복잡한 시각적, 언어적 과제를 충분히 평가하지 못합니다.

실제 공무원 시험 문서들은 다음과 같은 특징을 가지며, 이는 현재 비전 - 언어 모델 (VLM) 의 한계를 드러내는 주요 요인입니다:

• 복잡한 레이아웃: 밀집된 표, 수식, 다중 열 구성, 수직 쓰기 (일본어), 혼합 스크립트 (힌디어, 한자/가나 등).
• 이미지 내 텍스트: 문제 지문, 보기, 도표 등 모든 정보가 단일 이미지 내에 포함되어 있어, 별도의 텍스트 입력 없이 시각적 입력만으로 추론해야 함.
• 다국어 및 다양한 문자 체계: 한국어, 일본어, 대만어 (번체), 힌디어, 유럽어 (라틴 문자) 등 5 개 이상의 언어와 문자 체계가 혼재.

2. 방법론 (Methodology)

2.1 데이터셋 구축 (Dataset Construction)

• 소스: 한국, 일본, 대만, 인도, 유럽 연합 (EU) 의 5 개 지역에서 실제 공개된 공무원 시험 문제 8,000 개 이상을 수집했습니다.
• 처리 방식:
  • OCR 배제: 텍스트 추출이나 번역 없이 원본 스캔 이미지를 그대로 사용합니다.
  • 단일 이미지 입력: 문제 내용 (지문, 보기, 표, 그림 등) 이 포함된 단일 이미지를 모델에 입력합니다.
  • 최소화된 지시어: 모델은 문제 내용 없이 "이미지의 객관식 문제를 풀고 마지막에 'The answer is X' 형식으로 답을 제시하라"는 최소한의 지시어만 받습니다.
• 범위: 17 개의 학문 및 행정 분야 (법률, 행정, 수학, 생물학 등) 를 포괄하며, 5 가지 주요 문자 체계 (한글, 한자/가나, 번체, 데바나가리, 라틴) 를 다룹니다.

2.2 평가 프로토콜 (Evaluation Protocol)

• 이미지 전용 (Image-Only) 설정: 외부 텍스트, OCR 도구, 계산기, 번역기 등의 사용을 금지하고 모델이 이미지에서 직접 텍스트를 인식하고 추론하도록 합니다.
• 표준화된 평가: 28 개의 VLM(14 개 상용, 14 개 오픈소스) 을 동일한 조건 (Greedy decoding, 고정된 생성 길이 등) 하에 평가합니다.
• 정답 추출: 모델의 최종 출력 라인을 정규 표현식으로 파싱하여 정답 (A, B, C, D, E) 을 추출하고 정확도 (Accuracy) 를 계산합니다.

3. 주요 기여 (Key Contributions)

1. EuraGovExam 벤치마크 제안: 실제 공무원 시험에서 유래한 8,000 개 이상의 고해상도 이미지 기반 멀티모달 벤치마크를 최초로 제안했습니다.
2. 영역 (Nation/Script) vs 도메인 (Domain) 영향력 분석: 기존 연구들이 도메인 난이도에 집중했다면, 본 연구는 국가/문자 체계가 모델 성능 변동의 주된 원인임을 규명했습니다.
3. 체계적인 실패 분석: 모든 모델이 실패하는 '보편적 실패 (Universal Failure)' 사례를 식별하고, 지역별 실패 패턴 (시각적 파싱 실패 vs 지식 부족) 을 심층 분석했습니다.

4. 주요 결과 (Key Results)

4.1 전체 성능

• 최상위 상용 모델 (Gemini-2.5-Pro, GPT-5 등) 은 약 86% 의 정확도를 보였으나, 이는 여전히 인간 수준의 완벽함에서 거리가 멀며, 특히 오픈소스 모델들은 무작위 추측 수준 (23.7% 미만) 에 머무르는 경우가 많았습니다.
• 시각적 복잡성의 영향: 텍스트 중심 벤치마크 (MMLU 등) 에서의 성능과 달리, 이미지 기반 멀티모달 평가에서는 시각적 인코딩과 다국어 처리 능력이 성능을 결정하는 핵심 요소로 작용했습니다.

4.2 지역별 성능 편차 (Cross-Regional Variance)

• 가장 중요한 발견: 국가/문자 체계 요인이 도메인 요인보다 2.52 배 더 큰 성능 변동을 일으켰습니다.
• 극단적인 격차: 동일한 모델이 대만 (96.1%) 문제에서는 90% 이상의 정확도를 보이지만, 일본 (31.3%) 문제에서는 30% 미만으로 떨어지는 등 최대 64.8%p의 성능 격차가 발생했습니다.
• 문자 체계의 영향: 한자 문화권인 일본과 대만 사이에서도 수직 쓰기, 가나 혼용, 후리가나 (훈점) 등 일본어 특유의 레이아웃 처리가 주요 병목 현상이었습니다.

4.3 보편적 실패 (Universal Failure)

• 전체 8,000 개 문제 중 **50 개 (0.6%)**는 평가된 28 개 모델 전부가 틀렸습니다.
• 이 실패 사례는 **인도 (60%)**에 집중되어 있었으며, 복잡한 비라틴 문자 (데바나가리) 가 포함된 수식, 중첩된 표, 도면 해석 등 시각적 인지와 도메인 지식이 동시에 요구되는 문제들이었습니다.

5. 의의 및 시사점 (Significance)

1. 벤치마크 설계의 재고: 기존 벤치마크가 도메인만 통제하고 스크립트나 레이아웃을 무시할 경우, 실제 환경에서의 모델 성능 격차를 과소평가할 수 있음을 시사합니다.
2. VLM 개발 방향성:
   • 스크립트 인식 시각 인코딩: 한자/가나/힌디어 등 특정 문자 체계의 레이아웃 (수직 쓰기, 혼합 스크립트) 에 특화된 토큰화 및 인코딩 전략 필요.
   • 균형 잡힌 다국어 학습 데이터: 일본어 문서 스캔이나 데바나가리 기반 기술 콘텐츠와 같은 소외된 스크립트 영역의 학습 데이터 증강 필요.
   • 레이아웃 이해의 중요성: 도메인 지식뿐만 아니라 문서 레이아웃 이해가 고난도 평가의 핵심 요소임을 강조.
3. 실용적 응용: 전자 행정 (e-governance), 공공 문서 분석, 공정한 시험 준비 시스템 등 실제 공공 부문의 문서 처리 기술 발전에 기여할 수 있는 기준을 마련했습니다.

결론

EuraGovExam 은 단순히 모델의 지식 수준을 측정하는 것을 넘어, 시각적 복잡성, 언어적 다양성, 그리고 실제 문서 레이아웃이 모델 성능에 미치는 영향을 체계적으로 진단할 수 있는 새로운 표준을 제시했습니다. 특히 "국가/문자 체계가 도메인보다 성능을 더 크게 좌우한다"는 발견은 향후 멀티모달 모델의 평가 및 개선 방향에 중요한 통찰을 제공합니다.