METATR: A Multilingual, Evolving Benchmark for Automatic Text Recognition

수천 권의 책이 세계 각지에서 모여 쌓인 거대하고 먼지 투성이의 도서관을 번역가 팀이 읽는다고 상상해 보세요. 어떤 책들은 완벽한 영어로 인쇄된 깔끔하고 현대적인 신문지입니다. 반면 다른 책들은 희미한 잉크로 쓰인 무너져가는 중세 필사본으로, 낯선 필체, 기이한 레이아웃, 더 이상 아무도 구사하지 않는 언어로 되어 있습니다.

오랫동안 이러한 번역가들 (이 논문에서는 자동 텍스트 인식 또는 ATR 이라고 부릅니다) 에 대한 '테스트'는 비어 있고 햇살이 내리쬐는 고속도로에서의 운전 면허 시험과 같았습니다. 자동차 (AI 모델) 들은 도로가 쉬워서 99% 완벽하게 운전할 수 있었습니다. 사람들은 "운전은 해결됐다! 더 이상 테스트할 필요가 없다"고 말하기 시작했습니다.

하지만 현실 세계의 도로는 구덩이, 안개, 혼란스러운 우회도로로 가득 차 있습니다. 이 논문의 저자들인 METATR은 과거의 테스트들이 우리를 속이고 있음을 깨달았습니다. 그들은 AI 모델들이 실제로 혼란스럽고 현실적인 도서관을 처리할 수 있는지 확인하기 위해 훨씬 더 까다로운 새로운 테스트 트랙을 구축했습니다.

그들이 발견한 바를 간단히 설명하면 다음과 같습니다:

1. 새로운 테스트 트랙 (METATR)

깨끗하고 현대적인 영어 텍스트로만 테스트하는 대신, 저자들은 METATR이라는 '스트레스 테스트'를 만들었습니다.

• 다양성: 그들은 17 개 다른 출처에서 453 페이지의 문서들을 수집했습니다. 이는 어려운 문서들의 '최고 명곡' 앨범과 같습니다.
• 혼합: 아랍어부터 베트남어까지 29 개 언어, 고대 그리스어나 일본어와 같은 다양한 문자 체계, 그리고 손글씨 편지, 오래된 신문, 다단 레이아웃과 같은 다양한 조건이 포함됩니다.
• 목표: 그들은 누가 가장 빠른지 보고 싶었던 것이 아니라, 특정 언어로 훈련받지 않았음에도 불구하고 지저분하고 손으로 쓴 페이지를 읽을 때 단어를 지어내지 (환각) 않거나 텍스트를 잘못된 순서로 읽지 않는지를 확인하고 싶었습니다.

2. 레이서들 (모델들)

그들은 이 트랙에 세 가지 유형의 '운전자'들을 투입했습니다:

• 전문 정비사들 (전통적인 OCR): 이들은 텍스트를 읽기 위해 특별히 제작된 구식 도구들입니다. 이들은 특수 지게차와 같습니다: 상자 (깨끗하고 인쇄된 텍스트) 를 옮기는 데는 훌륭하지만, 붐비는 지저분한 거실 (손글씨, 복잡한 레이아웃) 을 navigate 하는 데는 형편없습니다.
• 오픈소스 수리공들: 이들은 커뮤니티가 구축한 모델들입니다. 어떤 것은 작고 빠르고, 어떤 것은 크고 강력합니다. 이들은 차고에서 일하는 정비사 팀과 같습니다. 어떤 것은 놀라울 정도로 좋지만, 일관성이 부족합니다. 때로는 챔피언처럼 운전하다가도 다른 때는 벽에 충돌하기도 합니다.
• 빅테크 거인들 (독점 모델): 구글 (Gemini), 안트로픽 (Claude), 오픈AI 같은 회사들의 거대하고 비싼 모델들입니다. 이들은 가장 큰 엔진과 최고의 연료를 갖춘 포뮬러 1 자동차와 같습니다.

3. 레이스 결과

이 까다로운 트랙에서 레이스를 진행했을 때, 결과는 명확했습니다:

• 빅테크 거인들 (대부분) 이 승리했습니다: '포뮬러 1 자동차'들 (특히 Gemini 3 Pro와 Claude Opus 4.5) 이 가장 일관성이 있었습니다. 그들은 지저분한 손글씨, 기이한 레이아웃, 희귀한 언어를 그 누구보다 잘 처리했습니다. 그들은 가장 적은 실수를 범했습니다.
• 전문 정비사들은 고전했습니다: 구식 도구들은 깨끗하고 현대적인 신문을 읽는 데는 훌륭했지만, 역사적인 손글씨나 복잡한 레이아웃을 마주하면 무너졌습니다. 그들은 적응할 수 없었습니다.
• 오픈소스 수리공들은 들쑥날쑥했습니다: 더 큰 오픈소스 모델들 (예: Qwen이나 olmOCR) 은 일부 트랙에서 거인들과 경쟁할 수 있었지만, 훨씬 더 예측 불가능했습니다. 때로는 훌륭하게 수행했지만, 다른 때는 캄보디아어나 일본어와 같은 어려운 문자 체계에서 큰 실수를 범하기도 했습니다.
• 손글씨 '장애물': 인쇄된 텍스트를 읽는 것은 모두에게 쉬웠습니다. 하지만 손글씨 텍스트를 읽는 것이 진정한 살인자였습니다. 최고의 모델들도 여기서 고전했지만, 빅테크 거인들은 여전히 실패할 가능성이 가장 낮았습니다.

4. 속도의 대가

이 논문은 또한 '연료 비용' (계산 비용과 속도) 을 살펴보았습니다.

• 거인들은 느리고 비쌉니다: 최고 성능을 보이는 모델들 (Gemini, Claude) 은 페이지를 읽는 데 오랜 시간이 걸리고 사용 비용이 듭니다. 이들은 럭셔리 택시와 같습니다: 훌륭한 서비스지만, 그 대가를 지불해야 합니다.
• 정비사들은 빠르고 쌉니다: 전문 도구들 (예: PeroOCR) 은 놀라울 정도로 빠르며 작은 컴퓨터에서 실행됩니다. 이들은 자전거와 같습니다: 싸고 빠르지만, 가파른 언덕 (복잡한 문서) 을 처리할 수는 없습니다.
• 중간 지대: 오픈소스 모델들은 중간에 위치합니다. 실행하려면 강력한 컴퓨터 (비싼 그래픽 카드) 가 필요하며, 정비사들보다는 느리지만 거인들보다는 빠릅니다.

결론

이 논문은 "텍스트 인식은 해결되었다"는 아이디어가 거짓임을 결론지었습니다.

깨끗하고 현대적인 영어로만 테스트한다면 위안감을 얻게 됩니다. 하지만 이 시스템들에 지저분하고 역사적이며 다국어 문서를 던지면 성능이 크게 떨어집니다.

이러한 도구들을 사용하려는 모든 사람을 위한 교훈:
모든 상황에 맞는 단일한 '최고' 모델은 없습니다.

• 지저분하고 역사적인 문서에서 가장 높은 정확도가 필요하고 비용이나 대기 시간을 감수할 수 있다면, 현재 빅테크 모델들이 최선의 선택입니다.
• 수천 장의 깨끗하고 현대적인 페이지를 읽어야 하며 속도와 낮은 비용이 필요하다면, 전문 도구들이 여전히 최선입니다.
• 오픈소스 모델들은 유망한 중간 지대이지만, 예측 불가능할 수 있으므로 주의해야 합니다.

저자들은 이 벤치마크를 구축하여 미래에 "영어를 읽을 수 있는가?"가 아니라 "무엇을, 어디서나, 무언가를 지어내지 않고 읽을 수 있는가?"에 대한 진전을 추적할 수 있도록 했습니다.