Layout-Aware Curriculum Learning for Lightweight Document OCR

디지털 시대에는 스캔된 계약서, 손글씨 메모, 밀도 높은 학술 논문, 복잡한 재무 보고서와 같이 종이 문서의 이미지 형태로 된 방대한 정보의 도서관이 존재합니다. 이 정보를 컴퓨터가 읽고 이해할 수 있는 텍스트로 변환하기 위해서는 광학 문자 인식(OCR)이라는 과정이 필요합니다. 수십 년 동안 이를 수행하는 표준적인 방법은 작업을 여러 개의 작고 분리된 단계로 나누는 것이었습니다. 먼저, 컴퓨터는 페이지 내에서 텍스트가 어디에 있는지 찾습니다. 그다음, 표나 공식을 식별합니다. 마지막으로 단어를 읽어냅니다. 이 방식은 효과적이긴 했지만, 취약점이 있었습니다. 첫 번째 단계에서 오류가 발생하면 나머지 단계가 모두 망가졌으며, 너무 많은 서로 다른 프로그램을 실행해야 했기에 막대한 컴퓨팅 자원을 소모했습니다. 최근에는 거대 시각-언어 모델(large vision-language models)을 사용하는 새로운 접근 방식이 등장했습니다. 이들은 이미지를 보고 한 번에 그에 대한 설명을 작성할 수 있는 강력한 시스템으로, 별도의 단계들을 건너뛸 수 있습니다. 그러나 이러한 모델들은 종종 매우 거대하여 운영을 위해 대규모 데이터 센터를 필요로 하며, 여전히 복잡한 문서라는 무질서한 현실 앞에서 어려움을 겪습니다.

다칭 유전 개발 연구소(Exploration and Development Research Institute of Daqing Oilfield Company)의 연구진은 이러한 모델을 가르치는 방식에 있어 판도를 바꿀 새로운 방법을 개발했습니다. 그들은 아주 단순한 질문을 던졌습니다. "매우 작고 가벼운 모델이 올바른 순서로 학습된다면, 거대한 모델만큼 문서를 잘 읽을 수 있을까?" 그들의 대답은 '그렇다'였습니다. 그들은 쉬운 페이지부터 시작하여 점진적으로 어려운 페이지를 도입하는 세심한 교사와 같은 학습 방법을 만들었습니다. 또한, 컴퓨터가 단순히 단어가 무엇인지뿐만 아니라, 그것들이 페이지의 정확히 어디에 위치해 있는지에 집중하도록 강제하는 특정 규칙을 학습 과정에 추가했습니다. 그 결과, 단 2억 5,600만 개의 파라미터만을 가진 작은 모델이 수천 배 더 큰 모델만큼의 성능을 발휘하게 되었습니다.

그들 발견의 핵심은 학습 데이터를 어떻게 구성했느냐에 있습니다. 학생이 글을 배우는 과정을 상상해 보십시오. 만약 당신이 학생에게 간단한 문장을 준 다음, 단락을 주고, 그다음 차트와 수학 문제가 뒤섞인 페이지를 준다면, 학생은 가장 어려운 페이지를 처음부터 마주했을 때보다 더 빠르게 배울 것입니다. 연구진은 이 논리를 컴퓨터에 적용했습니다. 그들은 수천 개의 문서 이미지를 분석하고, 페이지가 얼마나 빽빽한지, 텍스트가 얼마나 복잡한지, 그리고 표나 공식이 얼마나 포함되어 있는지에 따라 각 이미지에 난이도 점수를 부여했습니다. 그런 다음 이 문서들을 가장 단순한 것부터 가장 복잡한 것 순으로 정렬했습니다. 컴퓨터에게 모든 페이지를 한꺼번에 보여주는 대신, 쉬운 페이지를 먼저 입력했습니다. 모델이 단순한 페이지를 숙달하면 약간 더 어려운 페이지를 추가하는 방식으로 난이도를 계속 높여갔습니다. '커리큘럼 학습(curriculum learning)'이라고 알려진 이 단계적 접근 방식 덕분에, 작은 모델은 기계를 혼란스럽게 만드는 복잡하고 지저netic한 문서들을 다루기 전에 강력한 기초를 쌓을 수 있었습니다.

이를 더욱 효과적으로 만들기 위해, 연구진은 모델이 실수를 했을 때 수정하는 방식 또한 변경했습니다. 표준적인 학습 방법은 컴퓨터가 쓴 단어가 문서의 단어와 일치하는지에 거의 전적으로 집중합니다. 이들은 컴퓨터가 그 단어들의 위치를 정확히 식了는지 여부는 종종 무시합니다. 실제 문서에서는 표가 오른쪽 상단에 있다는 것을 아는 것이 그 안에 무엇이 들어있는지를 아는 것만큼이나 중요합니다. 연구팀은 모델이 텍스트, 공식 또는 표의 잘못된 위치를 예측했을 때 벌점을 주는 새로운 규칙을 도입했습니다. 이는 모델이 페이지의 물리적 레이아웃을 학습하도록 강제하여, 단어들을 올바른 위치에 고정하도록 만들었습니다. 이러한 공간적 인지 능력은 모델이 문서의 구조를 이해하는 데 도움을 주었으며, 결과적으로 텍ек스트 자체를 더 잘 읽을 수 있게 만들었습니다.

결과는 놀라웠습니다. 연구진은 교과서부터 손글씨 메모까지 다양한 문서 이미지를 포함한 벤치마크에서 LACL-OCR이라 명명한 새로운 모델을 테스트했습니다. 단 2억 5,600만 개의 파라미터만으로 이 모델은 85.18의 점수를 기록했습니다. 이를 비교해 보자면, 이 작은 모델은 30억 개 및 70억 개의 파라미터를 가진 훨씬 더 큰 특화 모델들을 능가했습니다. 심지어 이 모델은 수천 배 더 큰 일반 목적의 인공지능 모델인 1조 개의 파라미터를 가진 모델의 성능에 매우 근접했습니다. 작은 모델은 단순히 큰 모델들과 대등한 수준에 머문 것이 아니라, 표와 수학 공식을 인식하는 것과 같은 특정 작업에서는 그들을 앞질렀습니다. 이 연구는 모델을 어떻게 학습시키느냐가 모델의 크기만큼 중요하다는 점을 시사합니다. 논리적인 순서로 모델을 가르치고 페이지의 레이아웃을 이해하도록 보장함으로써, 경량화된 시스템이 과거에는 막대한 컴퓨팅 자원이 필요하다고 여겨졌던 결과를 달성할 수 있음을 보여주었습니다.

이 연구는 인공지능에서 '더 큰 것이 항상 더 좋은 것'이라는 관념에 도전합니다. 연구진은 작은 모델들이 겪었던 이전의 어려움이 크기의 부족 때문이 아니라, 스마트한 학습 전략의 부재 때문이었음을 발견했습니다. 난이도 순서에 따른 학습 경로와 공간적 레이아웃에 대한 집중을 결합함으로써, 그들은 컴팩트한 모델의 잠재력을 끌어올렸습니다. 이는 미래에 강력한 문서 읽기 도구들이 값비싸고 에너지를 많이 소비하는 서버가 아니라, 표준 컴퓨터나 심지어 모바일 기기에서도 실행될 수 있음을 의미합니다. 이 연구 결과는 적절한 교수법이 있다면, 작은 모델도 세상의 복잡하고 무질서한 문서들을 거대한 모델들만큼 잘 처리할 수 있다는 것을 시사합니다.