GLM-OCR Technical Report

GLM-OCR 는 0.9B 파라미터의 경량 멀티모달 모델로, 멀티 토큰 예측 (MTP) 메커니즘과 2 단계 파이프라인을 통해 문서 이해, 텍스트 및 수식 전사, 표 구조 복원, 핵심 정보 추출 등 다양한 작업에서 높은 효율성과 최첨단 성능을 달성합니다.

핵심

📄 GLM-OCR: "작지만 강력한 문서 해독사" 이야기

이 논문은 **'GLM-OCR'**이라는 새로운 인공지능 모델을 소개합니다. 이 모델을 쉽게 설명하자면, **"거대한 도서관의 책장을 한 번에 훑어보며 복잡한 문서까지 척척 읽어내는, 작지만 똑똑한 비서"**라고 할 수 있습니다.

기존의 거대한 AI 모델들은 무겁고 느려서, 우리가 일상에서 빠르게 문서를 처리하기엔 비효율적이었습니다. 하지만 GLM-OCR은 **0.9B(9 억 개)**라는 매우 작은 크기임에도 불구하고, 거대한 모델들보다 더 빠르고 정확하게 문서를 이해합니다.

이 모델이 어떻게 작동하는지, 일상적인 비유로 설명해 드릴게요.

---

1. 🧩 두 단계로 나누는 '현명한 전략' (아키텍처)

기존의 AI 는 문서를 볼 때 마치 한 장의 큰 그림을 통째로 외우려는 사람처럼, 모든 것을 한 번에 이해하려고 애썼습니다. 하지만 복잡한 문서 (계약서, 영수증, 논문 등) 는 구조가 너무 다양해서 혼란스러울 수 있습니다.

GLM-OCR 은 이를 두 단계로 나누어 해결합니다.

• 1 단계: 레이아웃 분석 (지도 만들기)
  먼저 PP-DocLayout-V3라는 '지도 제작자'가 문서를 훑어봅니다. "여기는 제목이야, 저기는 표야, 여기는 수식이야"라고 문서를 조각조각 잘게 나누는 역할을 합니다.

  • 비유: 복잡한 도시를 한 번에 다 보지 않고, 먼저 '이 구역은 상업지구, 저 구역은 주거지구'라고 구역을 나누는 것과 같습니다.

• 2 단계: 병렬 인식 (동시 작업)
  나누어진 작은 조각들 (텍스트, 표, 수식 등) 을 여러 명의 전문가가 동시에 읽습니다.

  • 비유: 한 사람이 책을 다 읽는 대신, 친구 10 명이 각자 한 페이지씩 나누어 읽어서 훨씬 빠르게 내용을 파악하는 것과 같습니다.

2. 🚀 한 번에 여러 마디를 말하는 'MTP 기술'

기존 AI 는 말을 할 때 한 글자씩 천천히 내뱉습니다 ( autoregressive decoding). 긴 문서를 작성할 때 시간이 많이 걸리는 이유입니다.

GLM-OCR 은 MTP(멀티-토큰 예측) 기술을 도입했습니다.

• 비유: 보통 사람이 "안...녕...하...세...요"라고 한 글자씩 말한다면, GLM-OCR 은 **"안녕하세요!"**라고 한 번에 뱉어냅니다.
• 이 기술 덕분에 처리 속도가 약 50% 빨라졌지만, 메모리 사용량은 거의 늘지 않습니다. 마치 고속도로에서 차 한 대가 여러 대를 동시에 태우고 가는 것과 같습니다.

3. 🏆 왜 이 모델이 특별한가요? (성능)

이 모델은 **작은 크기 (0.9B)**임에도 불구하고, 거대한 모델들 (수천 억 개의 파라미터를 가진 모델들) 과 경쟁하거나 오히려 이기는 성과를 냈습니다.

• OmniDocBench (문서 이해 테스트): 1 위를 차지했습니다. (작은 몸집으로 거인들을 이긴 셈!)
• 표 (Table) 인식: 표의 구조를 완벽하게 복원하는 능력이 탁월합니다.
• 수식 (Formula) 인식: 복잡한 수학 공식도 라텍스 (LaTeX) 코드로 정확하게 변환합니다.
• 실제 현장 (Receipt, Seal 등): 영수증의 복잡한 글씨나 도장 인식에서도 뛰어난 성능을 보여줍니다.

4. 🛠️ 어디에 쓸 수 있나요? (사용 사례)

이 모델은 두 가지 방식으로 사용할 수 있습니다.

1. SDK 를 통한 전체 문서 해독 (전문가 모드):

   • 복잡한 계약서, 논문, 보고서 전체를 **구조화된 데이터 (Markdown, JSON)**로 바꿔줍니다.
   • 예: "이 PDF 파일을 정리해서 표와 텍스트로 나누어 줘"라고 하면, AI 가 자동으로 구조를 파악해 정리해 줍니다.

2. 베이스 모델을 통한 가벼운 작업 (간이 모드):

   • 특정 정보만 뽑아내고 싶을 때 사용합니다.
   • 예: "이 영수증에서 '총 금액'과 '날짜'만 JSON 으로 뽑아줘"라고 하면, 바로 그 정보만 추출해 줍니다.

5. 💡 요약: 왜 이 기술이 중요한가요?

기존의 거대 AI 모델들은 비싸고 무거워서 일반 기업이나 개인이 쓰기 힘들었습니다. 하지만 GLM-OCR 은:

• 가볍습니다: 일반 컴퓨터나 모바일 기기에서도 빠르게 돌아갑니다.
• 빠릅니다: 한 번에 여러 단어를 예측해서 처리 속도가 매우 빠릅니다.
• 똑똑합니다: 복잡한 표와 수식도 잘 이해합니다.

결론적으로, GLM-OCR 은 "거창한 AI 가 아니더라도, 잘 설계된 작은 AI 가 실생활의 복잡한 문서 문제를 훨씬 효율적으로 해결할 수 있다"는 것을 증명하는 혁신적인 모델입니다. 이제 문서 처리는 더 이상 무겁고 느린 작업이 아니라, 가볍고 빠른 일이 될 것입니다.

기술 요약

GLM-OCR 기술 보고서 요약

1. 문제 정의 (Problem)

현대 정보 시스템에서 금융 보고서, 과학 논문, 계약서, 송장 등 시각적으로 풍부하고 레이아웃이 복잡한 문서의 이해는 핵심 역량입니다. 그러나 기존 기술들은 다음과 같은 한계를 가지고 있습니다.

• 전통적 OCR 시스템: 단순한 텍스트 전사에 집중하며, 레이아웃 파싱과 하류 정보 추출을 위해 수동으로 설계된 규칙과 다단계 파이프라인에 의존합니다. 복잡한 레이아웃이나 다양한 문서 형식에서는 성능이 저하됩니다.
• 대규모 멀티모달 언어 모델 (MLLM): 시각 인식과 언어 이해를 통합하여 성능은 향상되었으나, 방대한 모델 크기 (수백 B 파라미터) 와 자기 autoregressive(자기회귀) 디코딩 방식으로 인해 높은 계산 비용, 느린 추론 속도, 막대한 메모리 소모를 유발합니다. 이는 엣지 환경이나 고동시성 생산 시스템에서의 대규모 배포를 어렵게 만듭니다.

따라서 복잡한 콘텐츠 (표, 수식, 코드 등) 에 대한 강력한 성능과 높은 처리량 (Throughput), 낮은 지연 시간 (Latency), 유연한 배포를 동시에 만족시키는 효율적인 솔루션이 필요했습니다.

2. 방법론 (Methodology)

2.1 모델 아키텍처

GLM-OCR 은 총 09B(9 억) 파라미터의 경량 멀티모달 모델로, 효율성과 성능의 균형을 최적화했습니다.

• 비전 인코더 (Vision Encoder): 대규모 이미지 - 텍스트 데이터로 학습된 0.4B CogViT를 사용하여 고수준 시각 표현을 추출합니다.
• 언어 디코더 (LLM Decoder): 0.5B GLM 언어 모델을 사용하여 시각 임베딩과 텍스트 프롬프트를 기반으로 구조화된 텍스트를 생성합니다.
• 크로스 모달 커넥터: 비전 인코더와 언어 디코더를 연결하는 경량 모듈입니다.

2.2 핵심 기술: 멀티 토큰 예측 (Multi-Token Prediction, MTP)

기존의 자기회귀 방식 (한 번에 한 토큰 생성) 은 OCR 과 같은 결정적 (deterministic) 작업에서 비효율적입니다. 이를 해결하기 위해 GLM-OCR 은 MTP 메커니즘을 도입했습니다.

• 동시 예측: 각 디코딩 스텝에서 여러 토큰을 동시에 예측하여 추론 속도를 획기적으로 향상시킵니다 (평균 5.2 토큰/스텝 생성).
• 메모리 효율성: 추가적인 메모리 오버헤드를 줄이기 위해 드래프트 모델 간 파라미터 공유 (Parameter Sharing) 방식을 채택했습니다.
• 성능 향상: 훈련 및 추론 시 MTP 를 적용하여 처리량을 약 50% 향상시켰으며, 특히 표와 같은 긴 구조적 출력에서 구조적 일관성을 높였습니다.

2.3 시스템 파이프라인 (2 단계 구조)

복잡한 문서 처리를 위해 레이아웃 분석과 병렬 인식을 결합한 2 단계 파이프라인을 사용합니다.

1. 레이아웃 분석 (Layout Analysis): PP-DocLayout-V3 를 사용하여 문서의 구조적 영역 (문단, 표, 수식 등) 을 감지하고 분할합니다.
2. 병렬 영역 인식 (Parallel Region Recognition): 분할된 각 영역을 GLM-OCR 코어에 병렬로 입력하여 텍스트, 수식, 표 등을 인식합니다.
3. 후처리: 인식된 결과를 병합하여 마크다운 (Markdown) 또는 JSON 형태의 구조화된 출력을 생성합니다.

2.4 학습 전략 (Training Recipe)

• Stage 1: 대규모 이미지 - 텍스트 및 Grounding 데이터로 비전 인코더 학습.
• Stage 2: 이미지 - 텍스트, 문서 파싱, VQA 데이터로 멀티모달 정렬 (Pretraining) 및 MTP 적응.
• Stage 3 (SFT): 텍스트, 수식, 표 인식, KIE(키 정보 추출) 데이터로 미세 조정.
• Stage 4 (RL): 강화학습 (GRPO) 을 통해 구조적 출력의 신뢰도와 정확도를 향상시킴 (정답률, 구조 유효성 검증 등 보상 함수 적용).

3. 주요 기여 (Key Contributions)

1. 초경량 고효율 모델: 0.9B 파라미터로 대규모 모델 (Qwen3-VL-235B, Gemini-3 Pro 등) 과 경쟁하거나 능가하는 성능을 달성하며, 엣지 디바이스 배포를 가능하게 함.
2. MTP 기반 고속 추론: 자기회귀 방식의 병목 현상을 해결하여 처리량을 50% 이상 개선하고 메모리 오버헤드를 최소화함.
3. 통합 프레임워크: 문서 파싱 (Layout-aware) 과 키 정보 추출 (KIE) 을 단일 생성 프레임워크로 통합하여 파라미터 효율성과 지식 전이를 극대화함.
4. 실용적 배포 지원: vLLM, SGLang, Ollama 등 주요 프레임워크 지원, SDK 제공, MaaS API, 그리고 LLaMA-Factory 를 통한 파인튜닝 지원.

4. 평가 결과 (Results)

4.1 공개 벤치마크 (Public Benchmarks)

• OmniDocBench v1.5: 0.9B 모델임에도 불구하고 94.6 점을 기록하여 평가된 모든 모델 중 1 위를 차지함 (PaddleOCR-VL-1.5: 94.5, MinerU2.5: 90.7, Qwen3-VL-235B: 89.15).
• 세부 항목:
  • 텍스트 인식 (OCRBench): 94.0 점
  • 수식 인식 (UniMERNet): 96.5 점
  • 표 구조 복원 (TEDS): 86.0 점 (PubTabNet: 85.2 점)
  • 키 정보 추출 (Nanonets-KIE): 93.7 점 (오픈소스 모델 중 최상위)

4.2 자체 벤치마크 (In-House Benchmarks)

실제 산업 환경의 6 가지 고빈도 시나리오에서 우수한 성능을 보임.

• 실제 표 인식: 91.5 점
• 인감 (Seal) 인식: 90.5 점 (차기 오픈 모델 대비 27.5 점 이상 우위)
• 영수증 KIE: 94.5 점 (GPT-5.2 의 83.5 점보다 월등히 높음)
• 코드 문서 파싱: 84.7 점
• 다국어 텍스트: 69.3 점

4.3 처리량 (Throughput)

단일 하드웨어 환경에서 PDF 문서당 초당 1.86 페이지, 이미지당 초당 0.67 장의 처리량을 기록하여 경쟁 모델들보다 2 배 이상 빠름.

5. 의의 및 결론 (Significance)

GLM-OCR 은 단순한 모델 크기 확장 (Scaling) 에 의존하지 않고, 아키텍처 최적화, 디코딩 전략 (MTP), 작업 구조화의 정밀한 조화를 통해 문서 이해의 효율성을 혁신적으로 높였습니다.

• 비용 효율성: 클라우드 API 기준 토큰당 0.2 위안으로 기존 OCR 솔루션 대비 약 1/10 의 비용 절감 효과.
• 배포 유연성: 0.9B 규모의 경량화로 인해 엣지 디바이스부터 대규모 클라우드 서버까지 다양한 환경에 유연하게 배포 가능.
• 산업적 적용: 복잡한 레이아웃, 표, 수식, 인감 등 다양한 실전 문서 처리에서 상용급 성능을 입증하여, 실제 생산 시스템에 즉시 적용 가능한 솔루션을 제시함.

결론적으로 GLM-OCR 은 제한된 컴퓨팅 자원 하에서도 고성능 문서 이해를 가능하게 하는 새로운 표준을 제시하며, 문서 지능 (Document Intelligence) 분야의 실용화와 대중화에 중요한 기여를 할 것으로 기대됩니다.