Texo: Formula Recognition within 20M Parameters

이 논문은 2000 만 개의 파라미터만 사용하여 최첨단 모델과 유사한 성능을 내면서도 모델 크기를 대폭 줄여 소비자용 하드웨어와 브라우저 환경에서도 실시간 추론이 가능한 경량 수식 인식 모델 'Texo'를 제안합니다.

핵심

📸 1. 문제: "무거운 짐을 들고 달리는 선수"

과거에 수학 공식을 인식하는 AI 들은 아주 똑똑했지만, 몸무게 (데이터 크기) 가 너무 무거웠습니다.

• 비유: 마치 올림픽 금메달리스트가 달릴 때, 무거운 철제 갑옷을 입고 뛰는 것과 같습니다. 성능은 좋지만, 일반인이 쓰는 노트북이나 스마트폰에서는 너무 무거워서 달릴 수 없습니다.
• 현실: 기존 최고의 모델들 (UniMERNet 등) 은 수억 개의 '파라미터' (AI 의 지식 단위) 를 가지고 있어, 일반 컴퓨터에서 실행하려면 무거운 서버가 필요했습니다.

🎒 2. 해결책: "가벼운 배낭을 꾸린 Texo"

저자들은 이 문제를 해결하기 위해 2 천만 개의 파라미터만 가진 아주 작고 가벼운 모델인 Texo를 만들었습니다.

• 비유: 갑옷을 다 벗고, 필요한 도구만 쏙쏙 골라 넣은 가벼운 배낭을 멘 마라토너가 된 것입니다.
• 결과: 몸무게는 80% 이상 줄였는데, 달리는 속도 (인식 성능) 는 여전히 금메달급입니다. 심지어 일반 가정용 컴퓨터나 웹 브라우저에서도 실시간으로 작동합니다.

🔧 3. 어떻게 그렇게 가볍게 만들었을까? (핵심 기술)

단순히 모델을 작게 만든 게 아니라, 지식 전달과 정리라는 두 가지 마법을 썼습니다.

A. '말'을 줄이다 (어휘 정제)

기존 모델들은 일상적인 언어 (책, 뉴스 등) 를 배우느라 **너무 많은 단어 (5 만 개 이상)**를 외우고 있었습니다. 하지만 수학 공식에는 일상적인 단어는 필요 없고, 특수한 기호들만 필요합니다.

• 비유: 요리사가 '일상적인 음식' 5 만 가지를 다 외우고 있는데, 정작 필요한 건 '수학 요리' 700 가지뿐입니다. Texo 는 **불필요한 5 만 가지 메뉴를 버리고, 필요한 700 가지 메뉴만 남긴 '미니 메뉴판'**을 만들었습니다.
• 효과: 기억해야 할 단어가 줄어든 덕분에 모델의 크기가 비약적으로 작아졌습니다.

B. '지식'을 전수받다 (지식 증류)

Texo 는 처음부터 새로 배운 게 아니라, 이미 잘하는 큰 모델 (PPFormulaNet-S) 의 지식을 그대로 물려받았습니다.

• 비유: 유명한 요리사 (큰 모델) 가 가진 비법 레시피를, 그 요리사가 직접 가르쳐 준 작은 주방 보조 (Texo) 가 그대로 따라 한 것입니다.
• 효과: 처음부터 모든 걸 배우지 않아도, 이미 검증된 지식을 바탕으로 아주 빠르게 실력을 키울 수 있었습니다.

🌐 4. 실생활 적용: "누구나 쓸 수 있는 웹 앱"

이 모델은 무거운 서버가 없어도 웹 브라우저에서 바로 실행됩니다.

• 비유: 무거운 서버라는 '거대한 공장'에 가볼 필요 없이, 집에 있는 스마트폰이나 노트북으로 바로 주문을 넣으면 바로 요리가 나오는 셈입니다.
• 장점:
  1. 빠름: 기존 모델보다 7 배 더 빠릅니다.
  2. 안전: 사진이 외부 서버로 전송되지 않아 (브라우저에서 직접 처리), 개인정보 유출 걱정이 없습니다.
  3. 무료: 누구나 무료로 사용할 수 있는 웹사이트를 만들었습니다.

🏆 5. 결론: "작지만 강한 영웅"

이 논문은 **"무조건 큰 모델이 좋은 건 아니다"**라는 것을 증명했습니다.

• 핵심 메시지: 수학 공식이라는 '특수한 목적'에 맞춰 모델을 잘 다듬고 정리하면, 거대한 AI 없이도 작고 가벼운 모델로도 최고의 성능을 낼 수 있습니다.
• 미래: 이제 일반인도 복잡한 수학 공식을 사진으로 찍어 바로 텍스트로 변환할 수 있게 되었고, 이는 학생, 교수, 연구자들에게 큰 도움이 될 것입니다.

한 줄 요약:

"무거운 갑옷을 벗고, 필요한 지식만 쏙쏙 골라 가벼운 배낭을 멘 Texo가 등장했습니다. 이제 누구나 집에서 스마트폰으로 수학 공식을 순식간에 읽어낼 수 있게 된 것입니다!"

기술 요약

논문 요약: Texo (20M 파라미터 내 수식 인식)

1. 문제 제기 (Problem)

수식 인식 (Mathematical Expression Recognition, MER) 은 문서 분석 및 대규모 언어 모델 (LLM) 학습을 위한 고품질 데이터 전처리에 필수적입니다. 그러나 최근의 최첨단 (SOTA) MER 모델들 (예: UniMERNet, PPFormulaNet, GOT-OCR 등) 은 다음과 같은 한계를 가지고 있습니다.

• 과도한 모델 크기: 대부분의 SOTA 모델은 1 억 (100M) 에서 5 억 (500M) 개 이상의 파라미터를 보유하여, 개인용 컴퓨터나 엣지 디바이스에서의 실시간 추론이 어렵습니다.
• 비효율적인 어휘 (Vocabulary): 기존 모델들은 일반 자연어 처리 (NLP) 용으로 설계된 거대한 어휘와 BPE(Byte Pair Encoding) 토크나이저를 사용합니다. 이는 수식 (LaTeX) 에 특화된 문법적 엄격성과 의미적 제한을 고려하지 않아, 불필요한 토큰 생성과 파라미터 낭비를 초래합니다.
• 배포의 어려움: 무거운 모델은 클라우드 API 의존도를 높여 데이터 프라이버시 문제를 야기하거나, 로컬 환경 구성의 복잡성을 증가시킵니다.

2. 방법론 (Methodology)

저자들은 Texo라는 경량화 모델을 제안하며, 최소한의 파라미터 (20M) 로 SOTA 수준의 성능을 달성하기 위해 다음과 같은 기술적 전략을 적용했습니다.

• 모델 아키텍처 (Model Design):

  • 인코더: 경량 현대 CNN 인 HGNetV2-B4를 사용하여 이미지 특징을 추출합니다 (RT-DETR 의 백본).
  • 디코더: 2 레이어 MBart Transformer 디코더를 사용하며, 은닉 차원 (Hidden dim) 을 384 로 제한합니다.
  • 구조: 이미지 인코더와 텍스트 디코더 간의 크로스 어텐션 (Cross-attention) 메커니즘을 통해 수식을 생성합니다.

• 어휘 증류 및 전이 (Vocabulary Distillation and Transfer):

  • 문제 인식: 기존 모델의 어휘 (약 50,000 개) 는 자연어 코퍼스에 기반하여 수식 인식에 불필요하게 크고, BPE 토크나이저는 의미 있는 LaTeX 매크로 (예: \leftarrow) 를 불필요한 서브워드 (\left, arrow) 로 분할하여 시퀀스 길이를 증가시킵니다.
  • 해결책:
    1. 규칙 기반 토크나이저: 오픈소스 LaTeX 파서인 KaTeX를 참조하여 모든 공통 매크로를 수집하고, 의미론적 중요도가 없는 공백을 제거한 규칙 기반 토크나이저를 구축했습니다.
    2. 어휘 증류: 기존 모델 (PPFormulaNet-S) 의 어휘를 50,000 개에서 687 개로 대폭 축소했습니다.
    3. 파라미터 전이: 축소된 어휘에 맞춰 임베딩 레이어의 가중치를 기존 모델에서 전이 (Transfer) 하되, 매핑된 토큰들의 임베딩 평균을 취하는 방식을 사용하여 지식 손실을 최소화했습니다.
  • 효과: 임베딩 파라미터가 3,800 만 개에서 100 만 개 미만으로 감소하여 전체 모델 크기를 2,000 만 (20M) 파라미터로 줄였습니다.

• 브라우저 내 배포 (In-browser Deployment):

  • 백엔드 API 없이 순수 프론트엔드 (Front-end) 로만 작동하도록 설계되었습니다.
  • 모델을 ONNX 형식으로 변환하고 Transformers.js 를 통해 브라우저에서 실행하며, Web Worker를 사용하여 UI 렌더링과 추론을 분리하여 사용자 경험을 최적화했습니다.

3. 주요 기여 (Key Contributions)

1. 경량화 및 고성능 달성: 20M 파라미터라는 극도로 작은 모델 크기로, 107M (UniMERNet-T) 및 58M (PPFormulaNet-S) 크기의 기존 SOTA 모델과Comparable 한 성능을 달성했습니다.
2. 도메인 특화 어휘 최적화: 자연어 기반의 거대한 어휘 대신 수식에 최적화된 687 개의 어휘와 규칙 기반 토크나이저를 도입하여 파라미터 효율성을 극대화하고 추론 속도를 향상시켰습니다.
3. 접근성 및 프라이버시 보장: 브라우저 기반의 웹 애플리케이션을 통해 별도의 환경 설정 없이, 데이터 유출 위험 없이 로컬에서 수식 인식을 수행할 수 있는 솔루션을 제공했습니다.
4. 오픈소스 기여: 모델 가중치와 학습 파이프라인을 공개하여 제한된 리소스 환경에서도 MER 태스크의 SOTA 를 달성할 수 있음을 증명했습니다.

4. 실험 결과 (Results)

UniMER-Test 데이터셋 (단순/복잡 인쇄체, 스크린샷, 필기체 포함) 에서 평가한 결과는 다음과 같습니다.

• 정확도 (CDM 점수):
  • Texo 는 20M 파라미터임에도 불구하고, 107M 모델인 UniMERNet-T 와 58M 모델인 PPFormulaNet-S 보다 전반적으로 우수한 또는 동급의 성능을 보였습니다.
  • 특히, PPFormulaNet-S(기반 모델) 대비 모든 카테고리 (SPE, CPE, SCE, HWE) 에서 성능이 향상되었습니다 (예: CPE 에서 0.678 → 0.825). 이는 어휘 증류가 분류 헤드가 유용한 토큰에만 집중하도록 도와 오류를 줄였기 때문입니다.
• 추론 속도:
  • UniMERNet-T 대비 7 배 빠른 추론 속도를 기록했습니다.
  • PPFormulaNet-S 보다 다소 느리지만, PPFormulaNet-S 가 사용하는 멀티 토큰 병렬 예측 (3 단계) 은 정확도 희생이 따르므로 Texo 는 정확도를 유지한 채 증류 기법으로 속도를 확보했습니다.
• 토큰 길이:
  • 커스텀 토크나이저 덕분에 출력 토큰 길이가 약 50% 감소하여, 예측 종료 시간이 단축되고 효율성이 높아졌습니다.

5. 의의 및 결론 (Significance)

• 파라미터 효율성의 중요성 증명: 수식 인식과 같은 특정 도메인 태스크에서는 거대한 범용 VLM(Vision-Language Model) 보다 도메인 특화된 경량 모델이 더 효율적이고 실용적임을 입증했습니다.
• 실용적 배포 가능성: 소비자급 하드웨어 (예: RTX 3090) 및 웹 브라우저 환경에서도 실시간으로 고품질 수식 인식이 가능함을 보여주어, 학술 연구 및 일상적인 문서 처리의 장벽을 낮췄습니다.
• 미래 전망: Texo 의 성공적인 파라미터 효율화 기법은 향후 더 일반적인 문서 OCR 태스크나 다른 도메인 특화 모델 개발에 중요한 시사점을 제공합니다.

이 논문은 **"작은 모델로도 잘 할 수 있다"**는 점을 강조하며, 불필요한 파라미터를 제거하고 도메인 지식을 효과적으로 전이하는 것이 모델 최적화의 핵심임을 보여줍니다.