A Hybrid Vision Transformer Approach for Mathematical Expression Recognition

이 논문은 2D 위치 인코딩이 적용된 하이브리드 비전 트랜스포머 인코더와 커버리지 어텐션 디코더를 활용하여 수식 인식의 복잡성을 해결하고, IM2LATEX-100K 데이터셋에서 BLEU 점수 89.94 를 기록해 기존 최첨단 기법을 능가하는 성능을 입증했습니다.

핵심

🎨 1. 문제 상황: "수학 공식은 왜 텍스트보다 어려울까?"

일반적인 글자 (예: "안녕하세요") 는 왼쪽에서 오른쪽으로 일렬로 늘어선 1 차원의 나열입니다. 하지만 수학 공식은 다릅니다.

• 분수는 위아래가 있고,
• 지수는 작게 위에 붙고,
• 근호는 길게 아래를 덮습니다.

이건 마치 레고 블록을 쌓아 올린 3 차원 구조물과 같습니다. 단순히 왼쪽에서 오른쪽으로 읽는 것만으로는 "어떤 블록이 어떤 블록 위에 있는지"를 파악하기 어렵죠. 기존 컴퓨터 프로그램들은 이 복잡한 3 차원 구조를 제대로 이해하지 못해 자주 실수를 했습니다.

🚀 2. 해결책: "하이브리드 비전 트랜스포머 (HVT)"라는 새로운 팀

저자들은 이 문제를 해결하기 위해 두 명의 전문가 팀을 꾸렸습니다. 이를 '하이브리드 (Hybrid)' 방식이라고 부릅니다.

👮‍♂️ 팀원 1: CNN (잔디 깎는 기계)

• 역할: 이미지의 국소적인 부분을 잘게 잘라내어 특징을 잡아냅니다.
• 비유: 마치 잔디를 깎는 기계처럼, 이미지의 작은 조각 (패치) 들을 하나하나 훑어보며 "여기에 '더하기' 기호가 있구나", "저기에 분수선이 있구나"라고 먼저 파악합니다.
• 장점: 이미지의 디테일을 빠르고 정확하게 잡습니다.

🧠 팀원 2: ViT (전체 지도를 보는 지휘관)

• 역할: 잔디 깎는 기계가 찾은 조각들을 모아 전체적인 관계를 파악합니다.
• 비유: 이제 전체 지도를 한눈에 보는 지휘관이 등장합니다. 지휘관은 "아! 저기 왼쪽에 있는 분모와 오른쪽에 있는 분자가 서로 연결되어 있구나!"라고 멀리 떨어진 부분들 사이의 관계도 한눈에 꿰뚫어 봅니다.
• 핵심 아이디어: 기존에는 멀리 떨어진 글자들 사이의 관계를 파악하기 어려웠는데, 이 '지휘관 (비전 트랜스포머)' 덕분에 전체적인 맥락을 이해할 수 있게 되었습니다.

📝 3. 번역 과정: "커버리지 어텐션 (Coverage Attention)"이라는 메모장

컴퓨터가 공식을 텍스트로 옮길 때 (예: LaTeX 코드), 가장 큰 실수는 무엇을 이미 썼는지 잊어버리는 것입니다.

• 과소 해석 (Under-parsing): 공식을 다 쓰지 않고 중간에 멈춤.
• 과다 해석 (Over-parsing): 같은 기호를 두 번 이상 써버림.

이를 해결하기 위해 저자들은 **'메모장 (커버리지 벡터)'**을 도입했습니다.

• 비유: 번역가가 글을 쓸 때마다 "지금까지 무엇을 번역했는지"를 메모장에 체크하는 것입니다. "아, 이미 분수선을 썼으니 이제 분자를 써야지"라고 메모장을 확인하면 실수가 사라집니다. 이 메모장 덕분에 컴퓨터는 공식을 빠트리지 않고, 중복해서 쓰지 않고 정확하게 완성합니다.

🌟 4. 특별한 기술: "[CLS] 토큰"이라는 시작점

이 모델은 ViT(지휘관) 가 이미지를 분석한 후, 전체 이미지의 핵심 요약본을 만들어냅니다. 이를 [CLS] 토큰이라고 부릅니다.

• 비유: 마치 책의 목차나 요약문과 같습니다.
• 이 요약문을 번역을 시작하는 첫 번째 단서로 사용합니다. "이 공식은 이런 구조로 되어 있구나"라고 먼저 파악하고 시작하니, 번역 (텍스트 생성) 이 훨씬 수월해집니다.

🏆 5. 결과: "세계 최고 수준의 정확도"

이 새로운 방식을 IM2LATEX-100K라는 거대한 수학 공식 데이터베이스로 테스트했습니다.

• 결과: 기존에 있던 어떤 방법보다도 **더 높은 점수 (BLEU 89.94)**를 받았습니다.
• 의미: 컴퓨터가 수학 공식을 눈으로 보고 텍스트로 바꾸는 기술이 한 단계 더 발전했다는 뜻입니다. 특히 길고 복잡한 공식일수록 이 기술의 효과가 더 컸습니다.

💡 요약: 이 연구가 왜 중요한가?

이 논문은 **"컴퓨터에게 수학 공식을 가르칠 때, 단순히 글자를 나열하는 게 아니라, 공식을 하나의 '구조'로 이해하게 해야 한다"**는 점을 증명했습니다.

• **잔디 깎는 기계 (CNN)**로 디테일을 잡고,
• **지휘관 (ViT)**으로 전체 관계를 파악하고,
• **메모장 (Coverage Attention)**으로 실수를 방지하고,
• **요약문 (CLS 토큰)**으로 시작을 잘 잡는...

이런 하이브리드 팀을 꾸려서 수학 공식 인식의 새로운 기준 (SOTA) 을 세운 것입니다. 앞으로 이 기술은 과학 논문 자동 요약, 교육용 앱, 시각 장애인을 위한 수학 텍스트 변환 등 다양한 분야에서 쓰일 수 있을 것입니다.

기술 요약

논문 요약: 수식 인식을 위한 하이브리드 비전 트랜스포머 (HVT) 접근법

1. 문제 정의 (Problem)

문서 분석에서 **수식 인식 (Mathematical Expression Recognition, MER)**은 중요한 과제이나, 일반 텍스트 인식에 비해 훨씬 복잡합니다.

• 차원의 차이: 일반 텍스트는 1 차원 (좌에서 우) 구조인 반면, 수식은 첨자, 분수, 지수 등으로 인해 2 차원 공간적 구조를 가집니다.
• 기존 방법의 한계: 전통적인 Seq2seq 기반 모델들은 CNN 을 백본으로 사용하여 특징을 추출한 후 BiLSTM 등을 통해 맥락을 모델링합니다. 그러나 이러한 CNN 기반 접근법은 전역 정보 (Global Information) 가 부족하여 멀리 떨어진 심볼 간의 관계 (예: 큰 분수 기호와 그 안의 수식) 를 포착하는 데 한계가 있으며, 긴 수식 인식 성능이 떨어집니다.

2. 제안된 방법론 (Methodology)

저자들은 시퀀스 투 시퀀스 (Seq2seq) 아키텍처의 인코더로 **하이브리드 비전 트랜스포머 (Hybrid Vision Transformer, HVT)**를 도입하고, 디코더에 **커버레이션 어텐션 (Coverage Attention)**을 적용하여 문제를 해결했습니다.

A. 인코더: 하이브리드 비전 트랜스포머 (HVT)

• CNN 백본 (ResNet 기반): 입력 이미지의 국소적 특징을 추출하고 차원을 축소합니다. 텍스트 인식에 적합하도록 스트라이드 (stride) 를 조정하여 수평 방향의 수용 영역을 넓혔습니다.
• 비전 트랜스포머 (ViT) 블록: CNN 에서 추출된 특징 맵에 **2D 포지셔널 인코딩 (2DPE)**을 적용한 후, 여러 개의 ViT 블록을 쌓아 전역 의존성 (Global Dependencies) 을 모델링합니다.
  • 2D 포지셔널 인코딩: 수식의 중첩 및 계층적 구조를 보존하기 위해 1D 인코딩이 아닌 2D 정현파 (sinusoidal) 인코딩을 사용하여 수평 및 수직 방향의 위치 정보를 모두 보존합니다.
  • 멀티헤드 셀프 어텐션 (MHSA): 심볼 간의 장거리 의존성과 공간적 구조를 학습합니다.
• [CLS] 토큰 활용: ViT 의 [CLS] 토큰 임베딩을 학습 가능한 전역 특징 표현으로 사용하여, 이를 디코더의 **초기 은닉 상태 (Initial Hidden State)**로 전달합니다. 이는 전체 특징 맵을 전달하는 것보다 효율적이고 강력한 시작점을 제공합니다.

B. 디코더: 커버레이션 어텐션 (Coverage Attention)

• 커버레이션 벡터: 과거의 어텐션 가중치 합을 누적하여 '커버레이션 벡터'를 생성합니다. 이는 디코더가 이미 처리된 영역을 기억하게 하여 과소 파싱 (under-parsing) 및 과다 파싱 (over-parsing) 문제를 해결하고 어텐션 정렬을 개선합니다.
• 구조: LSTM 기반 디코더에 커버레이션 벡터를 입력으로 포함시켜 강건성을 높였습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 인코더 아키텍처: 수식 인식 문제를 위해 CNN 과 ViT 를 결합한 **하이브리드 비전 트랜스포머 (HVT)**를 제안했습니다. 이는 CNN 의 국소 특징 추출 능력과 ViT 의 전역 맥락 모델링 능력을 모두 활용합니다.
2. 2D 포지셔널 인코딩 및 [CLS] 토큰 활용: 수식의 2D 구조를 보존하는 2DPE 를 도입하고, ViT 의 [CLS] 토큰을 디코더 초기 상태로 사용하여 성능을 극대화했습니다.
3. 커버레이션 어텐션 적용: 디코더의 어텐션 메커니즘을 개선하여 파싱 오류를 줄였습니다.
4. SOTA 성능 달성: IM2LATEX-100K 데이터셋에서 기존 최첨단 (SOTA) 방법들을 능가하는 결과를 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: arXiv 에서 크롤링한 IM2LATEX-100K (약 10 만 개의 수식) 를 사용했습니다.
• 성능 지표:
  • BLEU-4 점수: 89.94 (기존 SOTA 대비 향상).
  • 이미지 정밀 일치율 (Image Exact Match Accuracy, EMA): 86.48% (기존 방법 대비 약 2.4% 향상).
  • 정확도 (Acc): 48.39% (LaTeX 문법의 모호성으로 인해 낮지만, 다른 지표 대비 개선됨).
• 비교 분석:
  • 백본 비교: VGG 대비 ResNet 기반 백본이 정확도를 15% 이상 향상시켰습니다.
  • 맥락 모델링: BiLSTM 및 ViT-1D(1 차원 특징 맵) 대비 ViT-2D가 가장 우수한 성능을 보이며, 2D 공간 구조와 장거리 의존성 모델링의 중요성을 입증했습니다.
  • 포지셔널 인코딩: 1D 인코딩 대비 2D 인코딩을 사용할 때 EMA 가 약 4% 향상되었습니다.
  • 초기 상태: [CLS] 토큰을 초기 은닉 상태로 사용한 경우, 사용하지 않은 경우보다 BLEU 점수가 89.94 대 81.73 으로 크게 향상되었습니다.
• 길이별 강건성: 수식 길이가 100 토큰을 초과하거나 150 토큰 이상인 긴 수식에서도 기존 모델 대비 성능 저하가 적어 긴 수식 인식에 강건함을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 수식 인식 분야에서 CNN 과 Vision Transformer 의 장점을 결합한 하이브리드 접근법의 유효성을 입증했습니다. 특히, 수식의 복잡한 2 차원 공간 구조와 심볼 간의 장거리 관계를 학습하는 데 ViT 가 효과적임을 보여주었습니다.

• 기술적 의의: 전역 정보 부족 문제를 해결하고, 2D 포지셔널 인코딩과 [CLS] 토큰을 활용한 디코더 초기화 전략은 향후 OCR 및 문서 분석 연구에 중요한 시사점을 제공합니다.
• 미래 작업: 합성 LaTeX 정보를 모델에 추가하여 더 복잡한 수식 구조를 처리하고, 실제 사용자 서비스를 위한 완전한 시스템 구축을 목표로 합니다.

이 연구는 IM2LATEX-100K 데이터셋에서 새로운 State-of-the-Art (SOTA) 성능을 기록하며, 수식 인식 기술의 새로운 기준을 제시했습니다.