💻 computer science

Scaling State-Space Models from Lines to Paragraphs: An Ablation of Mamba-based OCR

이 논문은 Mamba 기반 OCR의 짧은 문장에서 전체 단락으로의 확장성을 조사하며, 상태 공간 모델(State-Space Models)이 합성 데이터에서는 트랜스포머(Transformers)보다 상당한 속도 이점을 제공하지만, 현재 실제 필기체에서는 구조적 한계보다는 데이터 부족으로 인해 성능이 저하된다는 점을 밝히고 있다.

원저자: Merveilles Agbeti-Messan, Pierrick Tranouez, Stéphane Nicolas, Clément Chatelain, Thierry Paquet

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Merveilles Agbeti-Messan, Pierrick Tranouez, Stéphane Nicolas, Clément Chatelain, Thierry Paquet

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 줄의 텍스트부터 소설 한 권 전체에 이르기까지, 손글씨와 인쇄된 문서를 읽을 수 있는 로봇을 만들려고 한다고 상상해 보십시오. 오랫동안 가장 뛰어난 로봇들은 '트랜스포머(Transformer)'라는 뇌를 사용해 왔습니다. 이 뇌는 매우 똑똑하고 정확하지만, 결정적인 결함이 하나 있습니다. 텍end가 길어질수록 점점 더 느려진다는 점입니다. 문단 전체를 읽는 것은 단어 하나를 읽는 것보다 훨씬 오래 걸리는데, 왜냐하면 새로운 단어를 이해하기 위해 방금 본 모든 것을 끊임없이 다시 읽어야 하기 때문입니다. 이는 마치 퍼즐 조각을 하나씩 놓을 때마다 이미 놓인 모든 조각을 매번 다시 확인하며 퍼즐을 푸는 것과 같습니다.

이 논문은 맘바(Mamba)(상태 공간 모델 기반)라고 불리는 새로운 유형의 로봇 뇌를 소개합니다. 맘바의 큰 약속은 과거를 다시 읽지 않는다는 것입니다. 대신, 지금까지 본 것들에 대한 '정신적 요약본'을 유지합니다. 덕분에 맘바는 한 줄을 읽는 것만큼이나 빠르게 전체 문단을 읽을 수 있습니다.

연구자들은 다음과 같은 질문을 던졌습니다: 이 새로운 맘바 뇌가 긴 문서를 읽기 위해 기존의 트랜스포머 뇌를 대체할 준비가 실제로 되었는가?

연구 결과는 다음과 같이 쉽게 정리할 수 있습니다.

1. "완벽한 세상" 테스트 (합성 데이터)

먼저, 연구자들은 "완벽한 세상"에서 로봇을 테스트했습니다. 얼룩이나 이상한 손글씨가 없는, 깨끗한 컴퓨터 생성 텍스트(예: 위키피디아 문서)를 입력했습니다.

결과: 기존의 트랜스포머와 새로운 맘바 모두 믿기 힘들 정도로 정확했습니다(거의 완벽했습니다).
속도: 맘바가 압도적인 승자였습니다. 맘바는 트랜스포머보다 1.4배에서 4.5배 더 빨랐습니다. 텍스트가 길어질수록 속도 차이는 더 벌어졌습니다.
교훈: 깨끗한 환경에서 맘바는 정확도를 희생하지 않으면서도 매우 빠르고 환상적인 대안이 됩니다.

2. "현실 세계" 테스트 (손글씨)

다음으로, 연구자들은 실제 세상의 지저분한 데이터인 IAM 데이터베이스의 실제 손글씨 노트를 사용하여 로봇을 테스트했습니다. 이 단계에서는 상황이 까다로워졌습니다.

결과: 맘바는 눈에 띄게 고전했습니다. 손글씨 문장에서 맘바는 트랜스포키머보다 훨씬 더 많은 실수를 저질렀습니다. 전체 손글씨 문단에서는 그 격차가 엄청났습니다. 맘바는 단어를 제대로 읽는 데 있어 거의 3배나 더 나쁜 성능을 보였습니다.
비유: 트랜스포머가 막힐 때마다 교과서(이미지)를 다시 들여다볼 수 있는 학생이라면, 맘바는 에세이를 쓰기 전에 교과서 전체를 머릿속에 통째로 외워야 하는 학생과 같습니다. 만약 교과서가 지저분하고(손글씨) 에세이가 길다면(문단), 기억력에 의존하는 학생(맘바)은 과부하가 걸려 실수를 하게 됩니다.

3. "이유" (데이터 갈증)

연구자들은 맘바가 왜 손글씨에서 실패했는지 밝히기 위해 깊이 파고들었습니다. 그들은 이것이 반드시 맘바의 뇌가 "멍청해서"가 아니라는 것을 발견했습니다. 이유는 맘바가 데이터에 매우 굶주려 있기 때문이었습니다.

실험: 맘바를 적은 양의 데이터(일부 데이터셋에 있는 8,000개의 문단 같은 양)로 훈련시켰을 때, 로봇은 규칙을 배우는 대신 정답을 단순히 암기해 버렸습니다. 즉, 일반화하는 법을 배우지 못했습니다.
해결책: 맘바에게 훈련을 위한 100만 개의 사례를 제공하자, 맘바는 갑자기 긴 시퀀스에서도 완벽하게 작동하기 시작했습니다.
결론: 손글씨의 문제는 맘바가 그것을 "할 수 없다"는 것이 아니라, 우리가 아직 충분한 연습 재료를 주지 않았다는 것이었습니다. 트랜스포머는 적은 양의 데이터로 학습하는 데 뛰어나지만, 맘바는 마법을 부리기 위해 거대한 도서관 수준의 사례가 필요합니다.

4. 최종 판결

논문은 어떤 로봇을 사용할지에 대한 명확한 가이드로 마무리됩니다.

인쇄된 텍스트에는 맘바를 사용하십시오: 수백만 권의 역사적 신문이나 책을 디지털화하려는 경우, 맘바가 최선의 선택입니다. 빠르고 정확하며 컴퓨팅 자원을 절약해 줍니다.
손글씨에는 주의하십시오: 지저한 손글씨 노트를 읽으려 한다면, 특히 방대한 양의 훈련 데이터를 가지고 있지 않은 경우 맘바는 현재 기존의 트랜스포머 모델보다 뒤처집니다.
미래: 맘바가 손글씨에서도 잘 작동하게 하려면, 훨씬 더 많은 데이터를 제공하거나, 맘바의 속도와 트랜스포머의 적은 데이터 학습 능력을 결합한 "하이브리드" 로봇을 만들어야 합니다.

요 요약하자면: 맘바는 깨끗한 인쇄 환경에서는 완적으로 작동하는 속도의 귀신이지만, 현실의 지저한 손글씨를 다루기 위해서는 현재 엄청난 양의 연습 자료가 필요합니다. 맘바는 고장 난 것이 아닙니다. 단지 더 많은 훈련이 필요할 뿐입니다.

기술 요약: 선(Line)에서 단락(Paragraph)으로의 상태 공간 모델(State-Space Models) 확장

문제 정의
역사적 문헌을 위한 엔드 투 엔드 광학 문자 인식(OCR)은 점차 자기회귀적(autoregressive) 시퀀스 모델에 의존하고 있습니다. 트랜스포머(Transformer) 기반 아키텍처가 현재 연구를 주도하고 있으나, 이들의 이차 복잡도( $O(n^2)$ )는 긴 단락 수준의 텍로를 효율적으로 전사하는 데 한계가 있습니다. 상태 공간 모델(SSM), 특히 마마(Mamba)는 선형 시간 디코딩을 제공하며 인쇄된 역사적 선(line) 데이터에서 트랜스포머와 대등한 정확도를 입증했습니다. 그러나 세 가지 핵심적인 격차가 남아 있습니다: 단락 수준의 Mamba-OCR을 위한 최적의 아키텍처 구성이 검증되지 않았으며, 통제된 조건 하에서 짧은 선에서 전체 단락으로의 Mamba-OCR 스케일링 동작이 규명되지 않았고, 인쇄된 텍스트에서 필기체로의 SSM 기반 OCR 일반화 가능성이 탐구되지 않았습니다.

방법론
저자들은 공유 CNN 시각 인코더, 양방향 Mamba 멀티모달 커넥터, 그리고 자기회귀 Mamba 디코더로 구성된 Mamba 기반 OCR 아키텍처(Mamba-AR)를 구축했습니다. 이러한 연구 격차를 해결하기 위해 본 연구는 세 가지 측면의 방법론을 채택했습니다:

하이퍼파라미터 탐색: 디코더 깊이( $L$ ), 상태 차원( $N$ ), 확장 계수( $E$ ), 커넥터 깊이($MC$)라는 네 가지 핵심 하이퍼파라미터에 대해 체계적인 절제 연구(ablation study)를 수행했습니다. 실험에는 영어 위키피디아에서 추출한 100자에서 1,000자(1~10행) 사이의 합성 단락을 활용했습니다.
통제된 스케일링 연구: 동일한 합성 데이터에 대해 동일한 프로토콜로 학습된 트랜스포머 베이스라인(DAN)과 Mamba-OCR을 비교했습니다. 이를 통해 문서 품질의 변동으로부터 시퀀스 길이와 아키텍처의 효과를 분리했습니다.
실제 환경 검증: 모델들을 실제 데이터셋인 인쇄된 역사적 선 및 단락(BnL 데이터셋)과 필기체 선 및 단락(IAM 필기 데이터베이스)으로 평가했습니다.

중요한 방법론적 관찰 사항은 학습 데이터의 양이었습니다. 예비 실험 결과, 자기회귀 Mamba 디코더는 8,000개의 고정된 학습 단락 세트로는 긴 시퀀스에서 수렴하지 못하고 암기 현상을 보였습니다. 안정적인 수렴을 위해서는 구성당 약 100만 개의 동적 샘플링된 단락을 생성하는 것이 필요했습니다.

주요 기여

하이퍼파라미터 최적화: 본 연구는 상태 차원( $N$ )과 확장 계수( $E$ )를 긴 시퀀스 정확도의 지배적인 변수로 식별했습니다. 권장 구성($L=4, N=256, E=6, MC=1 $)은 이전 연구에서 사용된 기본값과 일치하지만, 단락 수준의 합성 데이터에 대해 최적임이 경험적으로 검증되었습니다. 특히$ N=256$의 선택은 정확도 정체(plateau)보다는 구현상의 제약(캐시 크기 및 병렬 스캔 처리량)에 의해 제한됩니다.
스케일링 동작: 깨끗한 합성 데이터에서 Mamba-OCR은 모든 길이(최대 1,000자)에 대해 1% 미만의 문자 오류율(CER)을 유지하며 트랜스포머 베이스라인과 대등한 성능을 보였습니다. 그러나 Mamba-OCR은 상당한 효율성 우위를 보여주었으며, DAN보다 1.4배에서 4.5배 더 빠르게 실행되었고, 이 속도 향상은 $O(n^2)$ 대비 $O(n)$ 복잡도로 인해 시퀀스 길이에 따라 선형적으로 증가했습니다.
일반화 한계 및 데이터 희소성: 실제 필기 데이터(IAM)에서 Mamba-OCR은 트랜스포머 및 RetNet 기반 모델에 비해 현저히 낮은 성능을 보였습니다(예: IAM 단락에서 DAN의 3.51% CER 대비 Mamba-OCR은 10.02% CER). 저자들은 이 격차를 아키텍처 자체의 결함보다는 주로 데이터 희소성 때문이라고 설명합니다. 자기회귀 디코더는 모든 시각적 문맥을 단일 순환 상태로 압축해야 하며, 이 과정은 이미지를 다시 참조할 수 있는 트랜스포머 모델보다 효과적으로 일반화되기 위해 훨씬 더 많은 학습 다양성(어휘 및 구문)을 요구합니다.

결과

합성 데이터: 두 모델 모두 1% 미만의 CER을 달ato했습니다. Mamba-OCR은 1개 행에서 DAN보다 1.4배, 10개 행에서 4.5배 더 빨랐습니다.
인쇄된 텍스트 (BnL): Mamba-OCR은 단락에서 (DAN의 5.24% CER 대비 6.07% CER) 트랜스포머와 경쟁력을 유지하면서 2.05배의 속도 향상을 제공했습니다.
필기체 텍스트 (IAM):
- 선(Lines): Mamba-OCR은 8.21% CER을 기록하여 DAN(4.23%) 및 DRetHTR(2.26%)에 뒤처졌습니다.
- 단락(Paragraphs): 성능 격차가 크게 벌어져, Mamba-OCR은 10.02% CER을 기록한 반면 DAN은 3.51%를 기록했습니다.
데이터 볼륨 민감도: 실험을 통해 8,000개의 고정된 단락은 Mamba-OCR이 긴 시퀀스에서 수렴하기에 불충분한 반면, 100만 개의 동적 샘플링된 단락은 안정적인 학습을 가능하게 함을 확인했습니다. IAM 데이터셋(747개 학습 단락)은 Mamba-OCR이 어려움을 겪는 데이터 희소 영역에 속합니다.

의의
본 논문은 대규모 문서 전사를 위한 SSM의 실질적인 적용 가능성을 명확히 합니다. Mamba-OCR이 트랜스포머와 대등한 정확도를 유지하면서 상당한 속도 이점을 제공하므로, 인쇄된 문서 디지털화를 위한 유망한 고처리량 선택지임을 입증했습니다. 그러나 필기 인식, 특히 학습 데이터가 제한적인 단락 수준에서는 현재의 자기회귀 SSM 아키텍처가 데이터 갈증으로 인해 상당한 과제에 직면해 있습니다. 저자들은 SSM이 매력적인 효율성을 제공하지만, 새로운 도메인이나 필기 스타일에 배포하기 위해서는 소규모 데이터 환경에서 관찰된 귀납적 편향(inductive bias) 격차를 극려하기 위해 훨씬 더 큰 규모의 학습 코퍼스(합성 사전 학습을 통한) 또는 아키텍처 보강(하이브리드 SSM-Attention 설계 등)이 필요하다고 결론짓습니다.

1. "완벽한 세상" 테스트 (합성 데이터)

2. "현실 세계" 테스트 (손글씨)

3. "이유" (데이터 갈증)

4. 최종 판결

유사한 논문