技術要約: Unlimited OCR Works

1. 問題提起

現在のエンドツーエンドの光学文字認識（OCR）モデルは、デコーダとして大規模言語モデル（LLM）を活用している場合であっても、長期間のパース・タスク（例：数十ページにわたる文書を一度のフォワードパスで転記する作業）において重大な限界に直面しています。

• メモリと効率のボトルネック: 標準的なアテンション機構は、出力シーケンス長に伴ってKey-Value（KV）キャッシュが増大することを要求します。シーケンスが長くなるにつれ、これはメモリ消費量の無制限な増加と、アテンション計算コストの増大による生成速度の漸進的な低下を招きます。
• 「forループ」による回避策: 既存のモデルは通常、ページごとにループ処理を行い、各ステップでメモリをリセットします。これはタスクを孤立した短期間の問題へと断片化させ、外部スケジューラによって管理される形となるため、長いテキストを転記する際に人間が見せる連続的な認知状態を模倣できていません。
• 視覚的忠実度 vs 状態遷移: 線形アテンション機構は計算量を削減しますが、多くの場合、視覚トークンに対して再帰的な状態更新を適用します。これにより、「段階的なぼけ（progressive blurring）」が生じ、視覚的特徴の認識精度が低下します。

2. 手法

本論文では、長期間のコピー・タスクにおける人間のワーキングメモリを模倣するように設計されたモデル、Unlimited OCRを提案しています。これはDeepSeek OCRのベースラインを基盤とし、その高圧縮エンコーダを維持しつつ、デコーダのアテンション機構を根本的に変更したものです。

コア・アーキテクチャ

• ベースライン: DeepSeek OCRのDeepEncoderを使用しています。これは、16倍のトークン圧縮率を実現するためにカスケード型ViTアーキテクチャ（SAM-ViT + CLIP-ViT）を採用しています。これにより、視覚トークンは一度エンコードされると静的な状態に保たれ、入力側での状態遷移の必要性を排除しています。
• デコーダ: 総パラメータ数3B、活性化パラメータ数500Mの混合エキスパート（MoE）LLMです。
• 主要な革新: デコーダ内のすべての標準的なマルチヘッド・アテンション（MHA）層を、**参照スライディングウィンドウ・アテンション（Reference Sliding Window Attention: R-SWA）**に置き換えています。

参照スライディングウィンドウ・アテンション (R-SWA)

R-SWAは、サイズ $m + n$ の2セグメントのウィンドウ内にアテンションを制約する、汎用的なパース用アテンション機構です。

1. 参照セグメント ($P$): すべてのプレフィックス・トークン（視覚トークンおよびプロンプト）を含みます。このセグメントは固定サイズ ($L_m$) であり、後続のすべてのトークンに対してグローバルに可視です。極めて重要な点として、これらのトークンは状態遷移を経ないため、視覚的忠実度が保持されます。
2. デコード・セグメント ($D_n$): 以前に生成された出力トークンに対する、固定幅 $n$（デフォルトは128）の因果的スライディングウィンドウです。

メカニズム:

• 各生成トークンは、すべての参照トークン（視覚情報 + プロンプト）と、直前の $n$ 個の出力トークンにアテンションを向けます。
• KVキャッシュ管理: 出力長 $T$ に伴ってキャッシュサイズが $L_m + T$ と増大する標準的なMHAとは異なり、R-SWAは一定のキャッシュサイズ $L_m + n$ を維持します。キャッシュはキューとして機能し、新しいトークンが追加される際、最も古い生成トークンのKVペアが破棄されます。
• 結果: この設計は、メモリ使用量と計算コストを総出力長から切り離し、処理するページ数に関わらず一定のレイテンシとメモリフットプリントを実現します。

3. 主な貢献

1. R-SWAアルゴリズム: 参照（視覚）トークンの完全な可視性と、生成トークンの限定された因果的ウィンドウを組み合わせた、新しいアテンション機構の導入。これにより、視覚的特徴をぼかすことなく線形計算量のアテンションを実現しました。
2. Unlimited OCRモデル: DeepSeek OCRに基づいた実用的な実装であり、標準的な32Kの最大長制約の下で、数十ページのドキュメントを一度のフォワードパスで正常にパースすることに成功しました。
3. 性能向上: 標準的なアテンションをR-SWAに置き換えることで、効率性の向上だけでなく、標準的なベンチマークにおける精度向上も実現できることを示しました。これは、「ソフトな忘却（soft forgetting）」メカニズムがOCRタスクと良好に適合していることを示唆していますいます。
4. 汎用性: 本論文は、R-SWAがOCRを超えて、自動音声認識（ASR）や翻訳といった他の参照ベースの長期間タスクにも適用可能であることを提示しています。

4. 実験結果

ベンチマークと指標

モデルは OmniDocBench (v1.5 および v1.6) と、独自の長期間テストセットを用いて評価されました。指標には、Text Edit Distance、Formula CDM、Table TEDS、および Reading Order Edit Distance が含まれます。

主な知見

• OmniDocBench v1.5: Unlimited OCRは総合スコア 93.23% を達成し、DeepSeek OCRのベースライン（87.01%）を 6.22ポイント 上回りました。また、DeepSeek OCR 2も上回っています。
• OmniDocBench v1.6: 総合スコア 93.92% という新たなSOTA（最高精度）を達成し、FireRed-OCR や Qianfan-OCR といった他のエンドツーエンドモデルを凌駕しました。
• サブカテゴリ分析: PPT、学術論文、書籍など、9種類すべてのドキュメントタイプにおいて一貫した改善が見られ、どの指標においてもベースラインに対して劣ることはありませんでした。
• 長期間のパース:
  • モデルは 40ページ以上 の入力を単一のパスで正常に処理しました。
  • 40ページ以上の場合でも、Edit Distance は 0.11 未満 を維持し、Distinct-35 は 96.90% でした。
  • 極端な長さにおけるエラーは、主にアテンション機構が方向を見失ったことではなく、「Base」エンコーダモード（1024×1024）の解像度の制限に起因していました。

効率性分析

• スループット (TPS): 両モデルとも短尺時（256トークン）の性能は同等ですが、Unlimited OCRはシーケンス長が増加しても一定のスループット（~7,800 TPS）を維持します。対照的に、DeepSeek OCRのベースラインは、KVキャッシュの増大により、6,000トークン時にスループットが大幅に低下（約35%減少）します。
• レイテンシ: Flash Attention カーネルの1コールあたりの所要時間は、Unlimited OCRでは一定ですが、ベースラインでは線形に増加します。

5. 意義と主張

本論文は、Unlimited OCRが、エンジニアリングによる回避策（ページごとのループ処理）から、よりAGI（汎用人工知能）に近い認知アーキテクチャへの移行を象徴していると主張しています。

• 人間のような効率性: ソース（視覚情報）と直近のコンテキストを保持しつつ、遠方の出力を「ソフトに忘れる」という人間のワーキングメモリを模倣することで、タスクの長さに依存して劣化しない効率性を実現しています。
• ロスレスな最適化: 著者らは、R-SWAがOCRにとっての「フリーランチ（無料の利益）」であると断言しています。つまり、精度を向上させながら、メモリと計算コストを劇的に削減できるということです。
• 将来の可能性: 本研究は、アテンション計算とメモリフットプリントが、もはや長期間のパースにおける主要なボトルネックではないことを示唆しています。著者らは、R-SWAをASRや翻訳へ拡張すること、および、真に無限のコンテキスト長を実現するために「ページめくり」をシミュレートする「プリフィル・プール（prefill pools）」を探索することを計画しています。

認められた限界:
現在の実装は、依然としてプリフィル長（32KコンテキストウィンドウとDeepEncoderの圧縮による制限）に制約されています。真に「無限」のパース（例：コンテキスト制限のない書籍全編の処理）を実現するには、より長いコンテキストでの学習（128K+）や、動的なプリフィル取得メカニズムに関する今後の研究が必要です。