💻 computer science

AtlasOCR: Building the First Open-Source Darija OCR Model with Vision Language Models

この論文は、合成データと実世界データを組み合わせた独自データセットと効率的な微調整手法を用いて、モロッコ方言（ダリジャ）の光学文字認識（OCR）において最先端の性能を達成する初のオープンソースモデル「AtlasOCR」を提案しています。

原著者： Imane Momayiz, Soufiane Ait Elaouad, Abdeljalil Elmajjodi, Haitame Bouanane

公開日 2026-04-10

📖 1 分で読めます☕ さくっと読める

原著者： Imane Momayiz, Soufiane Ait Elaouad, Abdeljalil Elmajjodi, Haitame Bouanane

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🌟 物語の舞台：「見えない文字」の壁

モロッコでは、人々が日常で使う「ダリジャ」という方言が、SNS や手書きのメモ、古い本などにあふれています。しかし、これまでの AI（人工知能）は、このダリジャの文字を写真から読み取るのが**「まるで暗闇で文字を探すような」**状態でした。

標準的なアラビア語（MSA）を教える AI はたくさんありますが、モロッコ独特の方言を教える AI は存在しませんでした。そのため、歴史的文書の保存や、視覚障害者への支援、SNS の分析などが非常に難しくなっていたのです。

🛠️ 解決策：「AtlasOCR（アトラス OCR）」という新しい目

この研究チームは、**「AtlasOCR」という、ダリジャに特化した新しい AI を開発しました。
これは、巨大な図書館の司書（30 億個のパラメータを持つ「ビジョン・ランゲージモデル」）を、「モロッコの方言に詳しい専門家」**に再教育したようなものです。

1. 教材の作り方：「合成データ」と「実物」のミックス

AI を教えるには、大量の教材（画像と正解の文字）が必要です。しかし、ダリジャの教材は少なかったので、チームは 2 つの工夫をしました。

🤖 OCRSmith（オーサーミス）という「魔法の工場」
彼らは「OCRSmith」というツールを開発しました。これは、コンピューター上で**「ダリジャの文字を、あらゆるフォントや背景、歪みで自動生成する工場」**のようなものです。
- たとえ話: 本物のモロッコの街角の看板を 1 枚ずつ撮影するのは大変ですが、この工場を使えば、一瞬で何千枚も「ダリジャの看板」を量産できます。
📚 実物のコレクション
工場で作ったものだけでは不十分なので、実際のモロッコの本、SNS の投稿、運転免許の試験問題、料理のレシピ本などから、**「生きたダリジャ」**を収集しました。
- 結果: 約 86% が「工場で作られた教材」、14% が「実物の教材」という、バランスの取れた最強の教科書が完成しました。

2. 学習の効率化：「QLoRA」と「Unsloth」の魔法

通常、AI を教えるには巨大なスーパーコンピューターが必要ですが、彼らは**「QLoRA」と「Unsloth」**という技術を使いました。

たとえ話: 巨大な本を丸ごと書き直すのではなく、**「重要なページにだけ付箋（付録）を貼って、その部分だけ重点的に勉強させる」**ような方法です。
これにより、「家庭用のパソコン（GPU）」でも、高性能な AI を効率的に学習させることが可能になりました。まるで、高級スポーツカーを、普通のガソリンスタンドで走らせるような技術です。

🏆 結果：「小さな体が、巨人を倒す」

彼らは作った AI をテストしました。

ダリジャのテスト: 既存のオープンソースの AI たちを**「圧倒的な差」**で破りました。
標準アラビア語のテスト: ダリジャ専門の AI なのに、標準アラビア語のテストでも、「パラメータ数が 2〜3 倍も大きい巨大な AI」と互角に戦う結果になりました。
たとえ話: 小さな体格のボクサー（AtlasOCR）が、体重 100kg の巨漢（巨大な AI モデル）と対戦して、見事に勝利したようなものです。これは「効率的な学習方法」が正しかったことを証明しています。

🚀 今後の展望：この技術がもたらす未来

この研究は、単に「文字を読み取る」だけでなく、以下のような未来を切り開きます。

歴史の保存: 古びた手書きの文書や本を、検索可能なデジタルデータに変えることができます。
アクセシビリティ: 視覚障害者の方が、モロッコの街の看板や SNS の画像を「音声」で理解できるようになります。
他の言語への応用: この「少ないデータで効率的に教える方法」は、他のマイナーな言語や方言にも応用でき、世界中の「見捨てられた言語」を救う青写真（ブループリント）となります。

💡 まとめ

この論文は、**「リソース（データや計算能力）が不足している言語でも、工夫と最新の技術を使えば、世界最高レベルの AI を作れる」**ことを証明した、希望に満ちた物語です。

AtlasOCR は、モロッコの「見えない文字」を可視化し、その文化と歴史を未来へ繋ぐための、新しい「目」となったのです。

AtlasOCR: 視覚言語モデル（VLM）を用いた初のオープンソース・ダリジャ語 OCR モデル構築

技術サマリー（日本語）

本論文は、モロッコ方言である「ダリジャ語（Darija）」に特化した初のオープンソース OCR モデル「AtlasOCR」の提案と評価について述べています。従来の OCR システムは標準アラビア語（MSA）に焦点が当てられており、方言や手書き文書への対応が不十分でした。AtlasOCR は、30 億パラメータの視覚言語モデル（VLM）をパラメータ効率の良い手法で微調整することで、このギャップを埋めることを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

ダリジャ語の課題: モロッコで広く使用されるダリジャ語は、SNS、非公式文書、手書き資料など視覚的に豊かなコンテンツが存在しますが、専用の OCR ツールが存在せず、デジタル化や分析の障壁となっています。
既存技術の限界: 従来の OCR は標準アラビア語に最適化されており、方言の多様性や文脈の理解が困難です。また、大規模な学習データが不足しているため、低資源言語向けの OCR 開発は困難でした。
目的: 計算リソースを効率的に利用しつつ、ダリジャ語および標準アラビア語の両方で高精度な文字認識を実現するモデルの構築。

2. 手法と技術的アプローチ

2.1 データキュレーション（ハイブリッド戦略）

高品質なダリジャ語データセットの構築のため、合成データと実世界データの組み合わせを採用しました。

合成データ生成（OCRSmith）: 自社のオープンソースツール「OCRSmith」を使用し、多様なフォント、レイアウト、背景、歪みをシミュレートしたラベル付き画像を大量に生成しました。データセットの約 86% を占めます。
実世界データ収集: 約 14% を占める実データとして、以下のソースから収集・前処理を行いました。
- スキャンされた文献（モロッコの歴史的文書など）
- ソーシャルメディアのポスター形式の教育コンテンツ
- 運転免許試験対策などの教育資料
- 料理本（ドメイン固有の語彙）
データセット規模: 合計 30,092 サンプル（約 1,070 万単語）。学習用 26,162、検証用 3,930。

2.2 ベースモデルの選定

Qwen2.5-VL 3B: 複数のオープンソース VLM（Qwen2-VL 2B, Qari OCR 2B, ArabicNougat など）を比較検討した結果、30 億パラメータの「Qwen2.5-VL 3B」がダリジャ語の多様なドメインで最も優れた性能を示したため、ベースモデルとして採用しました。

2.3 パラメータ効率の良い微調整（Fine-Tuning）

大規模な GPU 環境がなくても学習できるよう、以下の技術を組み合わせました。

QLoRA (Quantized Low-Rank Adaptation): モデルを 4 ビットに量子化し、低ランクアダプターを適用することで、メモリ使用量を最大 80% 削減しつつ性能を維持。
Unsloth: GPU カーネルとメモリ管理を最適化し、学習速度を最大 5 倍、メモリ使用量を 60% 削減。
視覚エンコーダーの微調整: 視覚レイヤーを固定せず微調整することで、ダリジャ語特有の視覚的特徴への適応性を高めました。

2.4 最適化とアブレーション研究

LoRA ハイパーパラメータ: Rank ( $r=128$ ) とスケーリングファクター ( $\alpha=128$ )、ドロップアウト率 (0.05) の組み合わせが最適でした。
量子化: 4 ビット量子化は 16 ビットと比べて精度の低下がほとんどなく、計算コストの面で優位でした。
RSLoRA: 本タスクでは RSLoRA を使用すると性能が低下したため、標準的な LoRA を採用しました。

3. 主要な貢献

AtlasOCR の開発: ダリジャ語に特化した初のオープンソース OCR モデル（3B パラメータ）の公開。
データ戦略の確立: OCRSmith による合成データと多様な実世界データを組み合わせた大規模データセットの構築。
効率的な学習手法: QLoRA と Unsloth を用いた 3B パラメータモデルの微調整手法の詳細な実装と検証。
評価ベンチマークの作成: ダリジャ語 OCR 評価用の新しいベンチマーク「AtlasOCRBench」（251 サンプル）の公開。
広範な評価: ダリジャ語および標準アラビア語における SOTA（State-of-the-Art）性能の実証。

4. 結果と評価

4.1 ベンチマーク性能

AtlasOCRBench（ダリジャ語）: 既存のオープンソースモデルを大きく上回る SOTA 性能を達成。
KITAB-Bench（標準アラビア語）: 120 億パラメータの Gemma3 や 70 億パラメータの Qwen2.5-VL などの大規模モデルと競合する性能を示しました。
指標: ダリジャ語の綴りの多様性を考慮し、文字誤り率（CER）を主要指標として採用。

4.2 分析

特化と汎化: ダリジャ語に特化した学習でありながら、標準アラビア語への強力な転移学習（Cross-lingual Transfer）能力を示しました。
パラメータ効率: 30 億パラメータという小規模モデルでありながら、はるかに大規模なモデルと同等以上の性能を達成し、リソース効率の良さを証明しました。

5. 意義と今後の展望

5.1 意義

デジタル保存とアクセシビリティ: モロッコの歴史的文書や SNS コンテンツのデジタル化、スクリーンリーダーによるアクセスを可能にします。
低資源言語へのアプローチ: 大規模な計算リソースがなくても、合成データと効率的な微調整手法を用いて高品質な言語技術を開発できることを実証しました。
オープンソースコミュニティ: 開発手法とデータセットを公開することで、他の方言や低資源言語向けの OCR 開発の青写真（ブループリント）を提供しています。

5.2 限界と将来の課題

限界: 母音記号（ダイアクリティカルマーク）の認識精度に限界があること、複雑なレイアウトや芸術的なドキュメントへの対応が課題です。
将来の方向性:
- 手書きテキストや母音付きコンテンツのデータセット拡充。
- モバイルやエッジデバイス向けへのモデル圧縮（3B 未満への縮小）。
- 複雑なレイアウト理解の強化。
- 北アフリカ諸国の他のアラビア方言への手法の適用。

結論

AtlasOCR は、計算リソースの制約の中で、合成データとパラメータ効率の良い微調整技術を活用することで、低資源言語（ダリジャ語）に対する高性能 OCR を実現可能であることを示しました。これは、モロッコおよび北アフリカ地域のデジタルコンテンツ処理における重要な進展であり、他の方言や低資源言語への応用可能性を大きく広げる成果です。