💬 NLP

Khondo: A Multimodal Benchmark for Document Packet Splitting of Bangla Forms

本論文は、連結されたベンガル語の政府様式を分割および再構成するための、初のビジョンネイティブかつバイリンガルのベンチマークであるKhondoを紹介しており、マルチモーダル大規模言語モデルは文書ごとにページをクラスタリングすることは効果的にできるものの、特に低リソース言語において、元のページの順序を再構成することには著しく苦戦することを明らかにしている。

原著者： Abu Tyeb Azad, Fahim Ahmed, Ishita Sur Apan, Ezharuddin Jubaer, Sumaiya Karim Katha, Armun Alam, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman

公開日 2026-07-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Abu Tyeb Azad, Fahim Ahmed, Ishita Sur Apan, Ezharuddin Jubaer, Sumaiya Karim Katha, Armun Alam, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、混沌とした魔法の図書館の司書であると想像してみてください。そこでは本はただ棚に並んでいるだけではありません。時として本同士が巨大で乱雑な巻物のようにくっついてしまったり、誰かがテーブルを揺らしたために、異なる物語のページが混ざり合い、完全にバラバラになってしまったりします。あなたの仕事は、この絡まり合った混乱状態を観察し、どのページがどの物語に属しているのかを見極め、そして物語が意味を成すように正しい順序で再び積み直すことです。これは、「ドキュメント・パケット・スプリッティング（文書パケット分割）」という現実世界の課題です。デジタル世界では、政府やオフィスが何百枚もの書類を一つの大きなファイルとしてスキャンすることがよくあります。時として、スキャナーが混乱したり、作業員が誤ってページをシャッフルしてしまい、出生証明書と納税フォームが混ざったり、免許証と医療報告書が混ざったりすることがあります。コンピュータにとって、これは悪夢です。テキストを読み取るスマートなAIは構築されていますが、ページの画像を見て、視覚的な手がかりを理解し、そしてバラバラになった書類の山を解きほぐす方法をAIに教えることは、より難しい挑戦です。特に、コンピュータがあまり目にすることのない言語が使われている場合はなおさらです。

ここで、「Khondo」（バングラ語で「分割」または「セグメント」を意味する）と呼ばれる新しいプロジェクトが登場します。このプロジェクトの背後にいる研究者たちは、現代のAIがこれほど乱雑な書類の山をいかに解きほぐせるかを検証するために特別に設計された、巨大なパズルボックスのような特別なテストセットを作成しました。彼らは英語だけを使ったのではありません。彼らは、バングラ語、英語、あるいはその両方が混在していることが多い、バングラデシュの実際の政府様式を使用しました。彼らは何千枚ものページを取り出し、それらを偽の「パケット」として結合し、その後、順番を維持したものから、単一の文書内での混合、さらには異なる文書のページを完全にスクランブルさせるものまで、5つの異なる方法で意図的にシャッフルしました。そして、世界で最も高度なAIモデルに対し、これらのページの画像を見て、それらを分類するように求めたのです。

結果は、「悪くない」と「なんてことだ」が入り混じったものでした。AIモデルは、仕事の最初の部分において驚くほど優秀でした。彼らは、バラバラになった山を見て、どのページが一緒に属しているかを正しく推測することができたのです。それはまるで、AIが「おい、この4枚はすべて農業に関するものだし、この3枚は税金に関するものだ」と判別できるようなものでした。ページが混ざっていたとしても、それでもできました。しかし、AIは2番目の部分、つまりページを正しい順序に戻すという段階で、巨大な壁にぶつかりました。ページがシャッフルされると、AIはどのページが最初で、2番目で、最後なのかを判断するのに苦労しました。それはまるで、AIが物語の登場人物を識別することはできても、プロットの順序を覚えていられないかのようでした。

研究者たちは、なぜこのようなことが起きているのかを突き止めるために、さらに深く調査しました。彼らは主に2つの手法を試しました。第一に、AIに対して非常に具体的な指示を与えました。「おい、ページが混ざっているぞ、順番を直してくれ！」と伝えたのです。これは非常に効果的でしたが、問題を完全に解決することはありませんでした。AIは依然として間違いを犯しており、これは問題が単にAIが指示を聞いていないのではなく、タスク自体が純粋に困難であることを示唆していました。第二に、英語のみのパケットとバングラ語のみのパケットでテストを行いました。その結果、AIはバングラ語のページよりも英語のページを並べる方がはるかに得意であることが分かりました。バングラの文字による視覚的な手がかりを読み取ることが、AIにとって追加の難易度となり、ページを正しくグループ化することはできても、処理を遅らせる要因となっているようです。

要約すると、この論文は、AIがドキュメントが何についてであるかを認識することには長けてきている一方で、シャッフルされた書類の束を見て、瞬時に正しい読み順を知ることができる人間の司書のように振る舞うことには、いまだに苦戦していることを示しています。研究者たちは現在、この「乱雑な図書館」のパズルを誰もが使えるように公開しており、これらの失敗を研究することで、将来のAIが絡まりを解き、デジタル文書の秩序を取り戻せるようになることを期待しています。

技術要約：Khondo – バングラ・フォームのドキュメント・パケット分割のためのマルチモーダル・ベンチマーク

1. 問題定義

政府や行政のワークフローにおいて、ドキュメントはしばしば「パケット」として処理されます。これは、複数の連結されたドキュメント（フォームや裏付け資料）を含む単一のファイルであり、元の順序とは異なる状態で現れることがあります。構成要素となるドキュメントを復元するには、クラスタリング（ソースドキュメントごとにページをグループ化する）、タイピング（ドキュメントのドメインを分類する）、およびオーダリング（元のページシーケンスを再構築する）という3つのタスクが必要となります。

先行研究ではドキュメントの分割が扱われてきましたが、既存のベンチマークは主に英語のビジネスドキュメントに焦点を当てており、OCRで抽出されたテキストに依存しています。これにより、スクリプトの複雑さやレガシーフォントのためにOCRが信頼できないことが多いバングラ語のような低リソース言語において、決定的なギャップが生じています。さらに、現在の研究は主に、ページのシャッフルやインターリーブ（混在）を想定した再構築問題としてではなく、シーケンシャルな到着を前提とした境界検出問題としてページストリームのセグメンテーションを扱っています。

2. メソドロジー

2.1 Khondoデータセット

著者らは、バングラデシュの政府フォームにおけるドキュメント・パケット分割のための初のマルチモーダル・ベンチマークであるKhondo（バングラ語で「分割」の意）を導入します。

データソース: 14の行政ドメイン（農業、金融、法務、登録など）にわたる、国家電子フォームポータルから収集された423の真正なフォーム。
バイリンガル特性: データセットは本質的にバイリンガル（バングラ語–英語）であり、現実世界の行政ワークフローを反映しています。ページレベルでは、バングラ語が67%、英語が26%、混合ページが5%で構成されています。
構築パイプライン:
1. 収集とフィルタリング: 非フォームや低品質のスキャンを除去するための手動レビュー。
2. パーティショニング: コンテンツのリークを防ぐため、ドメインごとに層化された、互いに素な訓練/検証/テストセット（55:20:25）への分割。
3. パケット組み立て: 目標とする長さ5〜20ページに達するようにフォームをサンプリングしてパケットを生成。
4. 連結スキーム: 異なる難易度を分離するために、5つのバリアントを作成：
  - MonoSeq/PolySeq: 逐次的な連結（順序通り）。
  - MonoRand: 各ドキュメントブロック内でのページのシャッフル。
  - PolyInt: 異なるドキュメントからのページのラウンドロビン方式によるインターリーブ。
  - PolyRand: パケット全体の全ページのグローバルなシャッフル。
規模: 28,513ページに及ぶ1,950個のパケット。

2.2 タスクの定式化

タスクは、ページ画像のパケット $P = \langle p_1, \dots, p_n \rangle$ から、分割 $\mathcal{D}$ 、ドメインマップ $t$ 、および各ドキュメント $i$ のページ置換 $\sigma_i$ を復元することと定義されます。従来のワークとは異なり、KhondoはOCRテキストに依存せず、生のページ画像を処理する**ビジョンネイティブ（視覚ネイティブ）**として動作します。

2.3 評価プロトコル

評価対象モデル:
- ゼロショット: 5つの主要なマルチモーダル大規模言語モデル（MLLM）：Gemini-3.5-Flash, GPT-5.4, Qwen 3.6 Plus, GLM-4.6V, Kimi K2.5。
- ファインチューニング: QLoRAを通じて適応させた3つの小型オープンウェイトモデル（Qwen3-VL-4B, InternVL3.5-4B, Gemma 4 E2B）。
指標:
- クラスタリング ( $S_{clu}$ ): V-measureとRand Indexの平均。
- オーダリング ( $S_{ord}$ ): 予測されたサブドキュメントに対するKendall's $\tau_a$ の平均。
- タイピング ($PgAcc$): ページレベルのドメイン分類精度。
- 総合スコア ( $S_{pkt}$ ): クラスタリングとオーダリングの等重み平均。
プロンプティング: Order-Aware (OAw) プロンプト（明示的に再シーケンスを指示するもの）と、Order-Agnostic (OAg) プロンプト（入力順序をそのまま保持する傾向があるもの）を比較実験。

3. 主要な結果

3.1 ゼロショット性能

クラスタリング vs. オーダリング: MLLMは堅牢なクラスタリング能力を示しますが、ページがシャッフルされている場合のオーダリングには著しく苦戦します。
- 逐次的なバリアントでは、オーダリングスコアは高い（ $S_{ord} \approx 0.95$ ）ですが、これはページが既に順序付けられているため自明です。
- シャッフルされたバリアント（MonoRand, PolyRand）では、オーダリングスコアは激減します（例：Gemini-3.5-Flashは0.95から0.68へ低下し、より弱いモデルでは~0.05まで低下）。
- クラスタリングは、シャッフル条件下でも比較的安定しています（ $S_{clu} \approx 0.55–0.85$ ）。
モデル比較: Gemini-3.5-FlashとQwen 3.6 Plusは、特にシャッフルされたパケットのページ順序の復元において、他のモデルよりも優れた性能を示しました。

3.2 ファインチューニングの結果

小型オープンソースモデルのファインチューニングは、ベースラインと比較して性能を向上させますが、ボトルネックを解消するまでには至りません。
クラスタリングは大幅に改善されますが（PolySeqで $S_{clu} \approx 0.95$ に到達）、シャッフルされたバリアントにおけるオーダリングは依然として低迷しています（最良のモデルであるQwen3-VL-4Bでも $S_{ord} \approx 0.32$ ）。
モデルサイズをスケールアップさせること（4Bから32Bへ）は、シャッフルされたバリアントに対して単調な改善をもたらしますが、フラッグシップのゼロショットモデルとの差を埋めることはできません。

3.3 制御分析

プロンプトの感度: 再順序付けを明示的に指示するプロンプト（OAw）は、シャッフルされたバリアントにおいて、単に入力順序を維持する傾向のあるOAgプロンプトと比較して、オーダリングスコアを大幅に向上させました（0.43–0.67の利得）。しかし、明示的な指示があっても依然として大幅な不足が見られ、これは問題がプロンプトエンジニアリングの失敗ではなく、タスク固有の困難さであることを示唆しています。
言語的影響: モノリンガル（単一言語）のパケットでテストした場合、モデルはバングラ語のページよりも英語のページを大幅に良く順序付けできました（シャッフルされたバリアントにおいて $\Delta S_{ord} = 0.13–0.36$ ）。クラスタリングは言語の影響をあまり受けませんでした。これは、オーダリングのボトルネックが部分的に言語に起因しており、低リソース言語であるバングラ語のドキュメント理解によって悪化していることを示しています。

4. 貢献

Khondoベンチマーク: 低リソースでバングラ語が支配的な政府フォームに関する、初のマルチモーダル・ドキュメント・パケット分割ベンチマーク。5つの連結スキームと14のドメインにわたる1,950個のパケットを特徴とする。
実証的知見: MLLMはページを効果的にクラスタリングできる一方で、ページ順序の再構築が、特にシャッフルされた場合や低リソース言語の場合において主要なボトルネックとなることを実証した。
ファインチューニングの洞察: 小型MLLMはタスクを学習できるものの、シャッフルされたバリアントにおいてフラッグシップモデルとの間に大きな性能差が存在することを明らかにした。
要因の分離: 明示的なプロンプティングはオーダリングを助けるが不十分であること、および言語（バングラ語 vs 英語）がオーダリング性能を低下させる二次的だが一貫した要因であることを示す制御研究。

5. 意義と主張

本論文は、Khondoを、視覚ベースかつ低リソースのドキュメント理解における重要な未解決問題として「ページ順序の再構築」を位置づけています。著者らは以下のように主張しています。

現在のMLLMは、シーケンシャルなテキストについては「解決済み」のドキュメント分割を扱えますが、ビジョンネイティブでシャッフルされた低リソースのドキュメントに適用されると失敗します。
オーダリングにおける困難さは、プロンプトエンジニアリングの失敗ではなく、タスクに固有のものです（視覚的な連続性と論理的な流れに対する推論を必要とするため）。
英語とバングラ語の間の性能差は、マルチモーダル・ドキュメント処理における低リソース言語特有の課題を浮き彫りにしており、信頼できるOCRと言語リソースの欠如が、ドキュメント構造の推論を困難にしています。

本研究は、ファインチューニングや大規模モデルが漸進的な改善をもたらす一方で、シャッフルされた低リソースのドキュメント・パケットに対するオーダリングのボトルネックを解決することは、依然としてこの分野における大きな挑戦であることを結論付けています。