技術要約：集約指標を超えて——甲骨文の検出と認識におけるロングテール問題の診断

1. 問題提起

本論文は、AIによる古文書研究の重要なエントリータスクである、拓本画像における甲骨文（OBI）の自動検出および認識という課題に取り組んでいる。先行研究では文字の「ローカライゼーション（位置特定）」に関するベンチマークが確立されていたが、新たに公開された「甲骨文マルチモーダルデータセット（OBIMD）」により、フルイメージでの「検出および認識（特定の字形の特定）」に関する大規模な評価が可能となった。

特定された核心的な問題は、極端なロングテール型のクラス分布である。OBIMDには1,700以上の字形カテゴリが含まれているが、学習データは著しく偏っている：

• ヘッドクラス（多数派クラス）： 100インスタンス以上を持つカテゴリが約133種。
• フューショットクラス（少頻度クラス）： わずか1〜5インスタンスしか持たないカテゴリが約1,022種。
• 未学習クラス： 学習インスタンスがゼロのカテゴリが69種。

著者らは、標準的な集約評価指標（例：全体のmAP）は、これらの希少クラスにおける深刻な性能崩壊を隠蔽してしまうと指摘している。直接的なマルチクラスYOLOベースラインは、全体として良好なAP50（0.63）を達成しているが、フューショットクラスに対するAP50はわずか0.06へと崩壊している。本論文は、ボトルネックはローカライゼーション（これは堅牢である）ではなく、単一の検出ヘッド内でローカライゼーションとロングテール型の認識が結合（カップリング）されていることにあると仮定している。

2. 手法

診断フレームワーク

著者らは、性能を「ヘッド（Head）」「ミディアム（Medium）」「ロングテール（Long-tail）」「フューショット（Few-shot）」「アンシーン（Unseen）」のグループに分割する、頻度を考慮した層別化評価プロトコルを提案している。このプロトコルにより、集約指標がいかに「希少クラスの崩壊」を覆い隠しているかが明らかになった。

提案手法：FAR-YOLO

この結合問題を解決するために、著者らは、ローカライゼーションの学習と認識の学習を分離するように設計された最小限のデカップリング・ベースラインであるFAR-YOLO（Frequency-Aware Recognition YOLO）を導入する。

1. クラス非依存のローカライゼーション： 特定の字形クラスを予測することなく、「甲骨文字」の領域（前景 vs 背景）のみを特定するように訓練されたYOLO11s検出器。このブランチは候補のカバー率の最適化を目的としており、クラス不均衡に対して堅牢である。
2. 頻度を考慮した認識： 検出された各バウンディングボックスからクロップ（切り出し）を行い、個別のResNet18認識器に渡す。このブランチは、ロングテールに対処するための特定の戦略を用いて訓練される：
   • 露出リバランシング（Exposure Rebalancing）： 検出器に影響を与えることなく、希少クラス（ロングテールおよびフューショットクラス）の最適化への露出を増やすため、グループ依存の重み（例：フューショットクラスに対して重み $\beta=8$）を用いて学習中にアップサンプリングを行う。
   • 形態保持型データ拡張（Morphology-Preserving Augmentation）： 一般的なOCRで見られるような激しい反転や歪みを避け、筆画のトポロジー（位相）と意味的同一性を厳格に保持するようにデータ拡張を適用し、希少な字形が有効な状態に保たれるようにする。
3. 信頼度ゲート付き融合（Confidence-Gated Fusion）： 最終的なスコアは、ローカライゼーションの信頼度と認識確率の積となる。システムは拒絶メカニズムを採用しており、最大信頼度スコアが閾値 $\tau$ を下回る場合、強制的に閉じた集合（closed-set）のラベルを割り当てるのではなく、予測を拒絶する。これにより、専門家による検証や検索支援による探索を可能にする。

3. 主な貢献

1. タスク構造の診断： 甲骨文の検出においては、クラス非依存のローカライゼーションはすでに強力（AP50 $\approx$ 0.85）であり、主要なボトルネックはロングテール型の認識であることを示した。また、標準的な検出ヘッド内で単純な逆頻度リウェイトを行うことは、希少クラスをほとんど改善しない一方で、全体の性能を低下させるため逆効果であることを示した。
2. 頻度を考慮した評価： 著者らは、集約指標が希少な歴史的重要文字に対するモデルの失敗を隠蔽してしまうことを防ぐため、頻度グループごとに性能を分解する層別化評価スイートを導入し、公開した。
3. FAR-YOLOベースライン： デカップリングされたアーキテクチャにより、直接的な検出器の全体AP50を維持しつつ、フューショットAP50を10.5ポイント向上（0.06から0.17へ）させ、クラスバランスAP50を3.7ポイント向上させた。
4. 候補ランキングの洞察： トップ5候補分析を通じて、希少な字形の場合、トップ1の予測が間違っていても、正しい識別がモデルのトップ5候補内に頻繁に含まれていることを示した。これは、失敗の原因が視覚的な表現の問題ではなく、強制的なシングルラベルへのコミットメント（決定）にあることを示唆している。

4. 結果

• 集約性能 vs 層別性能： 直接的なマルチクラスYOLOは全体AP50 0.6347を達成しているが、フューショットクラスでは失敗（0.0611）している。直接的な検出器にクラスリウェイトを適用すると、全体AP50は0.5285に低下し、フューショットクラスへの寄与は極めて限定的（0.0770）であった。
• デカップリング後の性能： FAR-YOLOは全体AP50 0.6533（直接的なベースラインよりわずかに高い）を達成しつつ、フューショットAP50を0.1660へ、クラスバランスAP50を0.3767へと大幅に向上させた。
• アブレーション研究：
  • オーバーサンプリング単独： 全体の性能を損なうことなく、希少クラスの指標を改善した。
  • データ拡張単独： 全体のAP50を改善したが、フューショット認識の改善には至らなかった。
  • 組み合わせ： オーバーサンプリングと形態保持型データ拡張の相乗効果が最良の結果をもたらした。
• トップ5分析： 評価をトップ1からトップ5マッチングへと緩和すると、クロスエントロピー・カスケードのフューショットAP50は倍増（0.0790から0.1713へ）した。これは、モデルが正しい字形を「知って」はいるものの、それを第1位にランク付けできていないことを示している。
• 効率性： FAR-YOLOは直接的な検出器よりも約28.5%低速（38.22 FPS vs 49.12 FPS）であるが、オフライン処理としては実用的である。

5. 意義と主張

本論文は、甲骨文の認識において、集約指標の最適化や「検出器エンジニアリング」を超えた議論が必要であると主張している。主な意義は以下の通りである：

• ボトルネックの再定義： 困難さは文字自体を見つけることではなく、希少な字形のロングテール型の認識にあることを確立した。
• 評価の改革： 希少で歴史的に重要な文字に対するモデルの失敗を隠蔽しないよう、将来の研究は頻度を考慮したプロトコルを採用すべきであると論じている。
• システム設計の転換： 実用的なシステムは、閉じた集合への強制的な分類を放棄し、**候補ランキング、検索支援による認識、および人間による検証（human-in-the-loop）**へと移行すべきであると提案している。著者らは、希少な字形がしばしばトップkの候補に含まれていることを踏まえ、目標は単一の自動ラベルを強制することではなく、専門家の選択を容易にすることであると強調している。

著者らは、デカップリングとリバランシングを行っても、フューショットの性能（AP50 0.17）は完全自動の解釈に「使用可能」なレベルには程遠いことを認め、謙虚な姿勢を維持している。また、本研究は現在、OBIMDの拓本モダリティに限定されている。