💻 computer science

OracleAnalyser: Analysing Implicit Semantics of Oracle Bone Scripts through MLLMs with Post-training

本論文は、従来の認識タスクを超えて甲骨文の潜在的な意味解析を大幅に進化させるために、新しいStable Focal Preference Optimization（SFPO）アルゴリズムと新しいデータセットを活用した、30億パラメータを持つポストトレーニング・フレームワークであるOracleAnalyserを導入する。

原著者： Zijia Song, Yelin Wang, Zhengyi Ma, Zitong Yu, Tianheng Wang, Jiahuan Zhang, Taorui Wang, Kaicheng Yu

公開日 2026-06-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zijia Song, Yelin Wang, Zhengyi Ma, Zitong Yu, Tianheng Wang, Jiahuan Zhang, Taorui Wang, Kaicheng Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、亀の甲羅や動物の骨で作られた、巨大で古めかしいパズルボックスを想像してみてください。これらは**甲骨文（こうこつもん）**と呼ばれる、数千年前から刻まれている中国最古の文字体系です。長い間、専門家たちはこれらの奇妙な図形が何を意味しているのかを解明しようと試みてきました。これまでに約4,500以上の文字のうち、1,600文字程度の解読には成功していますが、残りは依然として謎のままです。

これまで、このパズルを解こうとするほとんどのコンピュータプログラムは、コピー機のようなものでした。骨に刻まれた絵を見せると、プログラムは「これは『A』か、それとも『B』か？」と推測しようとします。それらは既に見ているパターンを一致させることは得意ですが、その絵を本当に「理解」しているわけではありません。ただ答えを暗記しているだけなのです。

この論文は、OracleAnalyserという新しいAIを紹介しています。OracleAnalyserは単なるコピー機ではなく、手がかりを実際に観察し、「なぜその文字がその意味を持つと考えているのか」を説明できる探偵や翻訳家のような存在です。

この探偵をどのように作り上げたのか、簡単な比喩を用いて説明します。

1. 問題点：「当てずっぽう」 vs 「思考」

従来のAIモデルは、答えの解説は理解せず、解答集だけを丸暗記した学生のようなものでした。もし見たことがない文字を見せられたら、彼らはただ推測するだけでした。

従来の方法： 人が頭に何かを載せて運んでいる絵が刻まれた骨の画像を見せます。AIは「これは『空』という文字だ」と推測します。しかし、それは「なぜ」なのかを説明することができません。
新しい方法 (OracleAnalyser)： AIは同じ画像を見てこう言います。「人が直立しているのが見えます。頭の上に丸い形があり、まるで重いものを載せているようです。これは『空』を表す古代のシンボルに見えます」。このAIは、答えを出す前に画像をパーツごとに分解するのです。

2. 学習：探偵への教育

研究者たちは、単にAIに多くの画像を食べさせたわけではありません。彼らはAIに、3つのステップで考え方を教えました。

ステップ1：講義（教師あり微調整 / Supervised Fine-Tuning）
彼らは賢いAI（Qwen2.5-VL）を取り出し、専門家が文字の名前を挙げる「前」に、その絵をどのように説明しているかを示す数千の例を見せました。これは、先生が生徒に「この線を見てごらん。これは屋根のように見えるね。だからこれは『家』を意味するんだ」と教えているようなものです。AIはこの推論の仕方を模倣することを学びました。
ステップ2：模擬試験（データの生成 / Generating Data）
AIにテストを受けるよう命じました。正解することもあり、間違えることもありました。研究者たちはこれらの試行を収集しました。
- 良い回答： 「これは根のある木のように見える。」（正解）
- 悪い回答： 「これは棒のように見える。」（不正解）
  彼らはこれらのペアを使用して、何が良い説明で、何が悪い説明なのかをAIに教えました。
ステップ3：特別なコーチング（SFPO）
これがこの論文における最大の革新です。標準的な学習方法では、「悪い」回答が実は「ある程度は合っている」場合（例：木が棒のように見えると言うのは、完全に間違いではないが、具体性に欠ける場合など）、AIが混乱してしまうことがあります。
研究者たちは、Stable Focal Preference Optimization (SFPO) と呼ばれる新しいコーチング手法を開発しました。
- 比喩： 間違いに対してただ「間違いだ！」と叫ぶだけのコーチを想像してください。代わりに、このコーチは「最も重要な」間違いに焦点を当て、あまりに紛らわしい、あるいは些細すぎる間違いは無視します。また、生徒が最初の「講義」ステップで学んだことを忘れてしまわないように注意を払います。これにより、AIの安定性と集中力を維持しています。

3. 結果：小さな脳に宿る大きな知能

通常、難しい問題を解くには、巨大なコンピュータの脳（巨大なAIモデル）が必要です。しかし、OracleAnalyserは驚くほど小さく、パラメータ数はわずか**30億（3 billion）**しかありません（競合する巨大な700億パラメータの脳と比較すると、非常に効率的で小さな脳と言えます）。

小さいにもかかわらず、このモデルはすべての巨大なモデルよりも優れた性能を発揮しました。

既知の文字に対して： 意味の説明と文字の特定において、はるかに優れていました。
未知の文字に対して： 見たことがない骨の彫刻を見せられたときでも、形状を観察し（「煙のように見える」や「屋根のように見える」など）、賢い推測を行うことができました。

まとめ

この論文は、AIにパターンを単に「認識」させる（コピー機のように）のではなく、まず画像を「分析」させる（探偵のように）ことを教え、さらに混乱を避けるための特別な安定した学習方法を用いることで、小さくとも強力なツールを作り上げた、と主張しています。このツールは、単に文字の名前を推測するのではなく、古代の図形の背後にある「物語」を説明することで、研究者が中国の古代史を理解する手助けをするのです。

技術要約: OracleAnalyser

1. 問題提起

中国最古の成熟した文字体系である甲骨文字（OBS）の解読は、考古学および文献学において依然として大きな課題となっている。4,500以上の文字が特定されている一方で、解読されているのは約1,600文字に過ぎない。深層学習モデルや現在のベンチマークを含む既存の人工知能のアプローチは、主に認識タスク（文字の識別）に焦点を当てている。これらの手法は、象形的な構造と意味的な意味を解釈するプロセスである分析的推論という、同様に重要な側面を見落としがちである。現在のベンチマークには、未知の文字を解読する際のAIの能力を評価するための指標が欠けており、解読におけるAIの解釈可能性と有効性を制限している。

2. 手法

著者らは、マルチモーダル大規模言語モデル（MLLM）に適用されるポストトレーニング技術に基づいた、甲骨文字分析のための推論フレームワークであるOracleAnalyserを提案している。このフレームワークは、主に3つの段階を経て動作する。

A. データセット構築

甲骨文字推論データセット: EVOBCデータセットから構築され、2,807個の有効な文字に絞り込まれた。著者らは、正確性を確保するために、対応する現代中国語の文字を条件として、象形的な観点に基づく分析的記述を生成するためにQwen-VL-MAXを利用した。これらの記述はQwen-3によって洗練され、専門家によって手動で検証された。その結果、約5,500個のサンプル（トレーニング用5,000、インドメイン・テスト用500、アウトオブドメイン・テスト用500）からなるデータセットが作成された。
甲骨文字選好データセット: 教師ありファインチューニング済みモデル（OracleAnalyser-SFT）を使用して、甲骨文字の画像に対して複数の推論トレースを実行することで生成された。正例は正解の分析であり、負例はモデル自身の系統的なエラー（誤った認識トレース）から選択された。これにより、手動フィルタリングを経て、3,400件以上の高品質な選好ペアが得られた。

B. トレーニング・パイプライン

教師ありファインチューニング (SFT): ベースモデルであるQwen2.5-VL-3B-Instructを推論データセットを用いてファインチューニングする。この段階により、モデルに基礎的な視覚パターン認識能力と分析的推論能力を習得させ、後続のステップのための安定した初期化を行う。
Stable Focal Preference Optimization (SFPO): この領域における標準的なDirect Preference Optimization (DPO) の限界（具体的には、ノイズの多い選好への過学習のリスクや、ランク付けが困難なペアに対する過剰な解釈の傾向）に対処するため、著者らはSFPOを提案している。
- Focal成分 ( $L_F$ ): Focal Lossの概念を適応させ、モデルが正解と不正解の区別に苦慮する「ランク付けが困難な」選好ペアの重みを下げ、モデルが偽の区別を学習することを防ぐ。
- Stability成分 ( $L_S$ ): 方策モデル ( $\pi_\theta$ ) と参照モデル ( $\pi_{ref}$ ) の間の逆Kullback-Leibler (KL) ダイバージェンス項を導入し、訓練の安定性を確保し、過度なドリフトを防ぐ。
- 最終的な損失関数は、これらの成分を組み合わせたものである： $L_{SFPO} = L_F + \lambda L_S$ 。

C. 評価ベンチマーク

著者らは、インドメインおよびアウトオブドメイン評価を含む新しいベンチマークを導入している。認識精度のみに焦点を当てた従来のベンチマークとは異なり、このベンチマークは以下を評価する：

分析の質: 正解の分析に対するBLEU-1、BLEU-4、ROUGE-1、およびROUGE-Lスコアを通じて測定される。
認識精度: インドメイン・タスクに対して。
Sentence-BERT スコア (SBS): アウトオブドメイン・タスクに対して、モデルが生成した分析と正解との間の意味的類似性を測定し、未知の文字に対する汎化性能を評価する。

3. 主な貢献

データセットとベンチマーク: 最初の甲骨文字推論データセット、最初の甲骨文字選好データセット、および単なる認識ではなく分析能力を体系的に評価するために設計された新しいベンチマークを公開した。
OracleAnalyser フレームワーク: 甲骨文字分析に特化した複数のポストトレーニング戦略（SFTおよびSFPO）を明示的な推論と統合した新しいフレームワーク。
SFPO アルゴリズム: ノイズが多く曖昧な選好ペアによる悪影響を軽減することで、訓練を安定させ、価値のあるサンプルに焦点を当てる新しい選好最適化アルゴリズム。
性能: 3Bパラメータのモデルが、大幅に大きなモデル（最大241Bパラメータ）や専門の認識モデルと比較して、優れた分析性能を達成できることを実証した。

4. 実験結果

インドメインおよびアウトオブドメインのテストセットの両方で広範な実験が行われた。

インドメイン性能: OracleAnalyserは**39.6%**の認識精度を達成し、分析指標（BLEUおよびROUGE）において、競合するすべてのモデル（InternVL-3.5-241BやOBSDのような専門モデルを含む）を大幅に上回った。例えば、BLEU-4スコアにおいて、次点の一般的なMLLMのスコアが約4.32であったのに対し、72.77を達成した。
アウトオブドメインの汎化: 未知の文字に対して、OracleAnalyserは最高のSentence-BERTスコア（70.35）を達成し、生成された分析が、より大きなモデルよりも正解に近い意味を持っていることを示した。
アブレーション研究:
- データフィルタリング: 曖昧な選好ペアを除去することで性能が向上し、データの量よりも質が重要であることが確認された。
- トレーニング戦略: SFT、Focal Loss ( $L_F$ )、およびStability Loss ( $L_S$ ) の組み合わせ（すなわちSFPO）が最良の結果をもたらした。標準的なDPOによる改善は限定的であり、安定性項 ( $L_S$ ) を省略すると、後半の段階で訓練の崩壊を招いた。
視覚的分析: 定性的な結果は、モデルが字形を正確に分解し、構成要素を現実世界のエンティティに関連付けることができることを示しており、学習された象形分析能力を実証している。

5. 意義

本論文は、OracleAnalyserが甲骨文字研究の分野において、純粋な認識から分析的推論への転換を象徴するものであると主張している。ポストトレーニング技術と新しい最適化アルゴリズムを活用することで、このフレームワークは、比較的小さなモデル（3Bパラメータ）が解読タスクにおいてはるかに大きなモデルを凌駕することを可能にする。著者らは、このアプローチが文化遺産の保存において、より解釈可能で効果的なソリューションを提供し、未知の文字に直面した際の古文献学者の探索範囲を狭める手法を提供すると述べている。この研究は、甲骨文字分析のために明示的な推論と複数のポストトレーニング戦略を統合した初めての事例である。