A Reliability Evaluation of Hybrid Deterministic-LLM Based Approaches for Academic Course Registration PDF Information Extraction

以下は、提示された論文「A Reliability Evaluation of Hybrid Deterministic–LLM Based Approaches for Academic Course Registration PDF Information Extraction（学術課程登録 PDF からの情報抽出におけるハイブリッド決定論的・LLM ベースアプローチの信頼性評価）」の技術的な要約です。

1. 研究の背景と課題 (Problem)

インドネシアの大学では、学期開始時に学生が履修登録（KRS: Kurikulum Rencana Studi）を行い、その結果が PDF 形式で発行されます。このデータは学務管理だけでなく、出席記録や成績評価など多様な用途に必要とされますが、以下の課題が存在します。

• システム連携の困難さ: 既存のキャンパス情報システムから API や直接データベースアクセスでデータを取得することが、セキュリティ権限やレガシーコードの制約により困難な場合が多い。
• プライバシーとローカル処理: 個人情報が含まれるため、外部クラウドサービスへの送信は避けられ、ローカル環境（特に GPU がない消費財レベルの CPU 環境）での処理が求められる。
• PDF 構造の複雑さ: KRS PDF はテキストベースだが、学問プログラム（専攻）によって表の構造、メタデータの形式、Unicode リガチャ（例："fi" が 1 文字として表示される等）にばらつきがあり、単純な正規表現（Regex）や OCR だけでは高精度な抽出が難しい。
• 既存研究の不足: 特定のインドネシアの学術文書（KRS）を対象とした信頼性評価や、決定論的手法と LLM を組み合わせたハイブリッドアプローチの比較研究が不足している。

2. 手法とシステム構成 (Methodology)

本研究は、GPU なしで動作する消費財レベルのラップトップ（Ryzen 5 6000H, 16GB RAM）上で、3 つの異なるアプローチを比較評価しました。

• 対象モデル: 12B〜14B パラメータのオープンソース LLM 3 種（Gemma 3:12b, Phi-4:14b, Qwen 2.5:14b）。Ollama を使用してローカル実行。
• データセット:
  • 4 つの異なる専攻（電気工学、土木工学、都市・地域計画、情報科学）から合計 140 件の PDF（各専攻 35 件）を用いた詳細評価。
  • 後段の評価では、860 件の PDF を用いてパイプラインの効率性を検証。
  • 正解データ（Ground Truth）はクラウドモデルと手動チェックで生成された JSON。
• 3 つの評価アプローチ:
  1. LLM のみ: 全文を LLM に提示し、JSON 出力を生成させる（Few-shot プロンプト使用）。
  2. ハイブリッド（決定論的＋LLM）: 学生情報などの安定したメタデータは Regex で抽出し、表形式の履修科目・講師リストを LLM で抽出する。
  3. Camelot パイプライン＋LLM フォールバック:
     • 第 1 段階：レイアウト認識ライブラリ「Camelot」の lattice フレーバー（枠線ありの表用）で抽出。
     • 第 2 段階：失敗した場合 stream フレーバー（枠線なしの表用）へフォールバック。
     • 第 3 段階：それでも失敗した場合、LLM を最終手段（フォールバック）として使用。
• 評価指標:
  • 完全一致 (Exact Match: EM): 文字列が完全に一致するか。
  • レーベンシュタイン類似度 (Levenshtein Similarity: LS): 0.7 以上の閾値を設け、スペースや句読点の誤差を許容する。

3. 主要な結果 (Results)

• モデル性能の比較:

  • Qwen 2.5:14b: 全モード、全専攻において最も一貫した高い性能を示しました。特に LLM のみモードでも 0.99〜1.00 のスコアを達成しました。
  • Phi-4:14b: メタデータや科目リストでは良好でしたが、講師リストの抽出において「アドバイザー名を削除する」というプロンプト指示を過剰に解釈し、重複する講師名を誤って削除する傾向があり、スコアが低下しました。
  • Gemma 3:12b: LLM のみモードでは性能が不安定でしたが、ハイブリッド（Regex 併用）モードでは完璧なスコア（1.000）を達成しました。

• 処理効率（スループット）:

  • LLM のみ / ハイブリッド: 1 件あたりの処理時間は約 1.5〜1.8 分（95〜112 秒）かかり、大量処理には時間がかかります。
  • Camelot パイプライン: 圧倒的に高速です。860 件のテストにおいて、99% 以上のデータが Camelot（lattice または stream）のみで処理され、1 件あたり 1 秒未満で完了しました。LLM フォールバックが必要だったのは 9 件（約 1%）のみでした。

• 精度:

  • Camelot パイプライン＋LLM フォールバック方式は、EM および LS ともに 0.99〜1.00 の高精度を維持しつつ、計算コストを最小化しました。
  • 特定のケース（長い学生名や行数の少ない表）では Camelot が失敗し、LLM フォールバックが有効に機能しました。

4. 主要な貢献 (Key Contributions)

1. ローカル環境での実用性検証: GPU がない消費財レベルの CPU 環境でも、適切なモデル選択とハイブリッド手法により、学術文書からの高精度な情報抽出が可能であることを実証しました。
2. ハイブリッドアプローチの有効性: 決定論的手法（Regex, Camelot）で安定した部分を処理し、LLM を複雑な部分やフォールバックに限定することで、精度と効率のバランスを最適化する方法論を提示しました。
3. インドネシアの学術文書特化評価: 特定の地域（インドネシア）の学術文書（KRS）におけるデータ抽出の課題（Unicode リガチャ、専攻ごとの構造差異）を特定し、それを解決する具体的なパイプラインを構築しました。
4. 段階的フォールバック戦略の提案: Lattice → Stream → LLM という段階的なフォールバック戦略が、精度を維持しつつスループットを劇的に改善することを示しました。

5. 意義と結論 (Significance & Conclusion)

本研究は、大規模な学術データ処理において、完全な LLM 依存ではなく、「決定論的ライブラリ＋LLM フォールバック」のハイブリッドシステムが、プライバシーを保護しつつ、計算リソースが限られた環境でも実用的で信頼性の高いソリューションであることを示しました。

特に、Qwen 2.5:14b モデルと Camelot ライブラリの組み合わせは、高い精度と高速な処理速度を両立しており、大学や教育機関におけるレガシーシステムからのデータ移行や、プライバシーを重視したローカル処理システムの実装に向けた重要な指針を提供しています。将来的には、GPU 環境でのスループット向上や、スキャン画像（OCR 対象）への対応、ドメイン特化型ファインチューニングが次のステップとして期待されます。