Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions

この論文は、コンテンツ保存率（CPR）とタグの形式適合性（TWF）という新しい評価指標を用いて複数の LLM からの出力を最適に選択するアンサンブル手法を提案し、国連安全保障理事会決議の正確かつ効率的なセマンティックタグ付けを実現するシステムを構築したことを報告しています。

要約

📚 物語：古びた図書館の「整理とタグ付け」プロジェクト

想像してください。国連には、1946 年から続く膨大な数の「決議文（重要な会議の決定事項）」が眠っています。しかし、これらは**「古びた図書館」**のような状態です。

1. 文字がボロボロ: 昔はタイプライターで打ち、それをスキャンして文字化（OCR）したため、文字が歪んでいたり、誤字だらけだったりします。
2. レイアウトが混乱: 昔の文書は「2 段組み」で印刷されていました。左側に英語、右側にフランス語が並んでいるため、普通のコンピュータが読むと、「左の文の半分」と「右の文の半分」が混ざり合って意味不明になります。
3. 意味がわからない: 文書の中には「誰が（組織）」「いつ（日付）」「どこで（場所）」といった重要な情報が含まれていますが、それがただの文章の羅列なので、機械が自動的に検索したり、知識グラフ（情報のつながり図）を作ったりするのは至難の業です。

この研究は、**「AI たちを大勢集めて、この古びた図書館をきれいに掃除し、すべての本に意味のあるラベルを貼る」**というプロジェクトです。

---

🛠️ 使われた「魔法の道具」と「チームワーク」

1. 複数の AI を使いこなす（アンサンブル方式）

この研究では、1 人の天才 AI だけに頼りません。なぜなら、AI は「確率的」な存在で、同じ質問をしても毎回少し違う答えを出したり、間違えたりするからです（まるで、同じ料理を作っても、シェフによって味付けが微妙に違うようなもの）。

そこで、**「7 人の異なる AI（GPT-4.1, GPT-5-mini など）」**をチームとして雇いました。

• 同じ文書に対して、複数の AI に同じ作業を 2 回ずつ行わせます。
• 結果として、1 文書あたり 14 通りの「完成品」が生まれます。

2. 厳格な「審査員」のルール（評価指標）

14 通りの答えの中から、どれが「最高」か選ぶために、2 つの厳しい審査基準（メトリクス）を作りました。

• 🛡️ 内容保存率（CPR）：「改ざんしてないか？」
  • 例え話: 料理のレシピを直すとき、「材料の量」や「手順」を勝手に変えてはいけません。
  • 役割: 元の文章から文字を消したり、余計なことを付け加えたりしていないかチェックします。「元の味（内容）をどれだけ守れたか」を数値化します。
• 🏗️ タグの完成度（TWF）：「箱はちゃんと閉まったか？」
  • 例え話: 荷物を梱包する際、箱を開けたままにしたり、蓋がずれていたりしてはいけません。
  • 役割: AI が貼る「ラベル（XML タグ）」が、開封と閉封のペアになっているか、正しく組み立てられているかを確認します。

3. 審査員が選ぶ「ベスト・オブ・ベスト」

14 通りの答えを審査員（上記のルール）がチェックし、**「最も元の文章を壊さず、かつラベルがきれいに貼れているもの」**を 1 つ選び出します。これが最終的な「完成品」になります。

---

💡 発見：高価な「高級シェフ」は必要ない？

研究の結果、面白いことがわかりました。

• **最高性能の AI（GPT-4.1）**は、確かに最もきれいに作業できました。
• しかし、「小型の AI（GPT-4.1-mini）」は、性能は少し劣るものの、「高級シェフ（高価なモデル）」の 20% のコストで、ほぼ同じレベルの仕事をこなしました。

**「高価なモデルを無理に使う必要はなく、コストパフォーマンスの良い小型モデルを賢く選べば、同じ成果が得られる」**というのが最大の発見です。これは、大規模なデータ処理を行う企業にとって、莫大なコスト削減につながる可能性があります。

---

🚀 この研究のゴール：「知識の地図」を作る

このプロジェクトの最終目標は、単に文書をきれいにするだけではありません。

1. 掃除: 歪んだ文字を直し、2 段組みを 1 列に整える。
2. タグ付け: 「組織」「日付」「場所」などにラベルを貼る。
3. 知識グラフの構築: これらを繋ぎ合わせ、**「誰が、いつ、どこで、何をしたか」が一目でわかる「知識の地図（グラフ）」**を作ります。

これにより、国連の膨大な文書が、人間だけでなく、コンピュータも理解できる形になり、平和維持や人権問題などの分析が劇的に進められるようになります。

まとめ

この論文は、**「AI の『ばらつき』を逆手に取り、複数の AI をチームで動かし、厳格なルールでベストな答えを選び出す」**という、賢くてコスト効率の良い方法を紹介しています。

まるで、**「1 人の天才に全てを任せるのではなく、大勢の職人を集めて、一番きれいに仕上げた作品だけを選ぶ」**ようなアプローチで、国連という巨大な「古びた図書館」を、デジタル時代の「超整理された知識の宝庫」へと生まれ変わらせようとする試みです。

技術概要

国連安保理決議のエンサンブル LLM 意味タグ付けシステムの技術的概要

本論文は、国連安全保障理事会（UNSC）の決議文書に対する大規模言語モデル（LLM）を用いた高精度かつ効率的な意味タグ付けの新しい手法を提案しています。特に、歴史的な文書に特有のノイズ処理と、LLM の出力のばらつきを制御するための評価指標の導入に焦点を当てています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

国連は平和維持、人権、持続可能な開発などの分野で膨大な量の文書を生成しており、これらを構造化し、知識グラフを構築して機械可読性を高めることは極めて重要です。しかし、以下の課題が存在します。

• データ品質の問題: 1946 年から 2000 年頃までの決議文書は、タイプライターで作成され、スキャン後に OCR（光学文字認識）でテキスト化されたものが多く、誤字脱字やフォーマット崩れ（特に 1980 年代以前の 2 段組レイアウト）が頻発しています。
• LLM の課題:
  • 出力の不安定性: LLM は確率的なモデルであるため、同じ入力でも温度パラメータ（Temperature）の設定により出力が変動します。
  • ハルシネーションと欠落: タスク要件を超えた不要なテキストの追加（ハルシネーション）や、必要な部分の欠落（Under-generation）を防ぐ必要があります。
  • 評価の難しさ: どのモデルがどのタスクに対して優れているか、定量的に評価する基準が不足していました。

2. 手法とアプローチ

本研究は、LLM を活用した「テキストクリーニング」と「意味タグ付け」の 2 つの段階的なパイプラインを構築しました。

2.1 データセット

1946 年から 2025 年までの英語の安保理決議 2,798 件（CR-UNSC コーパス）を使用。これには OCR 処理されたノイズの多いテキストや、英語とフランス語が 2 段組で混在する初期の文書が含まれます。

2.2 エンサンブル手法

単一のモデルに依存せず、複数のモデルと複数の実行（ラン）を組み合わせて最適な出力を選択する「エンサンブル」方式を採用しています。

• モデル: GPT-4.1, GPT-4.1-mini, GPT-4.1-nano, GPT-4o, GPT-5-mini, GPT-5-nano, GPT-5.1 の 7 種類を使用。
• 実行設定: 温度パラメータを 1 に設定し、各モデルで 2 回ずつ実行（計 14 回の出力）を行い、その中から評価指標に基づいて最良のものを選択します。

2.3 新規評価指標

ハルシネーションを防ぎ、入力テキストの忠実性を保証するために、2 つの主要なメトリクスを導入しました。

1. コンテンツ保存率 (Content Preservation Ratio: CPR)

   • 入力と出力のテキスト間の「ビッグラム（2 文字の連続）」の頻度を比較します。
   • 入力から出力への文字の追加や削除を定量化し、入力テキストをどの程度忠実に保持しているかを測定します。
   • 数式：$CPR = \frac{\sum b c_{in}(b)}{\sum b c_{in}(b) - \sum b |c_{in}(b) - c_{out}(b)|}$
   • ※ノイズの多い 2 段組テキストに対して、編集距離（Edit Distance）よりもビッグラム頻度の方が頑健であるとしています。

2. タグの整形式性 (Tag Well-Formedness: TWF)

   • XML タグ（<location>, <entity>, <event>, <organization>, <date>）が正しく閉じられているか、ネストが正しいかを検証するアルゴリズムを使用します。
   • 正しく閉じられたタグペアの数を、不正なタグの総数で割ることで計算されます。

3. 発見されたタグ数 (nT)

   • 正解データ（Gold Standard）が存在しない段階では、リコール（網羅性）を最大化することを目的とし、より多くのタグを特定した出力を評価します。

3. 主要な貢献

1. スケーラブルな LLM パイプラインの提案: 歴史的な安保理決議のクリーニングと意味タグ付けを行う実用的なパイプラインの確立。
2. 新しい評価指標の導入: CPR と TWF を導入し、LLM によるドキュメント変換タスクにおける品質を定量的に評価可能にした。
3. モデル間のトレードオフ分析: 精度とコストの観点から、異なるサイズ（フル、mini、nano）および世代のモデルを比較分析。
4. 意味注釈付きコーパスの構築: 下流タスク（知識グラフ構築など）を支援するための、注釈付きの安保理決議コーパスの作成。

4. 結果と考察

10 件の文書を用いた実験結果は以下の通りです。

4.1 テキストクリーニングタスク

• 最高性能: GPT-4.1 が CPR 84.9% を記録し、最も高い性能を示しました（コスト：1 文書あたり $0.0139）。
• コスト効率: GPT-4.1-mini は CPR 83.5% と GPT-4.1 に匹敵する性能を持ちながら、コストは約 20%（$0.0028）で済みました。
• 小型モデルの限界: nano モデルは高速ですが、クリーニング性能は著しく低下しました。

4.2 意味タグ付けタスク

• 最高性能: GPT-4.1 が CPR 99.99%、TWF 99.92%、タグ数 92.6 個という最高成績を収めました（コスト：$0.017）。
• 代替モデル: GPT-4.1-mini は CPR 99.92%、TWF 99.64% と非常に高い性能を維持しつつ、コストは GPT-4.1 の約 19%（$0.0033）に抑えられました。
• GPT-5.1: GPT-4.1 と同等かそれ以上の性能（CPR 99.95%）を示しましたが、コストは若干高くなりました。

4.3 総括

エンサンブル手法により、各ドキュメントに対して複数のモデル実行から「最も入力に忠実で、タグ構造が整っており、かつコスト効率が良い」出力を選択することが可能になりました。特に、GPT-4.1-mini は、大規模モデルと同等の精度を 20% のコストで達成できることが実証されました。

5. 意義と将来展望

• 知識グラフ構築への寄与: 構造化された XML 形式でタグ付けされたコーパスは、Akoma Ntoso などの標準に準拠し、エンティティ、権限、決議、イベントなどを結びつけた知識グラフの構築を可能にします。
• データエンジニアリングの最適化: 大規模なデータ処理タスクにおいて、高価なモデルを一律に使用するのではなく、タスクとデータ特性に応じて最適なモデル（例：mini モデル）を選択することで、莫大なコスト削減が可能であることを示しました。
• AI の制御と透明性: LLM の出力をメトリクスで厳密に評価・制御するアプローチは、AI のハルシネーションを抑制し、人間が AI の出力を信頼して利用するための基盤を提供します。
• 今後の課題: 現在の手法は「複数の出力から 1 つを選ぶ」方式ですが、将来的には複数のモデルの出力を統合し、タグの合意形成を行う真の「統合エンサンブル」システムの開発や、Akoma Ntoso XML スキーマへの完全準拠が次のステップとして挙げられています。

本論文は、ノイズの多い歴史的データに対して LLM を制御された形で適用し、人手では困難な大規模データセットの構築を実現する実証的な枠組みを提供した点で意義深いです。