BenGER: 德国法律タスクのエンドツーエンドベンチマークのための協働ウェブプラットフォーム

本論文は、ドイツの法律タスクにおける大規模言語モデル（LLM）の推論能力を評価するための、オープンソースの協働ウェブプラットフォーム「BenGER（Benchmark for German Law）」の概要と技術的アーキテクチャを提示しています。以下に、問題定義、手法、主要な貢献、結果（デモ機能）、および意義について詳細にまとめます。

1. 背景と問題定義

法律分野における AI ベンチマークの構築は、コストが高く、技術的に複雑な課題です。特にドイツのような法域では、高品質な法的専門知識を持つ人材が不足しており、以下の課題が存在します。

• ワークフローの断片化: 現在のプロジェクトでは、タスク設計、専門家によるアノテーション、モデルの実行、評価という一連のプロセスが、異なるプラットフォームやスクリプトに分散しています。
• 透明性と再現性の欠如: 手動でのデータ受け渡しが多く、専門家の監視が不足しており、研究の再現性や非技術的な法律専門家による参加が困難です。
• ツール間のギャップ: 既存のツールは「アノテーション管理」または「モデル評価」のいずれかに特化しており、ドメイン専門家（法律家）がスクリプトなしでエンドツーエンドのワークフローを実行できる統合環境が不足しています。

2. 手法とシステムアーキテクチャ

BenGER は、上記の問題を解決するために設計された、ブラウザベースの統合ワークフローを提供します。

2.1 技術的アーキテクチャ

• フロントエンド: Next.js (TypeScript)
• バックエンド: FastAPI (Python)
• データベース: PostgreSQL
• 非同期処理: Redis と Celery ワーカー（モデル実行や評価のスケール可能なバックグラウンド処理用）
• デプロイ: Docker Compose または Kubernetes によるコンテナ化。ローカルまたは機関内でのデプロイが可能。

2.2 主要機能とワークフロー

BenGER は以下の 6 つのステップを含む完全な法律ベンチマークワークフローをモデル化しています。

1. タスク作成: 法律の専門家がプラットフォーム内で直接タスクと参照解答（Reference Solutions）を定義。
2. アノテーション: 人間のアノテーターが協働ウェブインターフェースを通じて解答を提出。
3. 形成的フィードバック（オプション）: アノテーターが回答を提出後、参照解答と比較した LLM ベースのフィードバックを受け取り、学習や改善を促す（ドイツの法学教育における「レペティター」の役割に相当）。
4. モデル実行: 設定可能な API キーを用いて、選択された任意の LLM を同一タスクに対してバッチ実行。
5. 評価: 語彙的、意味的、事実的、分類、および「LLM による裁判官（LLM-as-a-judge）」など、多様なメトリクスを用いた結果の評価。
6. 分析とエクスポート: プラットフォーム内での分析または出版用のデータエクスポート。

2.3 セキュリティとアクセス制御

• テナント分離: 組織レベルでのデータ分離と、ロールベースのアクセス制御（管理者、貢献者、アノテーターなど）により、複数の組織が関与するプロジェクトでもデータの漏洩を防ぎます。
• API キー管理: ユーザー単位またはプロジェクト単位で API キーを設定可能。中央集権的な資格管理を減らし、機関の方針に合わせた利用を可能にします。
• 人間の監視: LLM によるフィードバックは教育的な支援として設計されており、権威的な判断ではありません。プロジェクトリーダーはフィードバックの機能を無効化したり、特定の役割に制限したりできます。

3. 主要な貢献

• 統合されたエンドツーエンドプラットフォーム: アノテーション、モデル実行、評価を単一のシステムに統合し、法律の専門家がスクリプトなしでベンチマークを構築・実行できるようにしました。
• 多組織対応とセキュリティ: 複数の大学、公共機関、NGO が共同で作業できる、厳格なデータ分離とロール管理機能を提供します。
• 標準化された評価アーティファクト: タスク定義、参照解答、モデル設定、メトリクス選択を明示的なアーティファクトとして保存・共有可能にし、研究の再現性を大幅に向上させます。
• 学習支援機能: アノテーター向けの構成的フィードバック機能により、人間のベースラインの品質向上と学習効果を促進します。

4. 結果とデモ

論文では、BenGER のライブデプロイメントが示されています。

• 実証: タスクの作成からアノテーション、モデル実行、そして最終的な分析に至るまでのエンドツーエンドのベンチマーク作成プロセスが実演されます。
• 既存ツールとの比較: DeepWrite や LabelStudio などの既存ツールと比較し、BenGER が「多組織の分離」「設定可能な LLM 実行」「標準化された評価」を統合している点が強調されています。
• 利用可能性: ソースコードは GitHub で公開されており、公開インスタンス（what-a-benger.net）も提供されています。

5. 意義と将来への影響

• 民主化とアクセシビリティ: 技術的な知識がない法律専門家や公共機関が、データや評価プロセスを外部のエンジニアに委ねることなく、自らベンチマークに貢献できるようになります。
• 再現性の向上: 実験設定を明示的なアーティファクトとして保存することで、異なる研究グループ間での結果の比較や、時間を超えた再現が容易になります。
• 拡張性: 新しいタスク、モデルプロバイダー、スコアリング手法を、エンドツーエンドのパイプラインを書き換えることなく追加できる設計となっており、長期的なベンチマークイニシアチブに適しています。
• 法的 AI 研究の信頼性向上: 法律の専門家が評価パイプライン全体を制御できるため、LLM の法的能力に関する研究はより信頼性が高く、スケーラブルなものになります。

結論として、BenGER は法律 AI のベンチマークを、より透明性が高く、協働的であり、アクセスしやすいものへと変革する重要なツールとして位置づけられています。