SteuerLLM: Local specialized large language model for German tax law analysis

技術要約：SteuerLLM および SteuerEx

問題提起
大規模言語モデル（LLM）は、強力な一般的な推論能力を示しているが、税法のように厳格な形式的規則、正確な用語、および法的拘束力のある構造に支配された領域においては、依然として脆弱である。これらの分野における正しい推論には、正確な条文引用、相互に依存する規範の階層的な解釈、構造化された議論、および数値的な正確さが求められる。些細な誤りが、一見もっともらしい回答を無効にしてしまうことがある。既存の法的AIベンチマークは、合成データセット、短文形式、あるいは二値的な正誤判定に依存しており、現実世界の法学試験における段階的な部分点制度を捉えきれていない。さらに、複数の税務領域および学術レベルにわたるドメイン特化型の推論を厳密に評価するために利用可能な、実際のドイツの大学の税法試験に基づくオープンなベンチマークは存在していなかった。

手法
本研究は、主に2つのコンポーネント、すなわち SteuerEx ベンチマークと SteuerLLM モデルを導入する。

• SteuerEx ベンチマーク: これは、2016年から2024年の間にフリードリヒ・アレクサンダー・エアランゲン＝ニュルンベルク大学（FAU）で実施された115件の実際のドイツの税法試験から構築された、初のオープンなベンチマークである。このベンチマークは、法人税、税法総則、税法の基礎、所得税、組合税、および付加価値税（VAT）の6つのコア領域をカバーしている。標準的なベンチマークとは異なり、SteuerExは文レベルの部分点評価フレームワークを採用している。専門家によって検証された参照解答は、個別の、独立してスコア化可能な法的記述へと分解され、それぞれにポイントが割り当てられる。この設計は実際の学術的な採点制度を反映しており、単なる最終的な正誤だけでなく、段階的な法的推論の質を評価することを可能にしている。
• Ste SteuerLLM のアーキテクチャと学習: SteuerLLMは、Mistral Small 2409 (24B) および Ministral (8B) のベースアーキテクチャに基づいた、ドメイン適応型LLM（28Bパラメータ）である。一般的な推論能力を低下させることなくドメイン固有の能力を取り入れるため、著者らは ブロック拡張戦略（block expansion strategy） を採用している。これは、凍結された事前学習済みバックボーンに、追加の学習可能なTransformer層を挿入する手法であり、モデルをフルファインチューニングするのではなく、深さを増すことで専門化させるものである。
• 合成データ生成: 大規模かつ構造化されたドイツの税法データセットの不足に対応するため、著者らは ウォーター・ファウンテン・アルゴリズム（Water Fountain Algorithm） と呼ばれる制御された検索拡張パイプラインを開発した。約1,800件の真正な試験問題のシードセットから出発し、このアルゴリズムはローカルのSearXNGインスタンスを使用して、関連する法令テキストや注釈を反復的に検索する。その後、大規模言語モデルを用いて、法的精度と文脈の十分性を確保しながら、新しい、テーマの多様化した問題・解答ペアを生成する。最終的な学習データセットは、485,092件の検証済み問題・解答ペアで構成されている。
• 評価プロトコル: モデルは、外部LLM（GPT-4o）が評価者として機能し、参照される記述に対して概念的な正確性、条文の正確性、および完全性を評価する、文レベルの採点パイプラインを用いてSteuerEx上で評価された。評価では、内部化された知識を分離するため、推論時の検索拡張（RAG）は除外されている。統計的有意性は、ペア・パーミュテーション・テストおよび非パラメトリック・ブートストラップ法を用いて評価された。

主な貢献

1. SteuerEx ベンチマーク: 115件の実際の試験問題からなる、専門家によって検証されたオープンなベンチマークであり、ドイツの税法における実際の学術的評価慣行を反映した、粒度の高い部分点制度を備えている。
2. SteuerLLM: 真正な試験から派生した大規模な合成データセットを用いて学習され、専門化と一般的能力のバランスを取るためにブロック拡張アーキテクチャを利用した、28Bパラメータのドメイン特化型モデル。
3. Open-SteuerLLM: データ公開性とドメイン特化型モデルのパフォーマンス間のトレードオフを示すために、プライベートなデータセットのサブセットを使用せずに学習されたモデルのバリアント。
4. 包括的な評価: 3Bから671Bまでの、GPT-4o-miniのようなプロプライエタリなシステムを含む、多様な命令チューニング済みおよび推論指向型LLMに対するSteuerLLMの体系的な比較。

結果

• 規模 vs パフォーマンス: SteuerExベンチマークにおいて、一般的な命令チューニング済みモデル（最大72Bパラメータまで）は、SteuerLLMよりも大幅に低いスコアとなった。例えば、SteuerLLM (28B) は 28% ± 2 を達成し、Qwen2.5-72B-it (19% ± 3) や GPT-4o-mini (22% ± 2) を上回った。SteuerLLMを上回った唯一のモデルは、24倍のパラメータ数を持つ推論特化型モデルである DeepSeek-R1-671B (39% ± 3) であった。
• ドメイン特異性: 結果は、パラメータの規模だけでは税法におけるパフォーマンスを信頼性高く予測できないことを示している。ドメイン特化型の学習とアーキテクチャの適応が、生のパラメータ数よりも決定的な要因であった。より小規模なドメイン適応型バリアントである Small-SteuerLLM (10B) は 16% ± 2 を達成し、14B–32Bの範囲にある汎用モデルと同等の競争力を見せた。
• 人間との比較: SteuerLLMは、人間の学生の平均的なパフォーマンス（各カテゴリで平均54–63%）には達しなかったものの、いくつかのドメイン（例：法人税、VAT、税法の基礎）において、観察された最低の学生成績を上回った。これは、モデルが単に表面上もっともらしい回答を生成するだけでなく、部分的に正しく、試験に関連する推論を生み出すことができることを示唆している。
• オープン vs クローズド・データ: プライベートデータを使用せずに学習された Open-SteuerLLM は 23% ± 3 であり、フル版のSteuerLLMと比較して約5パーセントポイントの減少が見られた。この差は集計レベルのベンチマークでは統計的に有意ではなかったが、より小規模で専門的なカテゴリにおいてはパフォーマンスの差が顕著であった。

意義と主張
本論文は、大学の税法試験のような現実的な学術的評価が、ディープラーニングシステムの汎化と専門化を評価するための高忠実度なベンチマークとして機能することを主張している。本研究は、構造化された法的推論タスクにおいては、ドメイン固有のデータとアーキテクチャの適応が、パラメータの規模単独よりも決定的な要因である ことを示している。

著者らは、SteuerExが、構造化された推論、条文の精度、および段階的な部分点を通じて評価を定式化することにより、法的AIを研究するための厳格な枠組みを提供することを強調している。このアプローチは、従来の法的NLPベンチマークでは隠されてしまいがちな能力の差を明らかにする。さらに、本研究は、ドメイン適応によって大きな利点が得られる一方で、高度に専門化された領域や手続き的に複雑な領域においては、依然として現在のLLMと人間の専門家の間に大きな隔たりがあることを浮き彫りにしている。ベンチマーク、学習データ、およびモデルの重みの公開は、ドメイン特化型の法的人工知能における再現可能な研究を支援することを目的としている。