技術概要：WAR-R1 – 意味推論による説明可能な Web API 推薦

1. 問題定義

Web API エコシステムの急速な拡大（登録 API が 24,000 を超える）により、効率的な「マッシュアップ」開発（API を統合して新しいサービスを作成すること）のために、自動化された推薦が不可欠となっています。しかし、既存の推薦手法は、以下の 2 つの根本的な限界に苦しんでいます。

1. 固定された Top-N 戦略: ほとんどの手法は、マッシュアップの具体的な複雑さに関係なく、事前に決定された数の API を推薦します。これにより、単純なタスクには無関係な提案がなされたり、複雑なアプリケーションには十分なカバレッジが得られなかったりします。
2. 説明可能性の欠如: 現在のシステムは通常、正当性のないランク付けされたリストを出力します。この不透明性は、開発者が「なぜ」その API が推薦されたのかを理解することを妨げ、信頼性、デバッグ、機能適合性の評価を阻害します。

本論文では、このタスクを共同予測問題として形式化しています。マッシュアップの説明と API リポジトリが与えられた場合、システムは (1) 関連する API の可変サイズのサブセットを適応的に予測し、(2) マッシュアップの要件と API の機能に基づいて、各推薦された API に対する自然言語による正当性を生成する必要があります。

2. 手法：WAR-R1

著者らは、軽量な大規模言語モデル（LLM）のバックボーン（TinyLlama）を基盤とし、意味推論と適応型推薦を統合したフレームワークであるWAR-R1を提案します。このシステムは、3 つの中核コンポーネントを通じて動作します。

A. 意味的根拠によるデータセット注釈

歴史的なマッシュアップ - API データセットには明示的な説明が存在しないため、著者らは ProgrammableWeb データセットを注釈するために DeepSeek-R1 を使用しました。各マッシュアップ - API ペアに対して、LLM がマッシュアップの機能要件と特定の API の機能能力を結びつける簡潔な根拠を生成しました。

B. 制御トークンによる構造化生成

可変基数の出力とタスクの明確な分離を可能にするため、WAR-R1 は特別なトークンを導入します。

• <API_start> と <API_stop>: 推薦される API リストの境界を定義します。
• <REASON_start> と <REASON_stop>: 自然言語による正当性を囲みます。
• トークン化: API 名は分解を防ぎ、原子的概念として扱うため、単一の不可分なトークン（例：<API_sendgrid>）として追加されます。

C. 2 段階トレーニングパラダイム

1. 教師あり微調整（SFT）: 注釈付きコーパス上でクロスエントロピー損失を用いてモデルをトレーニングし、マッシュアップの説明から API リストおよびそれに対応する根拠へのマッピングの基礎的なパターンを学習させます。
2. GRPO を用いた強化学習（RL）: 静的なトレーニングデータを超えて最適化するため、著者らは**Low-Rank Adaptation（LoRA）と組み合わせたGroup Relative Policy Optimization（GRPO）**を採用します。
   • 目的: RL 段階では、推薦精度と推論品質を同時に最適化します。
   • 報酬関数: 複合報酬には以下が含まれます。
     • 推薦報酬: F1、Precision、Recall、NDCG、および Average Precision（AP）の加重和。
     • 推論報酬: Reasoning Precision（RP）と Reasoning Recall（RR）の加重和。これにより、推薦された API に対応する有効な説明が存在することが保証されます。

3. 主要な貢献

• 適応型推薦: WAR-R1 は、固定された Top-N リストに依存するのではなく、マッシュアップの複雑さに基づいて提案される API の数を動的に調整する、可変基数の API 推薦をサポートする最初のフレームワークです。
• 統合された意味推論: このモデルは、API の機能とマッシュアップの要件に基づいた、API ごとの明示的な自然言語による正当性を生成し、従来のシステムの「ブラックボックス」性を解決します。
• 2 段階最適化: 本作業は、SFT と GRPO ベースの RL を組み合わせたトレーニングパイプラインを導入し、モデルを定量的なパフォーマンス指標と説明の一貫性の両方に適合させます。
• 制御された生成: タスク固有の開始/停止トークンの導入により、API リストと推論テキストの両方の生成境界を精密に制御できます。

4. 実験結果

実験は、ゼロショット LLM（Llama-3.3-70B、GPT-4.1）、深層学習モデル（MTFM、SEHGN）、および LLM ベースのアプローチ（LLMAR）を含む 8 つのベースラインに対して、ProgrammableWebデータセット（8,217 のマッシュアップ、1,647 の API）を用いて実施されました。

• 推薦精度: WAR-R1 は、最先端のベースライン（LLMAR）を、Precision@1 で7.11%、Recall@1 で**10.89%**上回りました。また、NDCG および MAP スコアにおいても優れた成績を収めました。
• 推論品質: 推薦された API の 87.88% が根拠を伴っていました。モデルは、GPT-4.1 によって評価された平均推論スコア（RS）で0.768を達成し、マッシュアップ適合性、API 適合性、および可読性において高い一致を示しました。
• アブレーション研究:
  • GRPO 段階を除去すると、推論品質と推薦精度が低下しました。
  • 特別なトークンを除去すると、Precision@s が**13.82%**低下し、推論指標も劣化しました。これは構造的制御の必要性を確認するものです。
  • 推論コンポーネントを完全に除去すると、Precision@s が**5.50%**低下しました。これは、推薦を正当化する行為自体が選択の質を向上させることを示しています。
• 効率性: 追加された推論コンポーネントにもかかわらず、WAR-R1（11 億パラメータ）は推論中に必要な GPU メモリがわずか2.8 GBであり、より大規模なモデルと比較して実用的です。

5. 意義と主張

本論文は、WAR-R1 が信頼性の高いインテリジェントサービスへの重要な一歩を表していると主張しています。「何を」推薦するかと「なぜ」推薦するかを共同でモデル化することで、このフレームワークは、より正確であるだけでなく、透明性があり開発者にとって使いやすい推薦を生成します。

著者らは、彼らのアプローチが単純なランキングを超えて意味推論へと移行し、システムが現実の開発タスクの多様な複雑さに適応することを可能にしていると強調しています。機能面ではなく非機能要件（QoS、価格など）への現在の焦点といった限界を認めつつも、この作業はサービス構成における説明可能で適応型の推薦システムに関する将来の研究の基盤を確立しています。結果は、モデルにその提案を正当化させることが正則化として機能し、不自然な出力を減少させ、全体的な信頼性を向上させることを示唆しています。