Wnuan: Staged Post-Training for Question Answering over Proprietary Enterprise Knowledge

あなたは、非常に具体的で複雑なビジネスを運営する方法を教えようとしている、非常に聡明で博識なティーンエイジャーを想像してください。このティーンエイジャーは、すでに公立図書館にあるほぼすべての本を読み終えており、歴史からコーディングに至るまで、あらゆることについて語り合うことができます。しかし、彼らは会社の内部規定、安全マニュアル、あるいは極秘プロジェクトのファイルを見たことがありません。もしあなたが、彼らが外の世界から知っている知識に基づいて答えを推測させるだけなら、彼らは自信満々に振る舞うかもしれませんが、詳細は間違っていたり、最悪の場合、もっともらしく聞こえるが事実に反する内容を作り上げたり（専門家が「ハルシネーション（幻覚）」と呼ぶ問題）するかもしれません。

これが**エンタープライズ質問回答（Enterprise Question Answering）**の課題です。企業には膨大な量のプライベートな文書がありますが、それらのAIモデルは、その中の「真の」答えを知りません。目標は、AIが礼儀正しく、役に立ち、論理的な会話ができる能力を失うことなく、これらのプライベートな秘密を教え込むことです。これは繊細なバランス調整です。もし会社について教えすぎれば、優れた汎用アシスタントではなくなってしまうかもしれません。もし十分に教えなければ、その仕事を果たすことができません。これから読む論文は、このパズルを解くための巧妙な3ステップのレシピを探求しています。それは、汎用的なAIを、正気を保ったまま企業の専門家に変える方法です。

---

Wnuanのレシピ：AIに企業の専門家になってもらう方法

新しいトレーニング・パイプラインであるWnuanをご紹介します。これは、一般的なAIを、企業のプライベートな文書を隅々まで熟知したスペシャリストに変えるために設計されました。AIを、試験勉強に明け暮れる学生としてではなく、会社のハンドブックや安全プロトコル、プロジェクトの履歴を学びながら、同時に人間として礼儀正しくあり続ける方法を学ぶ新入社員として考えてみてください。

この論文の著者たちは、AIのための3段階のトレーニングキャンプを構築しました。それがWnuanです。その道のりは、以下のように展開します。

ステップ1：ハンドブックをクイズショーに変える

まず、チームは、数千もの乾燥した退屈な企業文書（安全規則や技術仕様のPDFなど）を、AIが実際に学習できる形にする必要がありました。500ページの取扱説明書をただAIに読み込ませて、暗記を期待することはできません。そこで、彼らはDocument-to-QAと呼ばれるプロセスを使用しました。

高密度なルールブックを取り上げ、スマートなエディターがすべてのルールを「質問と回答」のフラッシュカードに変える場面を想像してください。もしルールに「全従業員はゾーンBではヘルメットを着用しなければならない」とあれば、システムは「ゾーンBでは何を着用しなければなりませんか？」という問いと、その答えを持つカードを作成します。彼らはこれを22万例以上行いました！さらに、学習対象の特定のAIと全く同じように聞こえるよう、AIに回答を書き換えさせました。これにより、会社の秘密に特化した、大規模でカスタムメイドのクイズデッキが作成されました。

ステップ2：「リプレイ（再生）」休憩

ここからが難しい部分です。もし会社の手引書ばかりを勉強していると、人との話し方や一般的な問題の解決方法を忘れてしまう可能性があります。これは「破滅的忘却（catastrophic forgetting）」と呼ばれます。これを防ぐために、チームは**General-Data Replay（一般データ・リプレイ）**という手法を用いました。

これは、学生が会社のハンドブックをしばらく勉強した後、スポーツや科学、あるいは論理パズルといった一般的なトピックについてチャットして休憩を取る学習セッションのようなものです。論文によると、会社データの中に約**48%**の一般的な会話データを混ぜることが「スイートスポット（最適解）」であることが分かりました。これにより、AIが会社のルールを学びつつ、賢さと礼儀正しさを維持できたのです。この休憩がなければ、AIは優れた会社の専門家にはなれたとしても、ひどい会話相手になっていたでしょう。

ステップ3：「残差エラー（Residual Error）」ドリル

最初の2つのステップを経て、AIはかなり上手くなっていましたが、まだ間違いがありました。簡単な質問には正解しますが、難しい問題でつまずきます。ここで、第3段階である**残留誤差強化学習（Residual-Error Reinforcement Learning: RL）**が登場します。

クイズデッキ全体をやり直す代わりに、チームはAIが間違えた質問（「残留誤差」）に特化して取り組みました。彼らは、これらのミスを、アスリートの弱点に焦点を当てるコーチのように扱いました。彼らは、その特定のミスを修正する方法を教えるために、特別な報酬システムを使用しました。それは、「君は簡単な数学の問題は正解できたけれど、この3つのトリッキーな代数問題については、マスターするまで徹底的にドリル（反復練習）しよう」と言うようなものです。

結果：小さなコストで得られる大きな勝利

この3段階のトレーニングの結果は目覚ましいものでした。トレーニング前、AI（Wnuan-Baseと呼ばれます）は、テストセットであるWnuan-Benchの質問に対して、約**52.76%**の質問にしか許容できる回答ができませんでした。

• ステップ2の後（SFT with Replay後）： スコアは**80.06%**に跳ね上がりました。AIは今や、しっかりとした従業員となりました。
• ステップ3の後（Residual-Error RL後）： スコアはさらに上昇し、**91.51%**に達しました。AIは会社の秘密をマスターしたのです。

チームは、AIが一般的なアシスタントとしての能力を失っていないかどうかも確認しました。その結果、非常に複雑な指示に従う能力については、一般的なベンチマークで約5ポイントの低下が見られたものの、一般的な知能自体は失われていないことが分かりました。このトレードオフは価値のあるものでした。AIはより優れた企業の専門家になったのです。

この論文が否定したもの（および、していないこと）

著者たちは、自分たちのアイデアを非常に慎重にテストしました。彼らは単に「間違いに焦点を当てることが良い」と推測したのではなく、それを証明しました。

• 間違いに焦点を当てることが有効である： 彼らは、「残留誤差」メソッド（間違いだけに焦点を当てる）を、2つの他の手法、すなわち「すべてを学習する（フルプール）」および「ランダムに混ぜた質問を学習する」と比較しました。「残留誤差」メソッドは勝利し、ランダムな手法に対して2.97ポイント、フルプールに対して3.11ポイント上回りました。これは、一度AIが基礎を習得すれば、その特定の弱点にドリルを行うことが最も効率的な学習方法であることを示唆しています。
• 検索（Retrieval）は魔法の解決策ではない： チームは、テスト中にAIがデータベース内の答えを検索することを許可する**RAG（Retrieval-Augmented Generation）**と呼ばれる一般的なテクニックもテストしました。驚くべきことに、十分にトレーニングされたAIの場合、答えを検索させると、いくつかのケースで逆に性能が悪化しました。AIはすでに内容を完璧に学習していたため、検索しようとすると混乱してしまったのです。これは、この特定の種類のトレーニングにおいては、知識をその場で検索するよりも、知識を「焼き付けて（baked in）」おく方が適していることを示唆しています。
• 普遍的な万能薬ではない： 論文では、この手法が「この」会社の内部文書に対して非常に効果的であることを認めています。世界中のあらゆるAIの問題を解決すると主張しているわけではありません。また、このAIは依然として、人間がチェックすることを前提とした「ヘルパー」として設計されており、AI自身が最終的な安全性判断や採用決定を下すロボットではありません。

まとめ

Wnuanの論文は、AIの専門家を作るための明確な道筋を示しています。文書をクイズに変え、バランスを保つために一般的な会話を混ぜ、そして間違いに対して集中的にドリルを行うことで、汎用的なロボットを高度なスキルを持つ企業のインサイダーに変えることができます。

著者たちは、この「段階的」なアプローチこそが鍵であると示唆しています。まず基礎を教え、次に弱点を洗練させるのです。AIは複雑な指示に従う能力をわずかに失いますが、精度の大幅な向上（**52.76%から91.51%**へ）は、AIに会社のルール、手順、そして秘密を知っておいてほしい企業にとって、勝利の方程式となります。これは、時には最高の学習方法は、すべてを再び勉強することではなく、自分が間違えたことに集中することである、ということを思い出させてくれます。