Training on Broken Contexts: Source Loss and Repair in Tool-Augmented LLM Post-Training
本論文は、標準的なシーケンス構築ポリシーがアシスタントのターゲットとそのソースとなるツールの観測結果との間のリンクを断絶させてしまうという、ツール拡張型LLM学習における決定的な失敗を特定・定量化し、トークンの冗長性を削減しながら、教師あり学習のカバー率とコンテキストの完全性を大幅に向上させる再構成戦略を提案する。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の人工知能アシスタントは、問題を解決するために外部ツールに働きかけることができるエージェントとして設計されることが増えています。ユーザーが質問をすると、モデルはデータベースを呼び出したり、天気サービスを確認したり、注文状況を取得したりすることを決定する場合があります。モデルにこのような方法を教えるために、研究者はこれらの相互作用の何千もの例を提供します。これらの例は単なる単純な質問と回答ではなく、ユーザーのリクエスト、モデルによるツールの使用決定、そのツールから返された生データ、そして最後に、そのデータを使用してユーザーに回答するためのモデルの応答を含む、複雑な会話です。学習の目的は、モデルに物語の全体像を見せることで、ツールの出力と最終的な回答との間の点と点を結びつける方法を学ばせることにあります。
しかし、このプロセスには、会話が書き留められた後、モデルが実際にそれから学習する前に起こる、隠れたステップがあります。これらの長い物語をコンピュータのメモリに収めるために、学習ソフトウェアは、特定のサイズ制限に適合するように、それらを細切れにしたり、並べ替えたり、切り詰めたりしなければなりません。本論文は、その切り分けや並べ替えが失敗したときに何が起こるかを調査しています。研究者たちは、シンプルですが極めて重要な問いを投げかけました。コンピュータが会話を特定の学習スロットに収めるために会話を切り分ける際、最終的な回答は保持しながら、その回答の根拠となったツールのデータを誤って捨ててしまうことがあるのだろうか？ もしモデルが回答に基づいて採点されているにもかかわらず、その回答の根拠となる証拠がモデルの視界から消えているとしたら、モデルは論理的なプロセスを学んでいるのではなく、手品を学ばされていることになります。
研究者たちは、これらのシステムを訓練するために一般的に使用されている、ツールを使用する会話の3つの大規模なコレクションを調査しました。彼らは、元の会話のあらゆるテキストの断片を、切り分けや並べ替えのプロセスを通じて追跡するトラッキングシステムを構築しました。彼らは、モデルが特定の注文番号やエラーコードのような、ツールから返された値から学習することになっている場面を具体的に特定し、その値が回答を書く際にモデルに対して依然として可視であるかどうかを確認しました。彼らは、非常に短いものからかなり長いものまで、さまざまなサイズの学習チャンクを用いてこれをテストし、ソフトウェアがテキストをどのように切り分け、詰め込むかを決定するための、いくつかの異なる手法を用いました。
結果は、現在の学習データの準備方法における重大な問題を明らかにしました。ソフトウェアが、固定されたサイズに収めるために長い会話を小さな断片に分割する方法を使用する場合、回答とその根拠となるツールデータを頻繁に分離させてしまいます。調査したデータセットの一つでは、保持された回答の約4割が、それを正当化するツールの観察（observation）なしにモデルに教えられていました。別のデータセットでは、約2割の回答が同様に「孤児」状態になっていました。これは、モデルが、自身では知り得ないはずのテキストを生成することに対して報酬を与えられていることを意味します。なぜなら、必要な証拠が切り取られ、モデルがその瞬間に見ることができないトレーニングシーケンスの別の部分に置かれてしまっているからです。
また、研究では、データの切り分け方がモデルが実際に何を学ぶかに影響を与えることも判明しました。一つの一般的なパッキング手法は、分割せずにできるだけ多くの例を一つのチャンクに詰め込もうとするもので、この問題（分離の問題）を完全に回避します。しかし、この手法は非常に厳格であるため、学習データの大部分を破棄してしまい、元の会話のごく一部しか保持しません。研究者たちは、トレードオフが存在することを示しました。すなわち、ほとんどすべてのデータを保持する手法は、ツールと回答の接続を破壊することが多く、一方で接続を維持する手法は、有用なデータがあまりにも多く捨てられてしまうということです。
これを修正するために、研究者たちは学習例を再構成する新しい方法を提案しました。テキストを盲目的に切り取るのではなく、関連する会話のパーツをグループ化することで、ツールのデータと回答が常に同じウィンドウ内に留まるようにすることを提案しました。彼らは、これらのパーツを注意深くグループ化することで、同じ数の正しい回答を保持しながら、より少ないコンピュータメモリを使用し、数千の重複した断片を排除できることを見出しました。また、一部のデータセットでは、ツールの使用方法を記述するルールリストが非常に多くのスペースを占有するため、実際の会話をウィンドウの外に押し出していることも発見しました。特定の呼び出しに必要な部分のみを示すようにこれらのルールリストを簡略化することで、より多くの有用な例を学習プロセスに適合させることができました。
最後に、研究者たちは、データの準備に使用される多くの開発者が用いるソフトウェアのコードを調査し、広く使われているバージョンに隠れたエラーがあることを発見しました。このエラーにより、ソフトウェアは大量のデータを処理する際に、テキストの一部を誤って繰り返したり、単語の順序を混ぜ合わせたりしてしまい、元の会話とは全く一致しない情報のストリームを作り出していました。この発見は、問題がデータそのものにあるだけでなく、それを準備するためのツールにもあることを浮き彫りにしています。本論文は、学習データの構築方法が、データそのものと同じくらい重要であると結論付けています。もし準備の過程でツールの出力とモデルの回答との接続が切れてしまうならば、どれほど多くのデータを見せたとしても、モデルがツールを正しく使うことを学ぶことはできません。研究者たちは、将来の学習システムにおいて、回答に必要なコンテキストが、モデルが学習する際に実際に存在していることを検証しなければならないと強く求めています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。