Think in English, Answer in Korean: Efficient Adaptation of Multilingual Tool-Using Agents
本論文は、CohereとLG CNSによって開発されたハイブリッド推論モデルであるLuckyStar 111Bを紹介するものであり、これは特定のファインチューニングおよび量子化戦略を通じて、事後学習済みの多言語ベースモデルを韓国語・英語のエンタープライズエージェント向けに効率的に適応させ、メモリ制約下での一般的な指示追従品質を維持しつつ、ファンクションコーリングやNL2SQLといったツール利用能力を大幅に向上させたものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、LuckyStarという名の、非常に優秀でマルチリンガルなアシスタントを想像してみてください。このアシスタントは巨大（1110億の「脳細胞」またはパラメータ）で、大企業のために働いています。課題は、企業がこのアシスタントに対して、複雑な数学の問題を解いたり、コンピュータコードを書いたり、データベース（SQLなど）と対話したりできるほど賢い能力を求める一方で、動作が速く、運用コストが安く、かつ韓国語と英語の両方を混乱することなく流暢に話せることを求めていたことです。
研究者たちがどのようにLuckyStarを構築し、調整したのか、その物語を分かりやすく説明します：
1. 出発点：スマートなベース
ゼロから新しい脳を作り上げる（これは赤ん坊に読み書きをゼロから教えるようなものです）代わりに、彼らはすでに非常に賢く学習済みのモデルであるCommand Aからスタートしました。これは、韓国語と英語の両方で指示に従うことを完璧に理解している「シニア社員」を雇うようなものだと考えてください。彼らに必要だったのは、いくつかの新しい、特定の職務スキルを教えることだけでした。
2. 「スイッチ」のトリック：ハイブリッド・リーズニング（推論）
最大の革新は、簡単な「プリアンブル」（会話の冒頭にある短い指示）によって制御されるメンタル・スイッチをアシスタントに与えたことでした。
- モードA（スプリンター）： 「今日の天気は？」のような単純な質問をされた場合、スイッチはモデルに対して、素早く簡潔に応答するように指示します。
- モード B（探偵）： 難しい数学の問題や複雑なデータベース・クエリを求められた場合、スイッチはモデルに対し、答えを出す前に多くのステップを踏んで「思考を言語化（思考プロセスを書き出す）」するように指示します。
- なぜこれが重要なのか： 二つの異なるロボットを用意する必要はありませんでした。一つのロボットが、プロンプトに基づいて「考え方」を変えるだけで、両方の仕事を完璧にこなせるのです。
3. 言語のパズル：英語で考え、韓国語で話す
トレーニング中、彼らは奇妙な不具合に気づきました。モデルに韓国語で質問すると、モデルは韓国語で考え始めるのですが、途中で誤って英語で回答を終えてしまうことがよくあったのです。それは、フランス語で勉強しているのに、最終的なエッセイをスペイン語で書いてしまう学生のようなものでした。
これを修正するために、彼らは巧妙な戦略を用いました：
- 数学や論理学のトレーニングデータは主に英語であったため、モデルには英語で考える（複雑な推論を行う）ように教えました。
- しかし、最終的な回答をユーザーの言語で話さない場合は、厳しく罰を与えました。
- 結果： モデルは、内部的な「探偵としての仕事」は英語で行いながらも、最終的なレポートは常にユーザーが求めた言語で提出することを学習しました。
4. 「ツール」トレーニング：データベースの使い方を学ぶ
アシスタントに「エージェンティック（自律的）」なタスク（SQLデータベースなどのツールを使うこと）を習得させるには、非常に慎重に行う必要がありました。
- コールドスタート問題： 最初、モデルはデータベース・クエリを書くのが非常に下手でした。それは、ハンドルを握ったこともない人に、レーシングカーの運転を教えようとするようなものです。
- 解決策： 彼らは「試行と拒絶（try and reject）」という手法を用いました。何千もの可能な回答を生成し、どれが実際に機能するか（検証可能か）をチェックし、正しいものだけをモデルにフィードバックして学習させました。これにより、高度なトレーニングを開始する前に強固な基礎を築きました。
5. 「おしゃべり」問題：黙ることを学ぶ
モデルに優れた探偵であることを教えた後、モデルは少し喋りすぎてしまいました。単に「はい」か「いいえ」が欲しいだけなのに、長々と説明を始めてしまうことがあったのです。
- 解決策： 彼らは**プレファレンス・アライメント（好みの調整）**という手法を用いました。モデルに対して「良くて簡潔な回答」と「悪くて冗長な回答」の例を見せ、「短い方を好む」と伝えました。これにより、モデルは迷惑にならない程度に、役に立つ存在へと調整されました。
6. ハードウェアのハック：浴槽の中にクジレを収める
このモデルは巨大です（1110億パラメータ）。通常、これを動かすには巨大で高価なスーパーコンピュータが必要です。
- トリック： 彼らは4ビット量子化を用いました。これは、高解像度の写真を、見た目は完璧に認識できるまま、ファイルサイズを半分にするほど圧縮するようなものです。
- 結果： これにより、この巨大な1110億パラメータのモデルを、品質を大きく損なうことなく、単一の標準的なグラフィックスカード（H100 GPU）で実行できるようになりました。これにより、企業が実際に利用するためのコストが大幅に下がり、容易になりました。
結果のまとめ
最終的なモデルであるLuckyStar 111Bは、実用的なバイリンガル（韓国語/英語）エージェントであり、以下のことが可能です：
- 元のベースモデルよりも優れた数学および論理問題を解決する。
- データベースと対話し、ツールを効果的に使用できる。
- 別の言語で考えていても、ユーザーの言語を正しく話す。
- 単一のサーバーで実行でき、コストを節約できる。
論文は、エンタープライズ（企業）での利用において、必ずしもゼロから完璧な新しいモデルを作る必要はないと結論付けています。代わりに、スマートな既存のモデルを取り込み、異なるタスクのための「スイッチ」を与え、ツールを慎重に使うよう教え、効率的に動作させるために圧縮すればよいのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。