Enhancing Human-Like Responses in Large Language Models

あなたは、天才的で百科事典のような知識を持つ図書館の助手を持っていると想像してください。この助手は、フランスの首都から星の化学組成に至るまで、世界のほぼすべての質問に対する答えを知っています。しかし、一つ問題があります。その助手は、教科書を読み上げるロボットのように話すのです。例えば、「人工知能として、私には個人的な経験はありません」や「その情報を提供することはできません」といった言い方をします。これらは正確ではありますが、冷たく、硬く、少し退屈に感じられます。

この論文は、その硬い図書館の助手に、すでに持っている知識を忘れることなく、温かくフレンドリーな人間のようにチャットする方法を教えることについて書かれています。

以下は、その方法を簡単なステップに分解した物語です。

1. 問題点： 「ロボット」の声

研究者たちは、強力なAIモデル（Llama、Qwen、Mistralなど）からスタートしました。これらのモデルは非常に賢いのですが、フォーマルで精密であるように訓練されています。例えば、「これまでに受けた最高のアドバイスは何ですか？」と尋ねると、「私はAIであり、アドバイスを受けることはありません」と答えるかもしれません。これは会話の流れを止めてしまいます。目標は、数学の難問を解いたり複雑な質問に答えたりする能力を維持したまま、コーヒーを飲みながらおしゃべりしている本物の人間のような雰囲気を持たせることでした。

2. 解決策： 「人間らしい」教科書の作成

AIに人間らしく振る舞う方法を教えるために、研究者たちは特別な教科書を必要としました。しかし、何百万もの実際の人間同士のチャットデータを持っていたわけではないため、さらに賢いAI（Llama 3 405B）を教師として使い、合成データセット（架空ではあるが現実的なデータの集まり）を構築しました。

• 教師の仕事： 大きなAIに対し、質問（例：「あなたの好きな趣味は何ですか？」）を生成し、さらにそれぞれの質問に対して2つの異なる回答を書くよう指示しました。
  • 回答A（選ばれた「人間」）： この回答は自然で、温かく、会話的です。「ああ、ハイキングが大好きです！祖母が自然を愛することを教えてくれたんです……」といった具合です。
  • 回答B（拒絶された「ロボット」）： この回答は硬く、形式的です。「私はAI言語モデルです。趣味はありませんが、ハイキングの利点について議論することは可能です……」といった具合です。
• 結果： 彼らは、AIが「退屈なロボット」の回答と「フレンドリーな人間」の回答の違いを識別できるように学習するための、10,884個の膨大な例を作成しました。

3. トレーニング： AIに「選択」を教える

この特別な教科書ができたら、彼らは**直接選好最適化（DPO: Direct Preference Optimization）**と呼ばれる手法を用いました。これは、犬の訓練に似ています。

• あなたは犬に、おやつ（「人間」の回答）と石（「ロボット」の回答）を見せます。
• そして、「おやつを選んだから、いい子だ！」と言います。
• 時間が経つにつれ、犬はおやつこそが欲しいものだと学習していきます。

この場合、AIは「人間」の回答こそが、自分が目指すべき「ご褒美」であることを学びました。彼らは**LoRA（Low-Rank Adaptation）**という手法を使用しました。これは、AIの脳に付箋を貼るようなものです。AIの脳全体を書き換える（それは時間がかかり、リスクも高い）代わりに、性格を微調整するための付箋を追加しました。これにより、フレンドリーさを学ぶ過程で、数学のスキルや一般的な知識を忘れてしまうことがないようにしました。

4. 結果： 効果はあったのか？

研究者たちは、新しい「人間らしい」モデルを、元の「ロボット」モデルと比較テストしました。

• 人間の投票： 実在の人々（主に高校生や大人）にゲームをしてもらいました。彼らに、どちらのAIが書いたものか明かさない状態で、2つの回答を並べて見せました。参加者は、より人間らしく聞こえる方を選ばなければなりませんでした。
• スコア： 新しいモデルは、**89%から90%**の確率で勝利しました！人々はフレンドリーで会話的な回答を好み、「AIとして……」で始まる回答を嫌いました。
• 脳のテスト： また、難しい論理や数学のテストを与えて、AIが「バカ」になっていないかもテストしました。結果は、AIは以前とほぼ変わらずに賢いままであることを示しました。単に、より感じよく話せるようになっただけなのです。唯一のわずかな低下は、厳格なフォーマットに従うルールをチェックするために特別に設計されたテストで見られましたが、これはより自然になるための小さな代償といえます。

5. 課題（限界）

著者たちは、実験の欠点についても正直に述べています。

• 「偽の」データ： 学習データにAIを使用したため、それは完全にリアルというわけではありません。別のロボットが書いた本を読んで言語を学んでいるようなもので、現実の人間生活の、より混沌とした細かなニュアンスを見落としている可能性があります。
• 投票者： 回答に投票した人々は、主に英語を第一言語としない若い学生たちでした。これが、彼らが何を「人間らしい」と見なすかに影響を与えた可能性があります。

6. 警告（倫理）

論文は深刻な注意喚起で締めくくられています。もしAIがあまりにも人間らしく聞こえすぎると、人々はそれが機械であることを忘れてしまうかもしれません。

• 透明性： 著者らは、人々が騙されたり、不健康な感情的愛着を形成したりしないよう、AIは常に「私はロボットです」とはっきりと明示しなければならないと主張しています。
• バイアス： もしAIが人間を模倣しすぎると、データに含まれる人間の偏見やバイアスを誤ってコピーしてしまう可能性があります。

まとめ

要約すると、この論文は、非常に賢いが硬いAIを取り、特別な「味覚テスト」のようなトレーニング方法を用いてフレンドリーな人間のようにチャットすることを教え、問題を解く賢さを損なうことなく、より楽しく会話できるものにできることを示しています。彼らは、新しい「フレンドリーな」モデルとトレーニングデータをオンラインで公開しており、他の人々が利用できるようになっています。