Diverse LLMs or Diverse Question Interpretations? That is the Ensembling Question
本論文は、大規模言語モデルを用いた二値質問応答において、単一モデルの多様な質問解釈を多数決でアンサンブルする手法が、複数の異なるモデルを多数決でアンサンブルする手法よりも一貫して優れていることを示す。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが「雨量計のサイズは重要か？」といった難しいなぞなぞを解こうとしていると想像してください。この質問を、たった一人の非常に賢い友人に聞くこともできますし、友人全員に聞くこともできます。この論文が問う大きな問題は、**「一つの友人に、このなぞなぞを三つの異なる方法で考えさせる方がよいのか、それとも三人の異なる友人に、このなぞなぞを全く同じ方法で考えさせる方がよいのか」**ということです。
著者であるインテル研究所の研究者たちは、ChatGPT などの背後にある AI の頭脳である大規模言語モデル（LLM）を用いて、この答えを見つけ出そうとしました。彼らはこれを「アンサンブル質問」と呼びます。
二つの戦略
この論文は、「多様性（異なる視点を持つこと）」を用いてより良い答えを得るための二つの方法を比較しています。
1. 「多くの友人」アプローチ（モデルの多様性）
あなたは三人の異なる友人、エイリス、ボブ、チャーリーがいると想像してください。彼らはそれぞれ異なる性格と思考の持ち主です。あなたは彼ら全員に全く同じ質問をします。「雨量計のサイズは重要か？」
- 目的: エイリスが間違えた場合、ボブかチャーリーが正解するかもしれないと期待することです。
- 結果: 論文によると、これはしばしば平均的な答えをもたらすに過ぎません。エイリスが優れていて、ボブはそこそこ、チャーリーはひどい場合、集団投票の結果は通常、中間的などこかに落ち着きます。これは魔法のように、集団を最高の個人よりも賢くするわけではありません。
2. 「一人の友人、三つの帽子」アプローチ（質問解釈の多様性）
あなたはたった一人の友人（GPT-3.5 という非常に賢い AI としましょう）に質問をします。しかし、彼が答える前に、質問を見るための三つの異なる「帽子」やレンズを被るように頼みます。
- 帽子 1（科学者）: 「これは雨量測定の精度にどう影響するか？」
- 帽子 2（エンジニア）: 「これは雨量計のコストと設計にどう影響するか？」
- 帽子 3（環境保護主義者）: 「これは降雨が自然に与える影響についての理解をどう変えるか？」
友人は、それぞれの帽子に合わせて三回質問に答えます。その後、三つの答えに対して投票を行います。 - 目的: AI に質問を異なる角度から見るよう強制することで、単一の直線的な読み方では見逃されるニュアンスを明らかにすることです。
- 結果: このアプローチは一貫して勝利しました。「一人の友人、三つの帽子」の方法は、三人の異なる友人に同じ質問をすることよりも良い答えを生み出しました。
なぜ「一人の友人」アプローチが勝利したのか
論文は、三人の異なるモデル（「多くの友人」アプローチ）に質問することの問題点は、彼らがしばしば同じ間違いを犯すことだと示唆しています。彼らは異なるモデルであっても、類似したデータで訓練されており、類似した「盲点」を共有しています。もし彼らがすべて同じように質問を誤解した場合、その答えに投票しても役には立ちません。
しかし、一つのモデルに質問を異なる方法で解釈させる場合、あなたはそれを通常の思考パターンから抜け出すよう強制していることになります。本質的に、「単に質問に答えよではなく、その質問が何を意味しうるかを考えよ」と言っているのです。これにより、正しい範囲をカバーする可能性が高い多様な答えが生まれます。
「投票」メカニズム
最終的な答えを決定するために、研究者たちは単純な多数決を使用しました。
- 「科学者」が「はい」と答え、「エンジニア」が「はい」と答え、「環境保護主義者」が「いいえ」と答えた場合、最終的な答えは「はい」となります。
- 論文によると、この投票システムは、異なるモデルからの入力よりも、同じ質問の異なる解釈からの入力の方がはるかにうまく機能しました。
結論
この論文は、単純な「はい/いいえ」の質問に答えるためには、一つの AI の頭脳を拡張して質問を複数の方法で考えさせる方が、異なる AI の群れを集めてそれを一つの方法で考えさせるよりも優れていると結論付けています。
それは、暗い部屋で紛失した鍵を探すようなものです。
- モデルの多様性は、三人の異なる人を雇って部屋を探させるようなもので、彼らは全員、指示された場所である同じ隅を眺めます。
- 質問解釈の多様性は、一人の人を雇って部屋を探させるが、鍵を玩具であるかのように、次に道具であるかのように、最後に装飾品であるかのように探すよう指示するようなものです。これにより、彼らは部屋全体をより徹底的にスキャンすることを強制され、鍵を見つける可能性がはるかに高まります。
研究者たちは、この手法を三つの異なる質問セット（一般知識、戦略、医療科学に関するもの）でテストし、「一人の友人、三つの帽子」の方法が「多くの友人」の方法を一貫して凌駕することを確認しました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。