VeriLLM: A Lightweight Framework for Publicly Verifiable Decentralized Inference
VeriLLMは、低コストの経験的な再実行と、推論と検証の役割を同一のGPUワーカー上でマルチプレックス化する同型アーキテクチャを組み合わせることで、効率性と堅牢性を最大化しつつ、出力の正確性とインセンティブの適合性を保証する、分散型LLM推論のための軽量で公開検証可能なフレームワークである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、世界中の見ず知らずの人々をチームとして雇い、あなたのために物語を書かせたいと考えています。彼らのことは知りませんし、信頼もしていません。彼らが手抜きをしたり、より安価で質の低い執筆スタイルを使ったり、あるいは新しい物語を書かずに古い物語をコピー＆ペーストしたりするのではないかと心配しています。
これが、VeriLLMが解決する問題です。VeriLLMは、強力なAIモデル（物語やコードを書くようなもの）を実行するために、特定の巨大企業を信頼することなく、分散型コンピューターネットワークを利用できる新しいシステムです。
以下に、シンプルな比喩を用いてその仕組みを説明します。
1. 問題点：「怠慢な労働者」のジレンマ
通常のコンピューターセンターでは、一つの大きな会社が自らの仕事をチェックします。しかし、分散型ネットワークでは、何千もの独立したコンピューター（労働者）が存在します。
- リスク： 労働者が電気代を節約するために、「怠慢な」バージョンのAIを使用したり、工程をスキップしたりしようとする可能性があります。
- 従来の解決策： 彼らが仕事を正しく行ったかを確認するために、以前は別のコンピューターに全く同じ作業を最初からやり直させていました。これは、最初の執筆者の内容をチェックするためだけに、もう一人の作家を雇って物語全体を書き直させるようなものです。これは非常にコストがかかり、時間がかかります（一つのタスクに対して二重に支払うようなものです）。
2. 画期的なアイデア：「スピードラン」のトリック
VeriLLMは、AIモデルが実際にどのように思考するかに基づいた、巧妙なトリックを使用しています。
- 物語を書く（推論/Inference）： AIが物語を書くとき、一語ずつ書いていく必要があります。二番目の単語を知るまで、最後の単語を書くことはできません。これは逐次的で時間がかかるプロセスです。
- 物語をチェックする（検証/Verification）： しかし、もし「完成した物語」がすでに手元にあるなら、わざわざ一語ずつ書き直してチェックする必要はありません。全体を一目で見渡すことができます。
比喩： 数学のテストを受けている学生を想像してください。
- 学生（推論）： 問題を一つずつ、ステップ・バイ・ステップで解かなければなりません。これには長い時間がかかります。
- 先生（検証者）： 学生の解き終わった解答を持っています。先生はすべての問題を最初から解き直す代わりに、最終的な答えと主要なステップをまとめて確認することができます。
- 結果： VeriLLMはこの「スピードラン」によるチェックが、作業を再度実行する場合よりも99%高速であることを発見しました。検証にかかるエネルギーコストは、作業自体のエネルギーのわずか**1%**程度です。
3. 「目隠し検査官」システム
スピードのトリックを使っても、労働者が答えを適当に推測して済ませることをどうやって防ぐのでしょうか？VeriLLMは、**「コミット、サンプリング、および公開（Commit, Sample, and Reveal）」**と呼ばれるゲーム理論のアプローチを使用しています。
- コミットメント（箱に鍵をかける）： 答えが誰にも知られる前に、労働者は結果を「デジタルボックス（暗号学的コミットメント）」の中に封印し、ブロックチェーンに送信しなければなりません。後から中身を変更することはできません。
- ランダム・サンプリング（抽選）： スマートなコンピューター（スケジューラー）がランダムな抽選を行い、労働者の物語の中から、特定の数ページや数文だけを選び出します。
- 公開： 労働者はその箱を開け、指定された特定のページのみを見せなければなりません。
- チェック： システムはそれらのページをチェックします。もし内容が数学的に一致していれば、労働者に報酬が支払われます。もし一致しなかったり、労働者が悪いページを隠そうとしたりした場合は、預け金（デポジット）を没収されます。
なぜこれが機能するのか： 労働者は、作業をロックした後になるまで「どのページが選ばれるか」を知ることができないため、チェックされるであろう部分だけを偽装することができません。彼らは全体を正しく行う必要があります。
4. 「役割の入れ替え」ルール
賢い労働者は、「自分は今、物語を書いているのか、それとも誰かの物語をチェックしているのか？」と探ろうとするかもしれません。もし自分が「チェッカー（検証者）」であると分かれば、手抜きをする可能性があるからです。
VeriLLMは、**推論（書くこと）と検証（チェックすること）**の仕事が、コンピューターにとって全く同じに見えるようにすることで、これを解決します。
- 比喩： すべての労働者が全く同じ制服を着て、全く同じ機械を使っている工場を想像してください。ある時、その機械は車を組み立てるよう命じられます。またある時は、車を検査するよう命じられます。労働者（コンピューター）は、自分がどちらのタスクを行っているのかを知りません。そのため、自分が検査をしているとは知らないため、検査において手抜きをしてシステムを欺くことはできません。
5. 「乱れた」コンピューターへの対処
異なるコンピューター（GPU）は、ハードウェアの微細な違い（例えば、二つの計算機が 0.0000001 と 0.0000002 を表示するような違い）により、数字をわずかに異なる形で計算することがあります。
- VeriLLMには「ノイズフィルター」があります。システムは、微細でランダムな差異（筆跡のわずかな違いのようなもの）は許容範囲内であることを理解しています。しかし、もし数字が大きく異なっている場合（全く別の単語になっている場合など）、それは異常であると判断し、フラグを立てます。
まとめ
VeriLLMは、世界中の人々が強力なAIを動かすコストを共有できるようにするシステムです。
- チェックを安価かつ高速にします（「スピードラン」のトリックを使用）。
- チート（不正）を不可能にします（「目隠し検査官」の抽選を使用）。
- システムを公平にします（役割を隠すことで実現）。
その結果、中央のボスを信頼する必要はなく、数学とコードだけを信頼すればよい、信頼できるAIネットワークが実現します。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。