VeriLLM: A Lightweight Framework for Publicly Verifiable Decentralized Inference
VeriLLM ist ein leichtgewichtiges, öffentlich verifizierbares Framework für dezentrale LLM-Inferenz, das durch die Kombination von kostengünstigem empirischem Rerunning mit einer isomorphen Architektur, welche Inferenz- und Verifizierungsrollen auf denselben GPU-Workern multiplext, um Effizienz und Robustheit zu maximieren, die Korrektheit der Ausgaben und Anreizkompatibilität gewährleistet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten ein Team von Fremden aus der ganzen Welt einstellen, um eine Geschichte für Sie zu schreiben. Sie kennen sie nicht und Sie vertrauen ihnen nicht. Sie haben die Sorge, dass sie Abkürzungen nehmen, einen billigeren, qualitativ minderwertigeren Schreibstil verwenden oder einfach alte Geschichten kopieren und einfügen, anstatt neue zu schreiben.
Dies ist das Problem, das VeriLLM löst. Es ist ein neues System, mit dem jeder ein dezentrales Netzwerk von Computern nutzen kann, um leistungsstarke KI-Modelle (wie jene, die Geschichten oder Code schreiben) auszuführen, ohne einem einzelnen großen Unternehmen vertrauen zu müssen.
So funktioniert es, erklärt durch einfache Analogien:
1. Das Problem: Das „Dilemma des faulen Arbeiters“
In einem normalen Rechenzentrum überprüft ein großes Unternehmen seine eigene Arbeit. In einem dezentralen Netzwerk gibt es tausende unabhängige Computer (Arbeiter).
- Das Risiko: Ein Arbeiter könnte versuchen, Stromkosten zu sparen, indem er eine „faule“ Version der KI verwendet oder Schritte überspringt.
- Die alte Lösung: Um zu prüfen, ob die Arbeit erledigt wurde, musste man früher einen anderen Computer die exakt gleiche Arbeit von Grund auf neu ausführen lassen. Das ist so, als würde man einen zweiten Autor einstellen, der die ganze Geschichte noch einmal umschreibt, nur um die erste zu überprüfen. Das ist unglaublich teuer und langsam (als würde man für eine einzige Aufgabe doppelt bezahlen).
2. Die große Idee: Der „Speed-Run“-Trick
VeriLLM nutzt einen cleveren Trick, der darauf basiert, wie KI-Modelle tatsächlich „denken“.
- Die Geschichte schreiben (Inference): Wenn eine KI eine Geschichte schreibt, muss sie Wort für Wort schreiben. Sie kann das letzte Wort nicht schreiben, bevor sie das vorletzte Wort kennt. Dies ist langsam und sequenziell.
- Die Geschichte überprüfen (Verification): Aber wenn Sie die fertige Geschichte bereits haben, müssen Sie sie nicht Wort für Wort neu schreiben, um sie zu überprüfen. Sie können das Ganze auf einmal betrachten.
Die Analogie: Stellen Sie sich einen Schüler vor, der eine Mathearbeit schreibt.
- Der Schüler (Inference): Muss Aufgaben nacheinander, Schritt für Schritt, lösen. Das dauert lange.
- Der Lehrer (Verifier): Hat die fertigen Antworten des Schülers vor sich. Anstatt jede Aufgabe von Grund auf neu zu lösen, kann der Lehrer einfach die fertigen Antworten und die wichtigsten Zwischenschritte auf einen Blick betrachten.
- Das Ergebnis: VeriLLM hat herausgefunden, dass dieser „Speed-Run“-Check 99 % schneller ist als die Arbeit erneut auszuführen. Es kostet nur etwa 1 % der Energie, die Arbeit zu verifizieren, im Vergleich zur Durchführung der Arbeit selbst.
3. Das System des „blind geprüften Inspektors“
Selbst mit dem Speed-Trick stellt sich die Frage: Wie verhindert man, dass ein Arbeiter einfach die Antworten rät? VeriLLM nutzt einen spieltheoretischen Ansatz namens „Commit, Sample, and Reveal“ (Verpflichtung, Stichprobe und Offenlegung).
- Die Verpflichtung (Die Box verschließen): Bevor jemand weiß, was die Antwort ist, muss der Arbeiter seine Ergebnisse in einer digitalen Box „versperren“ (eine kryptografische Verpflichtung/Commitment) und an die Blockchain senden. Er kann den Inhalt später nicht mehr ändern.
- Die Zufallsstichprobe (Die Lotterie): Ein intelligenter Computer (der Scheduler) nutzt eine Zufallslotterie, um nur einige spezifische Seiten oder Sätze aus der Geschichte des Arbeiters auszuwählen, um diese zu prüfen.
- Die Offenlegung: Der Arbeiter muss die Box öffnen und nur diese spezifischen Seiten zeigen.
- Die Prüfung: Das System prüft diese Seiten. Wenn sie mit der Mathematik übereinstimmen, wird der Arbeiter bezahlt. Wenn sie nicht stimmen oder der Arbeiter versucht, die schlechten Seiten zu verbergen, verliert er seine Kaution (eine finanzielle Strafe).
Warum das funktioniert: Da der Arbeiter nicht weiß, welche Seiten ausgewählt werden, bis er seine Arbeit „verschlossen“ hat, kann er nicht nur die Teile fälschen, von denen er glaubt, dass sie geprüft werden. Er muss die gesamte Aufgabe korrekt erledigen.
4. Die „Rollenwechsel“-Regel
Ein schlauer Arbeiter könnte versuchen herauszufinden: „Werde ich gerade gefragt, die Geschichte zu schreiben, oder werde ich gefragt, jemanden anderen zu kontrollieren?“ Wenn er weiß, dass er der Prüfer ist, könnte er versuchen, faul zu sein.
VeriLLM löst dies, indem es die Aufgaben Inference (Schreiben) und Verification (Prüfen) für den Computer identisch aussehen lässt.
- Die Analogie: Stellen Sie sich eine Fabrik vor, in der jeder Arbeiter exakt die gleiche Uniform trägt und dieselbe Maschine benutzt. Manchmal wird die Maschine gebeten, ein Auto zu bauen; manchmal wird sie geboten, ein Auto zu inspizieren. Der Arbeiter (der Computer) hat keine Ahnung, welche Aufgabe er gerade ausführt. Er kann das System nicht durch Faulheit bei der Inspektion „austricksen“, weil er nicht weiß, dass er gerade inspiziert.
5. Umgang mit „unordentlichen“ Computern
Unterschiedliche Computer (GPUs) berechnen Zahlen manchmal aufgrund winziger Hardwareunterschiede leicht unterschiedlich (wie zwei Taschenrechner, die 0,0000001 vs. 0,0000002 anzeigen).
- VeriLLM besitzt einen „Rauschfilter“. Es weiß, dass winzige, zufällige Unterschiede okay sind (wie eine leichte Variation in der Handschrift). Aber wenn die Zahlen völlig unterschiedlich sind (wie ein komplett anderes Wort), erkennt das System, dass etwas nicht stimmt, und schlägt Alarm.
Zusammenfassung
VeriLLM ist ein System, das es der Welt ermöglicht, die Kosten für das Ausführen leistungsstarker KI zu teilen.
- Es macht die Überprüfung der Arbeit billig und schnell (durch den „Speed-Run“-Trick).
- Es macht Betrug unmöglich (durch die „blind geprüfte“ Lotterie).
- Es macht das System fair (indem es verbirgt, wer was tut).
Das Ergebnis ist ein vertrauenswürdiges KI-Netzwerk, in dem Sie nicht einem zentralen Chef vertrauen müssen; Sie müssen nur der Mathematik und dem Code vertrauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.