Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents
Dieser Artikel stellt Foresight Arena vor, eine erlaubnisfreie, on-chain-Benchmark, die KI-Prognoseagenten auf realen Vorhersagemärkten mithilfe vertrauensloser Smart Contracts und ordentlicher Scoring-Regeln bewertet, um die Vorhersagegenauigkeit rigoros zu messen und gleichzeitig Overfitting sowie Datenkontamination zu verhindern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, digitale Arena vor, in der KI-„Kristallkugeln" darum konkurrieren, die Zukunft zu sehen. Diese Arbeit stellt die Foresight Arena vor, eine neue Methode, um zu testen, ob Künstliche Intelligenz tatsächlich gut darin ist, reale Ereignisse vorherzusagen, oder ob sie nur rät.
Hier ist die Aufschlüsselung, wie es funktioniert, unter Verwendung einfacher Analogien.
1. Das Problem: Warum alte Tests fehlerhaft waren
Bevor dies eingeführt wurde, hatten Tests von KI-Prognosemodellen drei große Mängel:
- Das „Spickzettel"-Problem: Alte Tests verwendeten statische Fragen (wie einen festen Quiz). KI-Modelle hatten die Antworten möglicherweise bereits während ihres Trainings gesehen, daher sagten sie nicht wirklich „vorher"; sie erinnerten sich lediglich.
- Das „Schiedsrichter"-Problem: Die meisten Tests verließen sich auf einen Menschen oder ein zentrales Unternehmen zur Punktevergabe. Wenn dieser Schiedsrichter voreingenommen war oder gehackt wurde, waren die Ergebnisse gefälscht.
- Das „Händler vs. Seher"-Problem: Einige Tests maßen, wie viel Geld eine KI durch Wetten auf Ereignisse verdiente. Doch Geld zu verdienen hängt nicht nur davon ab, recht zu haben; es kommt darauf an, wann man wettet und wie viel man riskiert. Eine KI könnte schrecklich darin sein, die Zukunft vorherzusagen, aber dennoch Geld verdienen, indem sie ein glücklicher Spieler ist.
2. Die Lösung: Ein vertrauensloses, digitales Stadion
Die Foresight Arena behebt dies, indem sie den Test auf einer Blockchain (ein öffentliches, unveränderliches digitales Hauptbuch) aufbaut.
- Das „Commit-Reveal"-Spiel: Stellen Sie sich ein Pokerspiel vor, bei dem Sie Ihren Tipp auf ein Stück Papier schreiben, es in einen Umschlag versiegeln und auf den Tisch legen müssen, bevor jemand anders ihn sehen kann. Erst nachdem alle ihre Tipps versiegelt haben, öffnen Sie die Umschläge. Dies verhindert, dass KI-Agenten betrügen, indem sie zuerst sehen, was andere geraten haben.
- Die „Kein-menschlicher-Richter"-Regel: Die Ergebnisse werden nicht von einer Person entschieden. Sie werden automatisch aus einem öffentlichen, dezentralisierten System (Polymarket/Gnosis) gelesen. Wenn das Ereignis eintritt, weiß es die Blockchain. Niemand kann die Punktzahl im Nachhinein ändern.
- Die „Freier Eintritt"-Regel: Jeder (oder jede KI) kann ohne Erlaubnis teilnehmen.
3. Die Wertungstabelle: Messen von „Wahrheit" vs. „Glück"
Anstatt Geld zu zählen, verwendet die Arena eine spezielle mathematische Formel namens Brier Score.
- Die Analogie: Denken Sie an einen Wettervorhersager. Wenn er sagt: „Es gibt eine 90-prozentige Wahrscheinlichkeit für Regen" und es regnet, erhält er eine gute Punktzahl. Wenn er 90 % sagt und es sonnig ist, erhält er eine schlechte Punktzahl. Die Punktzahl misst, wie nah ihr Vertrauen an die Realität herankam.
- Der „Alpha Score" (Der Vorteil): Dies ist das Geheimnis der Arbeit. Sie fragt nicht nur: „Hatten Sie recht?" Sie fragt: „Waren Sie mehr im Recht als die Menge?"
- Stellen Sie sich eine Menge von 1.000 Personen vor, die den Gewinner eines Sportspiels erraten. Der „Marktkonsens" ist der durchschnittliche Tipp dieser Menge.
- Wenn eine KI genauso tippt wie die Menge, ist ihre Punktzahl null.
- Wenn die KI anders tippt und sich als richtig herausstellt, erhält sie eine positive Punktzahl. Dies beweist, dass die KI ein Stück Information fand, das der Menge entgangen war.
4. Das Experiment: Wer gewann?
Die Autoren führten einen Live-Test über 50 Runden durch, an dem fünf erstklassige KI-Modelle (von Unternehmen wie Anthropic, OpenAI, Google usw.) und eine „Zufalls-Basislinie" (ein Computer, der zufällig Zahlen rät) teilnahmen.
Die Ergebnisse:
- Die Zufallsratenden: Sie fielen kläglich durch, was beweist, dass der Test funktioniert.
- Die Top-KI-Modelle: Drei Modelle (Claude, GPT und Gemini) schnitten leicht besser ab als die Menge, aber der Unterschied war winzig. Es war wie ein Rennen, bei dem die Top drei Läufer innerhalb eines Bruchteils einer Sekunde voneinander ins Ziel kamen. Der Test war nicht lang genug, um mit Sicherheit zu sagen, wer der absolut Schnellste war.
- Die „Kopier"-Modelle: Zwei Modelle (Grok und GLM) versuchten zu erraten, was die Menge dachte, fügten jedoch etwas „Rauschen" (zufällige Fehler) hinzu. Sie schnitten tatsächlich schlechter ab als das perfekte Kopieren der Menge. Dies ist ein zentrales Ergebnis: Es schadet Ihrer Punktzahl, wenn Sie versuchen, sich leicht von der Menge zu unterscheiden, ohne tatsächlich schlauer zu sein.
5. Die „Anatomie" einer guten Vorhersage
Die Arbeit zerlegt, warum eine KI gewinnt oder verliert, mithilfe einer „Murphy-Zerlegung" (eine ausgefallene Art, eine Punktzahl auseinanderzunehmen):
- Auflösung (Die „Schärfe"): Kann die KI den Unterschied zwischen einem wahrscheinlichen und einem unwahrscheinlichen Ereignis erkennen? Die Gewinner waren „schärfer" als die Menge.
- Zuverlässigkeit (Die „Ehrlichkeit"): Wenn eine KI eine „70-prozentige Wahrscheinlichkeit" angibt, passiert es dann in 70 % der Fälle? Die Gewinner waren sehr ehrlich bezüglich ihres Vertrauens.
- Die Lehre: Um den Markt zu schlagen, müssen Sie schärfer sein als die Menge. Nur „ruhig" oder „ehrlich" zu sein, reicht nicht aus, wenn Sie Dinge nicht sehen, die der Menge entgangen sind.
6. Die große Erkenntnis
Diese Arbeit baute ein dauerhaftes, unveränderliches Reputationssystem für KI.
- In der Vergangenheit konnte ein KI-Unternehmen behaupten: „Unsere KI ist der beste Prognostiker!" und Ihnen eine selbstgemachte Tabelle vorlegen.
- Jetzt hat eine KI mit der Foresight Arena eine öffentliche, nicht fälschbare Erfolgsbilanz auf der Blockchain. Sie können die Geschichte selbst überprüfen.
Das Fazit:
Die Arbeit kommt zu dem Schluss, dass zwar aktuelle KI-Modelle deutlich besser sind als zufälliges Raten, sie sich derzeit jedoch sehr nahe an der „kollektiven Weisheit" der menschlichen Menge befinden. Um zu beweisen, dass eine KI wirklich überlegen ist, müssen wir diese Tests viel länger laufen lassen (hunderte von Runden, nicht nur 50), um zu sehen, ob sich die winzigen Unterschiede zu einem klaren Gewinner summieren.
Was die Arbeit NICHT behauptet:
- Sie sagt nicht, dass diese KIs den Aktienmarkt für Gewinn vorhersagen können (das ist ein anderes Spiel).
- Sie sagt nicht, dass diese KIs bereit sind, Regierungen oder Krankenhäuser zu leiten.
- Sie behauptet nicht, dass die aktuellen Ergebnisse das letzte Wort sind; sie stellt ausdrücklich fest, dass der Test länger laufen muss, um die Top-Performer zu trennen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.