StableEval Arena: A Cost-Aware Agentic Benchmark for Stablecoin Price Stability Prediction
StableEval Arena ist ein kostenbewusstes Benchmark-Framework, das LLM-gestützte agentische Systeme bei der Vorhersage von Stablecoin-Peg-Risiken evaluiert, indem es ein gemeinsames Spektrum aus Prognosequalität, operativer Zuverlässigkeit und Rechenkosten misst und dabei aufzeigt, dass Agenten zwar zuverlässig strukturierte Ausgaben erzeugen, jedoch Schwierigkeiten haben, seltene schwere Stressereignisse sowie anhaltende Depeg-Ereignisse präzise vorherzusagen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Kapitän einer gewaltigen Raumschiffflotte und Ihre Laderaumräume sind gefüllt mit „digitalem Gold“, das immer genau einen Dollar wert sein soll. Dies ist nicht irgendein Gold; es ist eine besondere Art von Geld, die man Stablecoin nennt, entworfen, um vollkommen stabil zu bleiben, damit Menschen Kaffee kaufen, Miete bezahlen oder Vermögenswerte handeln können, ohne sich Sorgen machen zu müssen, dass ihr Geld plötzlich verschwinden oder sich verdoppeln könnte. Aber der Haken an der Sache ist: Obwohl diese Münzen eigentlich boringly stabil sein sollten, können sie manchmal Panik bekommen. Wenn der Markt beängstigend wird, kann der Preis schwanken, unter einen Dollar fallen oder sogar völlig abstürzen. Das nennt man „De-Pegging“, und wenn das passiert, ist es, als würde die Treibstoffanzeige Ihres Raumschiffs plötzlich lügen.
Um die Flotte sicher zu halten, brauchen wir einen Ausguck, der Unheil erkennt, bevor es eintritt. In der Vergangenheit haben wir einfache Mathematik oder menschliche Experten genutzt. Aber jetzt gibt es Agentic AI – superintelligente Computerprogramme, die denken, schlussfolgern und eigenständig Entscheidungen treffen können, ganz ähnlich wie ein digitaler Co-Pilot. Die große Frage ist: Können diese KI-Piloten tatsächlich einen besseren Job machen als ein einfaches Regelwerk, um einen Sturm zu erkennen, bevor er aufzieht? Wir müssen wissen, ob sie wirklich vertrauenswürdig sind, und nicht nur, ob sie in der Lage sind, Anweisungen zu befolgen. Wenn eine KI sagt: „Alles klar!“, kurz bevor das Schiff abstürzt, spielt es keine Rolle, wie schnell sie ist oder wie schön ihr Bericht aussieht; es ist ein Versagen.
Genau das testet das Papier „StableEval Arena“. Die Forscher bauten eine riesige, kosteneffiziente Trainingsumgebung (eine „Arena“), um zu sehen, ob diese KI-Agenten vorhersagen können, wann ein Stablecoin kurz davor steht, seinen Dollar-Peg zu verlieren. Sie haben die KI nicht einfach nur gebeten, den zukünftigen Preis zu erraten; sie haben sie gebeten, wie ein Risikomanager zu agieren. Die KI musste sich die letzten 30 Tage der Preisgeschichte und das Marktesuder ansehen und dann vorhersagen, was in den nächsten sieben Tagen passieren würde. Würde die Münze Stabil bleiben? Würde sie in einen Watch-Zustand übergehen (ein wenig wackelig)? Oder würde sie in den Stress-Zustand geraten (eine regelrechte Krise)?
Die Forscher führten zwei verschiedene Arten von Tests durch. Zuer erst erstellten sie eine „Stresstest“-Version mit 120 Fällen, in denen Probleme häufiger vorkamen, nur um zu sehen, ob die KI die Warnsignale erkennen kann, wenn sie direkt vor ihr liegen. Dann führten sie eine „Realwelt“-Version mit 507 Fällen durch, die exakt wie die natürliche Welt aussah, in der Stablecoins normalerweise ruhig sind und nur selten Probleme haben. Sie testeten sechs verschiedene KI-Agenten gegen einige sehr einfache Baselines (wie eine Regel, die besagt: „Gehe davon aus, dass alles in Ordnung ist“, oder ein einfaches mathematisches Modell).
Die Ergebnisse waren eine Mischung aus guten Nachrichten und einer ernsten Realitätsprüfung. Auf der positiven Seite waren die KI-Agenten unglaublich zuverlässig darin, die Regeln zu befolgen. Sie erstellten perfekt formatierte Berichte, stürzten nicht ab und taten dies alles zu einem sehr geringen Preis. Sie waren großartig darin zu sagen: „Hey, heute sieht es etwas wackelig aus.“ Doch wenn es um die wichtigste Aufgabe ging – das Erkennen eines seltenen, katastrophalen Absturzes – verfehlten die KI-Agenten meist ihr Ziel. Im großen Test mit 507 Fällen übersah die KI 19 von 21 tatsächlichen Stressereignissen. Sie waren so gut darin, das Protokoll zu befolgen, dass sie gültige Berichte erstellten, aber diese Berichte sagten oft „Alles klar“, kurz bevor die Münze tatsächlich abstürzte.
Tatsächlich hatte selbst ein einfaches Computerprogramm, das in der Realwelt-Version nur vergangene Trends betrachtete, Schwierigkeiten, die seltenen Abstürze vorherzusagen, und übersah den Großteil von ihnen, genau wie die KI. Die schicken KI-Agenten konnten die klassischen Methoden nicht dominieren oder sie übertreffen; tatsächlich konnte keiner der Agenten die seltenen, hochriskanten Stressereignisse zuverlässig erkennen, auf die es ankam. Das Papier kommt zu dem Schluss, dass diese KI-Agenten zwar exzellent darin sind, gehorsam und effizient zu sein, aber noch nicht vertrauenswürdig genug, um die alleinigen Wächter unseres digitalen Geldes zu sein. Sie können das Skript perfekt befolgen, aber sie haben immer noch Schwierigkeiten, die seltenen, beängstigenden Stürme zu erkennen, auf die es ankommt. Die Forscher schlagen vor, dass wir die KI nicht alleine das Raumschiff steuern lassen sollten, bis sie besser darin wird, diese seltenen, hochriskanten Ereignisse zu erkennen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.