On Randomness in Agentic Evals
Die Studie widerlegt die Annahme, dass ein einzelner Lauf für die Bewertung agenter Systeme ausreicht, und zeigt, dass erhebliche Zufallsvarianz selbst bei Temperatur 0 zu irreführenden Ergebnissen führt, weshalb für zuverlässige Vergleiche mehrere unabhängige Durchläufe und statistisch fundierte Metriken erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du bist ein Chef, der entscheiden muss, welcher von zwei neuen Mitarbeitern (den KI-Agenten) besser ist. Du gibst ihnen eine Aufgabe: „Repariere diesen kaputten Code."
Das Problem ist: Die meisten Forscher messen die Leistung dieser Mitarbeiter nur ein einziges Mal. Sie lassen den Mitarbeiter die Aufgabe einmal lösen, schauen, ob es geklappt hat, und schreiben das Ergebnis auf. Wenn Mitarbeiter A bei diesem einen Versuch erfolgreich war und Mitarbeiter B nicht, dann ist A der Gewinner.
Dieses Papier von Bjarni, André und Martin sagt jedoch: „Das ist ein riesiger Fehler!"
Hier ist die einfache Erklärung, was sie herausgefunden haben, mit ein paar anschaulichen Vergleichen:
1. Das Würfel-Problem (Warum ein Versuch nicht reicht)
Stell dir vor, du willst testen, ob ein neuer Würfel fair ist. Du wirfst ihn einmal und er zeigt eine 6. Ist er jetzt perfekt? Nein. Vielleicht war es nur Glück. Wenn du ihn 100 Mal wirfst, siehst du das echte Bild.
Die Forscher haben genau das mit KI-Agenten gemacht. Anstatt sie nur einmal eine Aufgabe lösen zu lassen, haben sie 60.000 Versuche durchgeführt (jeder Agent hat jede Aufgabe 10 Mal gelöst).
Das Ergebnis: Es ist ein riesiges Chaos!
- Manchmal schafft ein Agent eine Aufgabe beim ersten Versuch.
- Beim nächsten Versuch (mit genau demselben Code und derselben Aufgabe) scheitert er komplett.
- Der Unterschied im Erfolg zwischen einem „glücklichen" Versuch und einem „unglücklichen" Versuch lag bei 2 bis 6 Prozentpunkten.
Das bedeutet: Wenn ein neuer KI-Modell-Entwickler behauptet: „Mein Modell ist um 3 % besser als das alte!", könnte das einfach nur bedeuten, dass er beim Testen glücklicher gewürfelt hat. Es ist vielleicht gar keine echte Verbesserung, sondern nur Zufall.
2. Der Schmetterlingseffekt (Warum alles so schnell schiefgeht)
Warum passiert das? Die Forscher haben sich genau angesehen, wann die KI anfängt, verschiedene Wege zu gehen.
Stell dir vor, zwei Agenten starten eine Reise. Sie gehen beide den ersten Schritt gemeinsam. Dann, nach nur wenigen Schritten (oft schon im ersten Prozent der Reise), entscheidet sich einer, links abzubiegen, der andere rechts.
- Der kleine Unterschied: Vielleicht sagt der eine KI-Agent: „Ich schaue in Datei A nach" und der andere: „Ich schaue in Ordner B nach".
- Die Kettenreaktion: Weil die KI sich an alles erinnert, was sie vorher gesagt hat (wie ein Gespräch), führt diese winzige Entscheidung sofort zu einem völlig anderen Gesprächsverlauf.
- Das Ergebnis: Am Ende landet einer beim Ziel und der andere in einer Sackgasse.
Das ist wie beim Schmetterlingseffekt: Ein kleiner Flügelschlag (ein einziges Wort) am Anfang führt zu einem riesigen Sturm am Ende. Und das passiert oft schon, bevor die KI überhaupt angefangen hat, echte Arbeit zu leisten.
3. Das „Beste" und das „Schlechteste" Szenario
Die Forscher haben auch geschaut, wie gut die KIs wären, wenn wir ihnen mehr Chancen geben würden.
- Pass@1 (Der aktuelle Standard): Wie oft schafft es die KI beim allerersten Versuch? (Oft nur 30–60 %).
- Pass@k (Der Optimist): Wenn wir die KI 5 Mal versuchen lassen, wie oft schafft sie es dann mindestens einmal? (Das ist viel höher, oft 50–75 %).
- Pass^k (Der Pessimist): Wie oft schafft sie es, wenn sie 5 Mal hintereinander erfolgreich sein muss? (Das ist sehr niedrig).
Die Lektion: Die Leistung einer KI hängt extrem davon ab, ob sie beim ersten Wurf Glück hatte. Ein Agent, der heute „gut" aussieht, könnte morgen „schlecht" sein, nur weil er einen anderen Zufallsweg gewählt hat.
Was sollen wir jetzt tun? (Die Lösung)
Die Autoren geben drei einfache Ratschläge, damit wir nicht mehr durch Zufall getäuscht werden:
- Mehrfach testen: Wenn du wissen willst, ob ein KI-Modell wirklich besser ist, lass es die Aufgabe nicht nur einmal, sondern mehrmals (z. B. 10 Mal) lösen. Nimm den Durchschnitt.
- Statistik nutzen: Rechne aus, wie viele Versuche du brauchst, um sicher zu sein, dass ein Unterschied echt ist und nicht nur Glück. (Für kleine Verbesserungen brauchst du viele Versuche!).
- Mehr als nur eine Zahl berichten: Sag nicht nur: „Wir haben 30 % Erfolg." Sag auch: „Wenn wir 5 Versuche machen, schaffen wir 50 % (das ist das Maximum), aber wir schaffen es nur in 15 % der Fälle 5 Mal hintereinander (das ist das Minimum)." So sieht man das ganze Bild.
Fazit
Die Welt der KI-Agenten ist wie ein Wetterbericht. Wenn du nur einen Tag beobachtest, denkst du vielleicht, es sei immer sonnig. Aber wenn du das ganze Jahr beobachtest, siehst du, dass es stürmisch, regnerisch und sonnig sein kann.
Bisher haben wir nur auf einen Tag geschaut und uns für die KI entschieden. Dieses Papier sagt: Schaut auf das ganze Jahr! Nur so können wir echte Fortschritte von reinem Glück unterscheiden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.