NeuroState-Bench: A Human-Calibrated Benchmark for Commitment Integrity in LLM Agent Profiles
NeuroState-Bench ist ein menschlich kalibriertes Benchmark-Verfahren, das LLM-Agentenprofile mittels Side-Query-Probes bewertet, um die Integrität der Verpflichtung zu messen, und dabei aufdeckt, dass Erfolg bei Aufgaben und Integrität häufig auseinanderlaufen und dass Integritätsrankings unter Ablenkungsstörungen stabiler sind als traditionelle Erfolgsmetriken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen eine persönliche Assistentin ein, um eine komplexe, mehrtägige Reise zu planen. Sie geben ihr eine Liste von Regeln: „Buchen Sie das Hotel mit Meerblick", „Geben Sie nicht mehr als 200 Dollar für das Abendessen aus" und „Denken Sie daran, dass ich allergisch gegen Erdnüsse bin."
Der alte Weg (Nur-Ergebnis-Bewertung):
In der Vergangenheit überprüften wir nur das Endergebnis. Wenn die Assistentin mit einem perfekten Reiseplan zurückkam, der ein Hotel mit Meerblick, ein günstiges Abendessen und keine Erdnüsse enthielt, gaben wir ihr eine „1". Es interessierte uns nicht, wie sie dorthin gelangt war. Vielleicht hatte sie die Erdnussallergie auf halbem Weg vergessen, in Panik geraten und es im allerletzten Moment korrigiert. Vielleicht hatte sie versehentlich das falsche Hotel gebucht, aber es ausgetauscht, weil sie einfach Glück hatte. Solange das finale Papier gut aussah, war die Arbeit erledigt.
Das neue Problem:
Die Autoren dieses Papiers, NeuroState-Bench, argumentieren, dass dieses System der „Endnote" gefährlich ist. In der realen Welt müssen wir wissen, ob die Assistentin die Regeln während des gesamten Prozesses konsistent im Gedächtnis behalten hat. Hat sie die Erdnussallergie beim Mittagessen bestellt im Sinn behalten? Hat sie sich an das Budget gehalten, auch als sie von einem schicken Restaurant verlockt wurde? Wenn sie die Regeln in der Mitte vergaß und sie erst am Ende korrigierte, könnte sie bei einer anderen Reise, bei der sie keine zweite Chance erhält, einen Fehler machen.
Die neue Lösung: Der „Seitenfrage"-Test
Das Papier stellt eine neue Methode vor, um KI-Agenten (intelligente Computerprogramme) zu testen, die NeuroState-Bench heißt. Anstatt nur auf die endgültige Antwort zu warten, stellt dieser Benchmark der KI unterwegs „Seitenfragen".
Stellen Sie sich einen Lehrer vor, der während einer Prüfung durch ein Klassenzimmer geht.
- Die Aufgabe: „Schreiben Sie einen Aufsatz über die Geschichte Roms."
- Die Seitenfrage: „Hey, bevor Sie fertig sind, wie hieß der erste Kaiser, den Sie erwähnt haben?"
Wenn der Schüler einen großartigen Aufsatz schreibt, sich aber nicht an den Namen des Kaisers erinnern kann, wenn er gefragt wird, dann hat er möglicherweise nur das Ende erraten oder es von irgendwoher abgeschrieben. Er hat sich nicht wirklich an die Fakten „gebunden", über die er geschrieben hat.
Wie der Benchmark funktioniert:
- Das Setup: Die Forscher erstellten 144 verschiedene „Szenarien" (wie das Beispiel der Reiseplanung) mit 8 verschiedenen Arten von mentalen Herausforderungen (wie das Erinnern einer Regel, das Ignorieren einer Ablenkung oder das Korrigieren eines Fehlers).
- Die Sonden: Für jedes Szenario fügten sie 306 spezifische „Seitenfragen" (Sonden) hinzu, die entwickelt wurden, um zu prüfen, ob die KI weiterhin an den ursprünglichen Regeln festhält.
- Die menschliche Prüfung: Menschen überprüften diese Tests, um sicherzustellen, dass die Fragen fair waren und die Schwierigkeitsgrade genau waren. Sie stellten fest, dass Menschen und die KI in Bezug darauf, was „schwierig" und was „einfach" war, sehr stark übereinstimmten.
- Die Punktzahl: Sie berechneten eine neue Punktzahl namens HCCIS-CORE. Diese Punktzahl misst die „Verpflichtungsintegrität". Sie fragt: Ist die KI den Regeln treu geblieben, die sie zu befolgen versprochen hatte, auch wenn die Dinge verwirrend wurden?
Die überraschenden Ergebnisse:
Als sie 32 verschiedene KI-Modelle testeten (einige klein, einige sehr groß und leistungsstark), stellten sie etwas Schockierendes fest:
- Der „beste" Schüler ist nicht der „ehrlichste" Schüler: Die KI, die die meisten korrekten Endantworten erhielt, war nicht diejenige, die den Regeln am konsistentesten folgte.
- Rangfolge-Umkehrung: Wenn man die KI-Modelle nach ihren Endantworten rangierte, ging der erste Platz an ein Modell. Aber wenn man sie nach ihrer „Verpflichtungsintegrität" (wie gut sie an den Regeln festhielten) rangierte, fiel dasselbe Modell nach unten, und ein anderes Modell übernahm den ersten Platz. Tatsächlich änderten 31 von 32 Modellen ihre Rangfolge, wenn man von der Bewertung der „Endantwort" zur Bewertung der „Verpflichtung" wechselte.
- Ablenkungen: Als die Forscher „Ablenkungen" (verwirrende zusätzliche Informationen) hinzufügten, brachen die Modelle, die gut darin waren, die richtige Endantwort zu erhalten, zusammen. Die Modelle mit hoher „Verpflichtungsintegrität" blieben jedoch stabil. Sie waren besser darin, das Rauschen zu ignorieren und am Plan festzuhalten.
Was das bedeutet (laut dem Papier):
Das Papier kommt zu dem Schluss, dass das Erhalten der richtigen Antwort am Ende nicht ausreicht, um zu beweisen, dass eine KI zuverlässig ist. Eine KI kann versehentlich die richtige Antwort erhalten, während sie in der Mitte den Überblick über die Regeln völlig verliert.
Die Autoren haben diesen Benchmark als „Stresstest" für die Ehrlichkeit und Konsistenz von KI entwickelt. Sie behaupten nicht, eine neue, intelligentere KI gebaut zu haben; sie haben ein besseres Lineal gebaut, um zu messen, ob eine KI tatsächlich das tut, was sie sagt, dass sie tut.
Was sie NICHT behauptet haben:
- Sie haben nicht behauptet, dass dies ein medizinisches Instrument oder eine Methode zur Diagnose menschlicher Hirnprobleme ist (trotz des „Neuro" im Namen geht es um KI-„mentale Zustände", nicht um menschliche Biologie).
- Sie haben nicht behauptet, dass ihre neue Bewertungsmethode perfekt ist oder dass sie die Zukunft immer vorhersagen wird.
- Sie haben ausdrücklich erklärt, dass ihre „neuronalen" (hirnähnlichen) Ergänzungen den Score tatsächlich nicht viel verbessert haben, und haben sich daher für die einfachere, vom Menschen kalibrierte Version entschieden.
Kurz gesagt:
NeuroState-Bench ist ein neuer Reportcard für KI. Es hört auf, nur auf die Endnote zu schauen, und beginnt, die Hausaufgabennotizen zu überprüfen, um zu sehen, ob der Schüler die ganze Zeit wirklich aufmerksam war. Es stellt sich heraus, dass die KI mit der besten Endnote oft nicht diejenige war, die am meisten Aufmerksamkeit schenkte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.