Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation
Diese Arbeit zeigt, dass „Evidence Locking“ – ein Workflow, bei dem LLM-Richter Beweise in einem separaten Aufruf extrahieren und persistieren, bevor sie ein endgültiges Urteil fällen – die Evaluierungsleistung im Vergleich zum strukturierten One-Call-Judging signifikant verschlechtert, indem es die Übereinstimmung mit menschlichen Präferenzen verringert und die Antwortreihenfolge-Inkonsistenz erhöht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt den Tatort selbst zu untersuchen, sind Sie gezwungen, einen Polizeibericht zu lesen, der von jemand anderem verfasst wurde. Sie müssen entscheiden, wer der Täter ist, ausschließlich basierend auf dieser schriftlichen Zusammenfassung. Das ist die Welt der „AI Judges“. Im Bereich der künstlichen Intelligenz bitten wir oft intelligente Computermodelle, als Schiedsrichter zu fungieren und zu entscheiden, welche von zwei Antworten besser ist. Normalerweise betrachten diese KI-Richter die ursprünglichen Antworten und die Frage gleichzeitig und treffen eine schnelle Entscheidung. Aber vor kurzem wurde eine neue Idee populär: „Lassen Sie die KI zuerst ihre Gründe aufschreiben!“ Die Hoffnung war, dass es fairer, logischer und schwerer zu täuschen wäre, wenn die KI ihre Überlegungen erklären und Beweise sammeln müsste, bevor sie einen Gewinner auswählt. Es ist so, als würde man einen Schüler bitten, seinen Rechenweg bei einer Mathearbeit aufzuzeigen, bevor man ihm die Note gibt. Aber was, wenn diese schriftliche „Arbeit“ eigentlich nicht ausreicht, um das Problem zu lösen? Was, wenn der Akt des Einfrierens dieser schriftlichen Notiz und das Wegwerfen der ursprünglichen Antworten die KI tatsächlich schlechter in ihrer Arbeit macht?
Dieses Papier mit dem Titel „Evidence Lock Before Commitment“ untersucht genau diese Frage. Der Forscher Divyansh Singh von der University of Florida wollte einen spezifischen Arbeitsablauf testen, den viele Menschen gerade zu nutzen begannen. Er stellte die Frage: Wenn wir eine KI dazu zwingen, ihre Beweise in einem Schritt aufzuschreiben, diese Notiz zu speichern und dann nur diese Notiz einem zweiten Schritt zur endgültigen Entscheidung zu geben (ohne ihr zu erlauben, die ursprünglichen Antworten erneut zu sehen), trifft sie dann immer noch gute Entscheidungen? Er testete dies mit zwei sehr intelligenten KI-Modellen, Claude Sonnet 4.5 und GPT-5, in 24.000 verschiedenen Szenarien der Beurteilung.
Die Ergebnisse waren ein wenig schockierend. Der Forscher fand heraus, dass diese „Evidence Lock“-Methode die KI-Richter tatsächlich schlechter machte. Wenn die KI gezwungen war, sich nur auf ihre eingefrorenen Notizen zu verlassen, stimmte sie 4 bis 6 Prozentpunkte seltener mit menschlichen Präferenzen überein als wenn sie die ursprünglichen Antworten einfach direkt betrachten konnte. Zudem wurde sie viel stärker durch die Reihenfolge der Präsentation der Antworten verwirrt und wurde 8 bis 10 Prozentpunkte häufiger inkonsistent. Interessanterweise funktionierte es völlig gut, die KI einfach darum zu bitten, Beweise aufzuschreiben, während sie noch die ursprünglichen Antworten betrachtete (eine „strukturierte One-Call-Methode“). Das Problem war nicht das Schreiben; das Problem war das „Einfrieren“. Durch das Einfrieren der Beweise und das Abschneiden des Zugriffs auf die Quelle verlor die KI die Fähigkeit, das gesamte Bild zu sehen. Das Papier legt nahe, dass es zwar großartig ist, eine schriftliche Aufzeichnung für die Prüfung und spätere Kontrolle der Arbeit zu führen, diese aber nicht den ursprünglichen Quellstoff ersetzen sollte, wenn die endgültige Entscheidung getroffen wird. Die „eingefrorene Schnittstelle“ verschlechtert die Qualität des Urteils und beweist, dass man manchmal den Tatort wirklich selbst sehen muss und nicht nur den Bericht liest.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.