Stellen Sie sich vor, Sie sind der Leiter einer riesigen Bibliothek, und jeden Tag reichen Tausende von Menschen Geschichten ein, die sie geschrieben haben. Ihre Aufgabe ist es, diese zu lesen, die besten auszuwählen und ihnen Auszeichnungen zu verleihen. In der Welt der künstlichen Intelligenz passiert genau das, wenn Computer versuchen, andere Computer zu beurteilen. Wir nennen das „LLM-as-a-judge“ (LLM als Richter), wobei eine superintelligente KI zwei Antworten liest und den Gewinner auswählt. Es ist zur Standardmethode geworden, um zu testen, wie gut KI-Modelle sind. Aber es gibt ein riesiges Problem: Eine superintelligente KI zu bitten, jede einzelne Geschichte zu lesen, ist unglaublich teuer, langsam und manchmal erfindet die KI Gründe für ihre Entscheidungen, die eigentlich gar keinen Sinn ergeben. Es ist, als würde man einen berühmten, teuren Kritiker engagieren, um jedes einzelne Buch in der Bibliothek zu lesen; irgendwann ist das Geld aufgebraucht, und man kann nicht einmal mehr sagen, ob der Kritiker fair ist oder einfach nur einen schlechten Tag hat.

Hier kommt das neue Paper ins Spiel. Die Forscher stellten eine einfache Frage: Anstatt den berühmten Kritiker zu engagieren, um jedes einzelne Buch zu lesen, was wäre, wenn wir den Kritiker bitten würden, einmalig ein Regelwerk zu schreiben, und dann ein Team aus schnellen, günstigen Robotern erlauben würden, die Bücher basierend auf diesen Regeln zu lesen? Sie nennen dies „Program Distillation“ (Programm-Destillation). Anstatt die teure KI jedes Mal das Denken übernehmen zu lassen, bringen sie ihr bei, eine Reihe von Anweisungen (ein Computerprogramm) zu schreiben, die das Urteil sofort fällen können. Es ist, als würde man einen langsamen, teuren menschlichen Koch in einen schnellen, automatisierten Toaster verwandeln, der jedes Mal perfektes Toast macht, solange man ihm das richtige Rezept gibt. Das Paper zeigt, dass diese neue Methode nicht nur viel schneller und günstiger ist, sondern auch ehrlicher darüber ist, wie sie ihre Entscheidungen trifft, weil man den Code tatsächlich lesen kann, um genau zu sehen, warum sie einen Gewinner ausgewählt hat.

Die große Idee des Papers: Einen Verstand in einen Werkzeugkasten verwandeln

Die Autoren dieses Papers, Tzu-Heng Huang, Shengqi Qiu und Frederic Sala von der University of Wisconsin-Madison, gehen das Problem des „teuren und undurchsichtigen“ KI-Richters an. Sie schlagen ein System namens PAJAMA (Program-As-a-Judge Automated Model Assessment) vor. Betrachten Sie PAJAMA nicht als einen einzelnen Richter, sondern als eine Werkstatt, in der sie ein ganzes Team spezialisierter Werkzeuge bauen, um die Bewertung vorzunehmen.

So geschieht die Magie, Schritt für Schritt:

1. Der einmalige „Gehirn-Dump“
Normalerweise, wenn Sie möchten, dass eine KI ein Paar Antworten beurteilt, müssen Sie die Frage und die Antworten jedes Mal an die KI senden. Das kostet Geld und Zeit. PAJMAMA ändert das Spiel. Anstatt die KI jedes Mal beurteilen zu lassen, schickt man sie nicht für jede Antwort einzeln los, sondern bittet sie, ein Programm (ein Stück Code) zu schreiben, das weiß, wie man urteilt.
Stellen Sie sich vor, Sie haben einen brillanten, aber langsamen Kunstkritiker. Anstatt ihn zu bitten, 10.000 Gemälde einzeln anzusehen, bitten Sie ihn, ein Handbuch für einen Roboter zu schreiben. Das Handbuch besagt Dinge wie: „Wenn das Gemälde einen blauen Himmel hat, gib 5 Punkte. Wenn der Himmel unordentlich ist, ziehe 2 Punkte ab.“ Sobald der Kritiker dieses Handbuch geschrieben hat, brauchen Sie ihn nicht mehr. Sie lassen einfach den Roboter laufen. Das Paper zeigt, dass die KI diese „Urteils-Handbücher“ (Programme) schreiben kann, die überraschend gut darin sind, logische Fehler zu finden, zu prüfen, ob die Geschichte Sinn ergibt oder ob die Antwort zu kurz ist.

2. Das Komitee der Roboter
Ein Roboter könnte schlecht in Mathe, aber großartig in Grammatik sein. Ein anderer könnte gut darin sein, Lügen aufzuspüren, aber schlecht im Stil. Daher erstellt PAJAMA nicht nur ein Programm, sondern ein ganzes Komitee von ihnen. Sie bitten die KI, viele verschiedene Programme zu schreiben, von denen jedes die Antwort aus einem etwas anderen Blickwinkel betrachtet.
Um sicherzustellen, dass diese Roboter nicht alle das Gleiche sagen (was langweilig und nutzlos wäre), geben die Forscher ihnen unterschiedliche „Rubriken“ oder Checklisten. Ein Roboter prüft den logischen Fluss, ein anderer die thematische Konsistenz und ein weiterer das Format. Es ist wie ein Gremium von Richtern, bei dem einer ein Grammatiklehrer ist, einer ein Logikprofessor und einer ein Stilcoach.

3. Der „Konfidenz“-Schalter
Manchmal kommt selbst ein Komitee von Robotern durcheinander. Vielleicht sind die beiden Antworten so ähnlich, dass die Roboter sich nicht entscheiden können. Hier wird PAJAMA clever. Es besitzt einen „Konfidenz-Meter“. Wenn die Roboter sich sicher sind, rufen sie den Gewinner aus. Aber wenn sie unsicher sind oder wenn sie sich alle enthalten (also sagen: „Ich weiß es nicht“), hat PAJAMA einen Plan B. Es schickt diese kniffligen Fälle an die teure, superintelligente KI-Richterin (das „LLM“) – aber nur für diese spezifischen Fragen.
Das ist wie ein Sicherheitswächter in einem Museum. Wenn ein Besucher normal aussieht, lässt der Wächter ihn sofort passieren. Aber wenn jemand verdächtig wirkt, ruft der Wächter den Manager, damit dieser genauer hinsieht. Auf diese Weise bezahlen Sie den teuren Manager nur für die schwierigen Fälle und sparen so eine Menge Geld bei den einfachen.

Was sie herausgefunden haben: Schnell, günstig und überraschend klug

Die Forscher testeten dieses System auf fünf verschiedenen Datensätzen und mit vier verschiedenen Familien von KI-Modellen. Hier ist, was sie entdeckten:

• Geschwindigkeit ist König: Die programmatischen Richter sind unglaublich schnell. Sie können Antworten 47,25-mal schneller verarbeiten als ein Standard-KI-Richter. Während ein regulärer KI-Richter vielleicht eine Sekunde oder zwei zum Nachdenken braucht, erledigen diese Programme es in einem Augenblick, da sie lediglich einfache Mathe- und Logikregeln ausführen und nicht versuchen, wie ein Mensch zu „denken“.
• Die Genauigkeit ist hoch: Obwohl sie schnell und günstig sind, sind sie immer noch sehr gut. Das Team der Programme erreichte im Durchschnitt die Genauigkeit eines großen, 13-milliarden-Parameter-KI-Modells (ein sehr intelligentes Modell). In einigen Fällen war ein kleines Team von nur 8 Programmen so genau wie ein 7-milliarden-Parameter-Modell.
• Der Durchbruch der „Pareto-Frontier“: In der Wissenschaft ist die „Pareto-Frontier“ das bestmögliche Gleichgewicht zwischen zwei Dingen, wie etwa Geschwindigkeit und Genauigkeit. Normalerweise gilt: Wenn man mehr Geschwindigkeit will, verliert man an Genauigkeit. PAJAMA bricht diese Regel. Indem sie das Programm nutzen, um das Einfache zu handhaben, und die KI für das Schwierige, fanden sie einen idealen Punkt (Sweet Spot), an dem sie sowohl höhere Genauigkeit als auch höhere Geschwindigkeit erhielten. Beispielsweise verbesserten sie in Kombination mit einem spezifischen KI-Modell die Genauigkeit um 5 %, während sie fast 3-mal schneller waren.
• Günstigeres Training: Sie nutzten diese Programme auch, um andere KI-Modelle zu trainieren (einen Prozess namens „Reward Model Distillation“). Sie fanden heraus, dass die Verwendung der Urteile der Programme, um eine neue KI zu lehren, 50-mal günstiger war, als eine berühmte, teure KI für die Lehre einzusetzen. Die neue KI, die mit den Daten des günstigen Programms trainiert wurde, schnitt genauso gut oder sogar besser ab als diejenige, die mit den teuren Daten trainiert wurde.
• Ehrlichkeit und Bias: Eines der größten Probleme bei KI-Richtern ist, dass sie voreingenommen sein können. Sie könnten lange Antworten bevorzugen, nur weil sie lang sind, oder Antworten mit schicker Formatierung bevorzugen. Da die Richter von PAJAMA tatsächliche Computerprogramme sind, kann man genau sehen, was sie tun. Wenn ein Programm eine Tendenz zu langen Antworten hat, kann man einfach den Code öffnen, die Zeile finden, die besagt „Punkte für Länge hinzufügen“, und sie löschen. Das Paper zeigte, dass sie durch das „Kalibrieren“ (Korrigieren) der Programme diese Biases signifikant reduzieren konnten, was das Urteil viel fairer machte.

Warum das wichtig ist

Das Paper argumentt, dass wir nicht ständig hohe Rechnungen bezahlen müssen, um KI bewerten zu lassen. Indem wir den „Denkprozess“ des Richters in einen Satz wiederverwendbarer, transparenter Regeln umwandeln, können wir die Evaluierung skalierbar machen. Es verwandelt eine Black Box (bei der wir nicht wissen, warum die KI eine Entscheidung getroffen hat) in einen klaren, überprüfbaren Prozess.

Die Autoren weisen vorsichtig darauf hin, dass dies kein Zauberstab ist, der alle KI-Richter ersetzt. Manchmal sind die Probleme zu komplex für einfache Regeln, und deshalb behalten sie die teure KI als Backup für die schwierigen Fälle. Aber für die überwältigende Mehrheit der alltäglichen Bewertungsaufgaben bietet dieser Ansatz der „Program Distillation“ einen Weg, hochwertige Ergebnisse zu erzielen, ohne die hohen Kosten, die hohe Latenz und die verborgenen Biases der aktuellen Methoden. Es ist ein Wechsel von der Anforderung, einen Genie zu beschäftigen, der die ganze Arbeit macht, hin zur Lehre des Genies, wie man ein effizientes Team aufbaut.