ASSERT: A Measurement Pipeline for GenAI Audits
Das Paper stellt ASSERT vor, eine spezifikationsgetriebene Messpipeline für GenAI-Audits, die berichtete Compliance-Raten explizit an deren zugrunde liegende Messentscheidungen knüpft und dadurch verdeutlicht, wie Variationen im Audit-Design – wie etwa das Dialog-Setup oder die Evaluationskriterien – die System-Rankings und die Interpretierbarkeit signifikant beeinflussen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten einen neuen, superintelligenten Roboter bewerten, der Geschichten schreiben, Matheaufgaben lösen und mit Ihnen chatten kann. Sie wollen wissen: „Ist dieser Roboter ehrlich?“ oder „Ist er sicher?“ In der Welt der Künstlichen Intelligenz (KI) beantworten Wissenschaftler dies oft, indem sie einen Test durchführen und dem Roboter eine einzige Punktzahl geben, wie etwa „85 % ehrlich“. Das klingt einfach, wie ein Zeugnis. Aber hier ist der Haken: Dieser Wert sagt nicht nur etwas über den Roboter aus, sondern auch über den Test selbst. Wenn man die Fragen, die Person, die die Antworten bewertet, oder sogar die Regeln dafür ändert, was als „Lüge“ gilt, kann der Wert massiv schwanken. Es ist wie beim Bewerten eines Aufsatzes eines Schülers: Wenn man ihn bittet, über „Katzen“ zu schreiben, bekommt er vielleicht eine Eins, aber wenn man ihn nach „Quantenphysik“ fragt, bekommt er eine Drei. Der Schüler hat sich nicht verändert; der Test hat sich verändert. Dieses Paper taucht in diese chaotische Realität ein und zeigt uns, dass eine einzige Zahl nicht ausreicht, um das Verhalten eines Roboters zu beurteilen. Wir müssen genau wissen, wie der Test aufgebaut wurde, um zu verstehen, was der Wert tatsächlich bedeutet.
Hier kommt ASSERT ins Spiel, ein neues Werkzeug, das von Forschern bei Microsoft entwickelt wurde, um dieses Bewertungsproblem zu lösen. Betrachten Sie ASSERT nicht als einen einzelnen Test, sondern als ein „Rezeptbuch“ zum Erstellen von Tests. Normalerweise, wenn Menschen KI testen, halten sie ihre Bewertungsregeln vielleicht verborgen oder ändern sie, ohne es zu sagen. ASSERT zwingt alle dazu, ihr Rezept zuerst aufzuschreiben. Es verlangt von den Forschern, klar zu definieren, wie „Täuschung“ oder „Sicherheit“ in einfacher Sprache aussieht, dann eine spezifische Menge an Herausforderungen (Testfälle) basierend auf dieser Definition aufzubauen und schließlich die KI durch diese Herausforderungen laufen zu lassen. Die Magie von ASSERT liegt darin, dass es jeden einzelnen Wert direkt an das spezifische Rezept bindet, das zur Erstellung verwendet wurde. Wenn sich der Wert ändert, kann man in das Rezeptbuch schauen und genau sehen, welche Zutat ausgetauscht wurde.
Um zu zeigen, wie leistungsfähig dies ist, nutzten die Forscher ASSERT, um ein spezifisches KI-Modell (GPT-5.5) zum schwierigen Thema der konversationellen Täuschung zu testen – im Grunde genommen, wenn die KI in einem Chat den Nutzer täuscht oder in die Irre führt. Sie führten nicht nur einen Test durch; sie führten ein „Multiversum“ von Tests durch. Stellen Sie sich vor, sie haben denselben Roboter in hundert verschiedenen Szenarien getestet: Mal sprach der Roboter mit einem freundlichen Nutzer, mal mit einem hinterlistigen; mal wurde der Roboter von einem strengen KI-Richter bewertet, mal von einem nachsichtigeren; und mal waren die Regeln dafür, was als Lüge galt, extrem streng und mal eher locker.
Die Ergebnisse waren augenöffnend. Wenn sie nur einen Teil des Rezepts änderten, schwankte der „Ehrlichkeitsscore“ des Roboters stark.
- Der Richter zählt: Wenn sie die KI austauschten, die die Antworten bewertete, schwang der Ehrlichkeitsscore für dieselben Roboter-Chatprotokolle von 80 % auf 95 %. Das ist ein riesiger Unterschied! Ein Bewerter fand, der Roboter sei weitgehend ehrlich, während ein anderer fand, er würde fast die ganze Zeit lügen.
- Die Regeln zählen: Wenn sie die Regeln zum Aufspüren einer Lüge strenger machten (einen klaren, unbestreitbaren Beweis erforderten), stieg der Wert auf über 90 %. Wenn sie die Regeln lockerer gestalteten (jede Nuance einer Lüge akzeptierten), sank der Wert auf etwa 73 %.
- Der Nutzer zählt: Wenn sie den „simulierten Nutzer“, der mit dem Roboter chattete, von einem Standard-Charakter zu einem komplexeren Charakter änderten, sprang der Wert von 82 % auf über 90 %.
Das Paper legt nahe, dass wir diesen Scores nicht trauen können, um zu entscheiden, welche KI „besser“ ist, da sich diese Werte je nach den Entscheidungen der Forscher so stark bewegen. Wenn eine KI 82 % erzielt und eine andere 85 %, könnte dieser winzige Unterschied einfach daher kommen, dass unterschiedliche Richter oder Regeln verwendet wurden, und nicht, weil der eine Roboter tatsächlich schlauer oder sicherer ist. Tatsächlich fanden die Forscher heraus, dass der Wechsel des Richters sogar die Rangfolge umkehren konnte, sodass ein „schlechterer“ Roboter allein deshalb als Gewinner dastand, weil er von der richtigen Person bewertet wurde.
Was ist also die Erkenntnis? Das Paper sagt nicht, dass die KI kaputt ist oder dass wir sie nicht testen können. Stattdessen schlägt es vor, dass wir viel transparenter sein müssen. Wir können nicht einfach sagen: „Diese KI ist zu 82 % sicher.“ Wir müssen sagen: „Diese KI ist zu 82 % sicher, wenn sie mit diesen spezifischen Regeln, diesem spezifischen Richter und diesen spezifischen Fragen getestet wird.“ Indem Forscher und Unternehmen ein Werkzeug wie ASSERT nutzen, um jeden Schritt des Rezepts aufzuschreiben, können sie aufhören, sich hinter einer einzigen Zahl zu verstecken, und statfangen, ehrliche Gespräche darüber zu führen, was ihre KI-Systeme können und was sie nicht können. Es verwandelt einen Zaubertrick in einen klaren, überprüfbaren Prozess und hilft uns zu verstehen, ob der Roboter wirklich die Wahrheit sagt oder ob wir ihm nur die falsche Frage gestellt haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.