The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction
Diese Studie zeigt, dass multimodale LLMs zwar nicht zuverlässig echte A/B-Testergebnisse allein anhand von Screenshots vorhersagen können, da sie eine gemeinsame Tendenz zu unzuverlässigen Labels aufweisen, sie jedoch eine bedeutsame Genauigkeit erreichen können, indem sie ihre Vorhersagen kalibrieren, um unsichere Fälle zu identifizieren und von ihnen abzusehen – eine Einschränkung, die der Unfähigkeit menschlicher Experten entspricht, trotz hoher Inter-Rater-Konsensleistung über den Zufall hinauszuwachsen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versuchen muss, ein Rätsel zu lösen: „Welcher dieser zwei Verdächtigen ist schuldig?“ In der Welt der Websites sind die „Verdächtigen“ zwei leicht unterschiedliche Versionen einer Seite, und die „schuldige“ Version ist diejenere, die mehr Menschen dazu bringt, etwas zu kaufen oder sich anzumelden. Dies wird als A/B-Test bezeichnet. Normalerweise müssen Sie warten und beobachten, wie echte Menschen mit der Website interagieren, um über Tage oder Wochen hinweg einen Gewinner zu finden. Aber vor kurzem ist ein neuer Typ von Detektiv eingetroffen: Künstliche Intelligenz. Die große Frage, die sich alle stellen, ist: „Kann eine KI auf ein Bild der beiden Websites schauen und uns sofort sagen, welche gewinnen wird, um uns all das Warten zu ersparen?“
Um dieses Paper zu verstehen, müssen Sie ein paar Dinge darüber wissen, wie wir „Gutsein“ in der Wissenschaft messen. Erstens gibt es den Unterschied zwischen dem, ob man durch Glück recht hat oder durch Können recht hat. Wenn Sie bei einem Münzwurf auf „Kopf“ tippen, werden Sie rein zufällig in 50 % der Fälle richtig liegen. Wenn ein Detektiv behauptet, ein Genie zu sein, aber nur in 51 % der Fälle richtig liegt, hat er eigentlich nichts Besonderes geleistet. Wissenschaftler verwenden einen speziellen Wert namens „Cohen’s Kappa“ (nennen wir ihn den „Skill Score“), um das Glück herauszufiltern und zu sehen, ob der Detektiv tatsächlich ein Gehirn besitzt. Zweitens gibt es das Problem des „gemeinsamen Bias“ (Shared Bias). Stellen Sie sich einen Lehrer und einen Schüler vor, die beide in derselben Stadt aufgewachsen sind. Sie mögen in allem übereinstimmen, nicht weil der Schüler klug ist, sondern weil beide dieselben falschen Fakten von ihren Eltern gelernt haben. Wenn eine KI und die Menschen, die die Testdaten erstellt haben, denselben „Volkswissen“-Fehlschluss teilen, könnten sie zwar bei der Antwort übereinstimmen, aber das bedeutet nicht, dass die KI die Zukunft vorhersagen kann.
Dieses Paper ist ein sehr ehrlicher, sehr strenger Bericht eines Teams namens Squoosh, das versucht hat, genau diese große Frage zu beantworten. Sie haben die KI nicht einfach nur raten lassen; sie haben eine Falle gestellt. Sie haben ihre Regeln festgelegt, bevor sie begannen – so wie ein Wissenschaftler ein Rezept aufschreibt, bevor er kocht –, damit sie die Regeln nicht nachträglich ändern konnten, um die KI besser aussehen zu lassen. Sie verwendeten eine riesige Bibliothek realer Website-Tests, um zu sehen, ob die KI tatsächlich die Gewinner vorhersagen kann.
Hier kommt die Wendung: Die KI ist bei ihrer Hauptaufgabe weitestgehend ein Versager. Als das Team die KI bat, bei 330 echten Tests nach jedem einzelnen Mal einen Gewinner zu wählen, tat sie dies kaum besser als durch bloßes Raten. Tatsächlich schien die KI eher mit den „unzuverlässigen“ Tests (bei denen das Ergebnis nicht eindeutig war) übereinstimmte als mit den „zuverlässigen“. Es stellte sich heraus, dass die KI und die Menschen, die die Testdaten erstellt hatten, beide dieselben alten Mythen darüber wiederholten, was eine gute Website ausmacht, anstatt tatsächlich vorherzusagen, was passieren würde. Selbst die Verwendung einer viel klügeren, teureren KI half nicht; sie war genauso schlecht. Das Paper schließt die Idee explizit aus, dass wir einfach eine „bessere KI kaufen“ oder einen „besseren Prompt schreiben“ können, um das Problem zu lösen. Die „magische Kristallkugel“, die Website-Gewinner allein aus Screenshots vorhersagt? Sie existiert nicht.
Die KI ist jedoch nicht völlig nutzlos. Das Team entdeckte einen speziellen Trick: Wenn sie der KI sagen: „Rate nur, wenn du dir absolut sicher bist, ansonsten sag 'Ich weiß es nicht'“, dann wird die KI in den Momenten, in denen sie sich tatsächlich äußert, überraschend gut. Wenn das interne Team von Richtern der KI sich stark auf eine Antwort geeinigt hatte, lag sie bei den zuverlässigen Tests in etwa 31 % der Fälle richtig. Das klingt wenig, aber denken Sie daran: Echte menschliche Experten (die über Jahre an Erfahrung verfügen) liegen im Durchschnitt auch nur etwa 29 % der Zeit richtig. Die KI ist kein Supergenie; sie ist nur ein Werkzeug, das weiß, wann es rät und wann es das nicht tut.
Die wichtigste Erkenntnis betrifft das Vertrauen. Das Paper zeigt, dass wenn eine Gruppe von KIs alle untereinander übereinstimmt, das nicht bedeutet, dass sie recht haben; es bedeutet oft nur, dass sie alle denselben gemeinsamen Bias teilen. Es ist wie eine Jury, in der alle miteinander verwandt sind; sie werden alle gleich abstimmen, aber das macht das Urteil nicht korrekt. Das Paper beweist, dass dieser „gemeinsame Bias“ auch bei Menschen auftritt. Als sie 15 echte menschliche Experten baten, die Gewinner zu erraten, stimmten sich die Experten stark untereinander ab, lagen aber genauso oft falsch wie die KI.
Was ist also das abschließende Fazit? Das Paper kommt zu dem Schluss, dass wir kein Werkzeug bauen können, das Website-Gewinner mit 100 %iger Sicherheit vorhersagt. Stattdessen ist das beste Werkzeug ein „kalibriertes Screening-Instrument“. Es ist ein System, das sagt: „Ich bin mir sicher, dass dieser gewinnen wird“ oder „Ich bin mir nicht sicher, frag mich nicht“. Es ist ehrlich über seine Grenzen. Das Paper zeigt auch, dass man keine superteure, riesige KI braucht, um dies zu tun; eine kleinere, günstigere Version funktioniert genauso gut, wenn man den „Ehrlichkeits-Trick“ anwendet. Der wahre Wert liegt nicht darin, die Antwort jedes Mal zu bekommen, sondern zu wissen, zu welchen Zeiten man der Antwort nicht vertrauen sollte. Das Paper endet mit der Veröffentlichung all seiner Daten, seiner gescheiterten Experimente und seiner Regeln, um zu beweisen, dass manchmal die wichtigste Entdeckung darin besteht, zuzugeben, dass der Zaubertrick nicht funktioniert, aber eine sehr sorgfältige, sehr ehrliche Version davon vielleicht gerade eben nützlich genug sein könnte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.