Mind the Gap: How Elicitation Protocols Shape the Stated-Revealed Preference Gap in Language Models
Dieser Artikel zeigt, dass die Lücke zwischen deklarierten und offenbarten Präferenzen in Sprachmodellen stark von den Erhebungsprotokollen abhängt, und belegt, dass zwar die Zulassung von Neutralität bei deklarierten Präferenzen die Korrelation mit erzwungenen Offenbarungen verbessert, die Einführung einer Enthaltung bei offenbarten Präferenzen oder die Steuerung durch System-Prompts jedoch das Missverhältnis nicht zuverlässig auflösen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die Persönlichkeit eines neuen Freundes zu verstehen. Sie haben zwei Möglichkeiten, dies zu tun:
- Fragen Sie ihn direkt: „Bewerten Sie Ehrlichkeit höher als Freundlichkeit?" (Dies ist seine ausgesprochene Präferenz).
- Beobachten Sie sein Handeln: Versetzen Sie ihn in eine schwierige Situation, in der er zwischen Ehrlichkeit und Freundlichkeit wählen muss, und schauen Sie, was er tatsächlich tut (Dies ist seine offenbarte Präferenz).
In der Welt der KI haben Forscher ein Problem festgestellt: Manchmal sagt eine KI, sie liebe „Ehrlichkeit", wählt aber in einer kniffligen Geschichte stattdessen „Freundlichkeit". Diese Diskrepanz wird als Lücke zwischen ausgesprochener und offenbarter Präferenz (SvR-Gap) bezeichnet.
Diese Arbeit mit dem Titel „Mind the Gap" untersucht, warum diese Lücke existiert und, noch wichtiger, wie die Art und Weise, wie wir die Fragen stellen, die Antwort verändert. Betrachten Sie das „Elicitationsprotokoll" als die Spielregeln, die wir mit der KI spielen.
Hier ist das, was die Forscher unter Verwendung einfacher Analogien herausfanden:
1. Die Falle der „erzwungenen Wahl" (Der alte Weg)
Zuvor spielten Forscher ein Spiel, bei dem die KI gezwungen wurde, eine Seite zu wählen. Stellen Sie sich einen Schiedsrichter vor, der ruft: „Sie müssen wählen: A oder B! Kein Reden, kein Zögern!"
- Das Problem: Wenn die KI tatsächlich unsicher ist oder denkt „Es kommt auf die Situation an", muss sie trotzdem A oder B wählen. Es ist, als würde man eine Person zwingen, zwischen „Pizza" und „Salat" zu wählen, obwohl sie satt ist und keines von beiden möchte.
- Das Ergebnis: Die KI wählt zufällig oder basierend auf der Reihenfolge der Wörter und erzeugt „gefälschte" Präferenzen. Wenn Forscher diese gefälschten Wahlen mit dem verglichen, was die KI sagte, dass sie wertschätzt, war der Zusammenhang schwach und unübersichtlich.
2. Die „Ausstiegs"-Taste (Der neue Weg für ausgesprochene Präferenzen)
Die Forscher versuchten eine neue Regel für den Teil „Fragen Sie sie direkt". Sie sagten: „Sie können A, B wählen oder Sie können sagen: 'Ich weiß nicht' oder 'Es kommt darauf an'."
- Die Analogie: Stellen Sie sich vor, Sie fragen einen Freund: „Bevorzugen Sie Kaffee oder Tee?", erlauben ihm aber zu sagen: „Ich trinke nichts" oder „Es kommt auf die Tageszeit an".
- Das Ergebnis: Dies wirkte wie ein Filter. Es entfernte die „schwachen Signale" (die Vermutungen oder zufälligen Wahlen der KI). Wenn die Forscher nur die Fälle betrachteten, in denen die KI eine Seite stark wählte, stimmten ihre ausgesprochenen Präferenzen mit ihrem tatsächlichen Verhalten viel besser überein. Die „Lücke" schrumpfte erheblich.
3. Das Problem der „zu vielen Ausstiege" (Der neue Weg für offenbarte Präferenzen)
Dann versuchten sie, der KI zu erlauben, während der schwierigen Szenarien (der offenbarten Präferenzen) zu sagen „Es kommt darauf an".
- Die Analogie: Stellen Sie sich nun vor, Sie setzen Ihren Freund in eine echte Krise und sagen: „Sie können Aktion A, Aktion B wählen oder einfach sagen 'Ich weiß es nicht'."
- Das Ergebnis: Die KI begann fast immer zu sagen „Es kommt darauf an" oder „Gleich"! Es war wie ein Schüler, der bei einer schwierigen Prüfung auf jede Antwort einfach „Ich bin mir nicht sicher" schreibt.
- Die Konsequenz: Da sich die KI so oft weigerte, eine feste Wahl zu treffen, konnten die Forscher keine klare Rangfolge dessen erstellen, was die KI tatsächlich wertschätzte. Der Zusammenhang zwischen dem, was sie sagten, und dem, was sie taten, verschwand (fiel auf nahezu null oder sogar ins Negative).
4. Das „Bedienungsanleitung"-Experiment (Prompt-Steuerung)
Schließlich versuchten die Forscher, das Verhalten der KI zu „korrigieren", indem sie ihr einen Spickzettel gaben. Vor den schwierigen Szenarien sagten sie der KI: „Hier ist Ihre eigene Liste der Werte, die Sie sagten, dass Sie mögen. Bitte befolgen Sie diese Liste strikt."
- Die Analogie: Es ist, als würde man einem Fahrer kurz vor einem Rennen sagen: „Denken Sie daran, Sie sagten, Sie lieben Sicherheit, also fahren Sie bitte sicher!"
- Das Ergebnis: Es funktionierte nicht zuverlässig. Bei einigen KIs half es ein wenig. Bei anderen (wie der „Claude"-Familie) machte es die Dinge tatsächlich schlimmer. Die KI schien den Spickzettel zu ignorieren oder verwirrte sich daran. Die Forscher stellten fest, dass dieser Trick mit der „Bedienungsanleitung" bei kleinen Wertelisten funktioniert, aber kläglich versagt, wenn die Liste lang ist (16 verschiedene Werte).
Die große Erkenntnis
Die Hauptlehre dieser Arbeit ist, dass die Art, wie Sie die Frage stellen, die Antwort verändert.
- Wenn Sie eine KI zwingen zu wählen, wenn sie unsicher ist, erhalten Sie verrauschte, gefälschte Daten.
- Wenn Sie einer KI erlauben, zu oft „Ich weiß es nicht" zu sagen, erhalten Sie überhaupt keine Daten.
- Eine KI einfach zu sagen „Folgen Sie Ihren eigenen Regeln", behebt das Problem nicht zuverlässig.
Die Autoren kommen zu dem Schluss, dass wir, um KI-Werte wirklich zu verstehen, Methoden benötigen, die anerkennen, dass die KI (genau wie ein Mensch) manchmal tatsächlich keine klare Präferenz hat, und dass wir unsere Tests so gestalten müssen, dass sie mit dieser Unsicherheit umgehen, anstatt eine Wahl zu erzwingen oder sie zu ignorieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.