Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation
Diese Arbeit zeigt, dass die Robustheit großer Sprachmodelle gegenüber Prompt-Variationen signifikant vom Typ der Aufgabe abhängt, wobei die Modelle unterschiedliche Grade an Stabilität aufweisen, wenn sie objektive Fragen beantworten im Vergleich zu subjektiven Anfragen über Werte und Überzeugungen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, was ein sehr intelligenter, aber leicht nervöser Roboter über die Welt denkt. Sie stellen ihm eine Frage und er gibt Ihnen eine Antwort. Sie nehmen an, dass diese Antwort ein solider Ausdruck seiner „Überzeugungen“ ist.
Dieses Paper ist wie ein Realitätscheck. Die Forscher fragten: „Spielt es eine Rolle, wie wir die Frage stellen?“
Sie fanden heraus, dass die Antwort ein lautes JA ist. Tatsächlich kann die Art und Weise, wie man eine Frage stellt, die Antwort des Roboters komplett verändern, und das geschieht viel häufiger, wenn die Frage Meinungen betrifft (wie Politik oder Werte) als wenn sie Fakten betrifft (wie Mathematik oder Wissenschaft).
Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:
1. Die zwei Arten von Fragen
Die Forscher testeten die Roboter mit zwei verschiedenen Arten von „Tests“:
- Der Faktentest (Objektiv): Dies sind wie ein Mathequiz. „Was ist 2 + 2?“ Es gibt nur eine richtige Antwort (4). Wenn der Roboter „5“ sagt, liegt er einfach falsch.
- Der Meinungstest (Subjektiv): Dies sind wie eine Persönlichkeitsumfrage. „Bevorzugst du Sommer oder Winter?“ Es gibt keine einzelne richtige Antwort. Der Roboter soll Ihnen sagen, was er „fühlt“.
2. Das „Gestaltwandler“-Prompting
Die Forscher haben die Fragen nicht nur einmal gestellt. Sie haben dieselbe Frage auf viele verschiedene Arten gestellt, wie ein Magier, der den Trick leicht verändert, um zu sehen, ob das Kaninchen immer noch erscheint.
- Sie änderten die Wortwahl (durch Verwendung von Synonymen).
- Sie änderten das Format (durch Fettdruck oder Änderung der Abstände).
- Sie veränderten die Reihenfolge der Antworten (indem sie „Sommer“ an die erste Stelle statt „Winter“ setzten).
- Sie fügten sogar winzige Rechtschreibfehler hinzu, um zu sehen, ob der Roboter verwirrt wird.
3. Die große Entdeckung: Meinungen sind „wackelig“
Das Hauptergebnis war, dass die Roboter bei der Beantwortung von Meinungsfragen viel weniger stabil waren als bei Faktentests.
- Der Faktentest: Wenn man auf zehn verschiedene Arten fragte „Was ist 2+2?“, sagte der Roboter fast immer „4“. Er war wie ein Stein; schwer zu bewegen.
- Der Meinungstest: Wenn man auf zehn verschiedene Arten fragte „Magst du den Sommer?“, konnte der Roboter bei einer Version „Ja“ und bei einer anderen „Nein“ sagen. Er war wie ein Wackelpudding; er wackelte und änderte seine Form, je nachdem, wie man ihn anstieß.
4. Der „Sitzwechsel“-Effekt
Die Forscher fanden einen spezifischen Trick, der die Roboter am meisten die Fassung verlieren ließ: das Ändern der Reihenfolge der Antworten.
Stellen Sie sich eine Multiple-Choice-Frage vor, bei der die Antworten als A, B, C, D aufgelistet sind.
- Wenn man sie so vertauscht, dass die Reihenfolge D, C, B, A lautet, wählt der Roboter oft einen anderen Buchstaben, selbst wenn die Wörter dieselben sind.
- Dies geschah viel häufiger bei Meinungsfragen. Es ist, als ob der Roboter dachte: „Oh, die Antwort steht jetzt oben? Dann nehme ich wohl die, die sie wollen!“ anstatt tatsächlich über den Inhalt nachzudenken.
5. Warum das wichtig ist
Das Paper warnt uns davor, dass wir nicht eine einzige Antwort eines Roboters als Beweis für seine „Überzeugungen“ ansehen können.
- Die Analogie: Stellen Sie sich vor, Sie fragen einen Freund: „Magst du Pizza?“ Er sagt „Ja“. Sie schreiben das als Tatsache über ihn auf. Aber dann fragen Sie dieselbe Frage erneut, aber diesmal listen Sie „Pizza“ als letzte Option auf einer Speisekarte auf, und er sagt „Nein“.
- Das Fazit: Sie können nicht sagen, dass Ihr Freund „Pizza mag“ oder „Pizza nicht mag“, basierend auf nur einem Gespräch. Sie müssen ihn auf viele verschiedene Arten fragen, um zu sehen, ob seine Antwort gleich bleibt.
Das Fazit
Das Paper kommt zu dem Schluss, dass wir, wenn wir wissen wollen, was eine KI über Politik oder Werte „glaubt“, nicht einfach eine Frage stellen und die Antwort als gegeben hinnehmen können. Wir müssen sie mit vielen verschiedenen Versionen der Frage testen. Wenn der Roboter seine Meinung ändert, nur weil wir die Wörter umgestellt haben, dann wissen wir eigentlich gar nicht, was er glaubt – wir wissen nur, wie er auf die Art und Weise reagiert, wie wir gefragt haben.
Kurz gesagt: Die „Persönlichkeit“ des Roboters ist zerbrechlich. Sie ändert sich je nach Form der Frage, besonders wenn die Frage Gefühle statt Fakten betrifft.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.