On Verbalized Confidence Scores for LLMs
Dieser Artikel untersucht die Zuverlässigkeit von Large Language Models, die ihre eigene Unsicherheit über Konfidenzwerte verbalisieren, und zeigt, dass zwar die Wirksamkeit je nach Prompting-Strategie variiert, spezifische Methoden jedoch eine gut kalibrierte, modellunabhängige Unsicherheitsquantifizierung mit geringem Overhead liefern können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie fragen einen sehr klugen, gut gebildeten Freund um Rat. Manchmal ist er sich seiner Antwort absolut sicher, und manchmal rät er nur. Das Problem bei heutigen Large Language Models (LLMs) besteht darin, dass sie oft selbst dann selbstbewusst klingen, wenn sie falsch liegen. Sie sind wie ein Freund, der niemals „Ich bin mir nicht sicher" sagt, selbst wenn er keine Ahnung hat, wovon er spricht.
Diese Arbeit, „On Verbalized Confidence Scores for LLMs", untersucht eine einfache Idee: Was wäre, wenn wir die KI einfach bitten, uns zu sagen, wie sicher sie ist?
Anstatt den internen Code der KI zu untersuchen oder sie hundertmal laufen zu lassen, um zu sehen, ob sie dieselbe Antwort gibt, baten die Forscher die KI einfach, einen „Vertrauenswert" zu ihrer Antwort hinzuzufügen, ähnlich wie bei der Aussage: „Die Antwort ist X, und ich bin zu 85 % sicher."
Hier ist eine Aufschlüsselung ihrer Erkenntnisse unter Verwendung alltäglicher Analogien:
1. Das Ziel: Ein „Vertrauensmesser"
Die Forscher wollten herausfinden, ob dieser „Vertrauensmesser" (der Vertrauenswert) tatsächlich funktioniert. Sie wollten ein System, das:
- Ehrlich ist: Wenn die KI sagt, sie sei zu 90 % sicher, sollte sie in 90 % der Fälle recht haben.
- Flexibel ist: Es sollte funktionieren, egal welche Frage Sie stellen oder welches KI-Modell Sie verwenden.
- Schnell ist: Es sollte keine zusätzliche Zeit oder Rechenleistung erfordern, um den Wert zu erhalten.
2. Das Experiment: Testen verschiedener „Frageweisen"
Das Team erkannte, dass wie Sie die KI fragen, sehr wichtig ist. Es ist wie beim Bitten eines Kindes um eine Vermutung.
- Wenn Sie fragen: „Was ist die Hauptstadt von Frankreich? Rate mal!", könnte es einfach „Paris" sagen und sich sicher fühlen.
- Wenn Sie fragen: „Was ist die Hauptstadt von Frankreich? Rate mal, und sagen Sie mir, wie sicher Sie auf einer Skala von 0 bis 100 sind", könnte es genauer nachdenken.
Die Forscher testeten 17 verschiedene Formulierungen der Frage (Prompts) über 11 verschiedene KI-Modelle und 10 verschiedene Arten von Fragen (wie Wissenschafts-Trivia, Logikrätsel und gesunden Menschenverstand).
3. Die große Entdeckung: Es hängt von der „Gehirngröße" der KI ab
Das interessanteste Ergebnis ist, dass der beste Weg zu einer ehrlichen Antwort davon abhängt, wie „klug" (oder groß) das KI-Modell ist.
Für „winzige" KI-Modelle (Die Anfänger):
Denken Sie an diese wie an Schüler, die noch lernen. Wenn Sie ihnen einen komplexen, ausgefeilten Prompt mit vielen Beispielen und Anweisungen geben, geraten sie in Verwirrung und fangen an, Dinge zu erfinden.- Die Erkenntnis der Arbeit: Einfache Prompts funktionieren am besten. Sie einfach zu fragen: „Wie sicher sind Sie?", funktioniert besser, als ihnen eine lange Liste von Regeln zu geben.
Für „große" KI-Modelle (Die Experten):
Denken Sie an diese wie an Promovierte. Sie haben viel Wissen, können aber übermäßig selbstbewusst sein. Wenn Sie sie einfach fragen, raten sie möglicherweise immer noch mit 100 %iger Sicherheit, selbst wenn sie falsch liegen.- Die Erkenntnis der Arbeit: Sie brauchen einen komplexeren „Anstoß". Die Forscher stellten fest, dass die Kombination mehrerer Techniken – wie das Geben einiger Beispiele, wie zu antworten ist, das Auffordern, ihre Argumentation zu erklären, und das explizite Auffordern, die Schwierigkeit der Aufgabe zu berücksichtigen – sie viel ehrlicher machte.
- Das Ergebnis: Mit dem richtigen komplexen Prompt konnten diese großen Modelle Vertrauenswerte erzeugen, die innerhalb von etwa 7 % ihrer tatsächlichen Erfolgsrate lagen. Dies ist eine enorme Verbesserung gegenüber bloßem Raten.
4. Der „Combo"-Prompt
Die Forscher erstellten einen „Super-Prompt" (genannt combo) für die großen Modelle. Es war, als würden Sie der KI eine Checkliste geben:
- Denken Sie über die Frage nach.
- Berücksichtigen Sie, wie schwierig sie ist.
- Prüfen Sie Ihr eigenes Wissen.
- Geben Sie Ihre beste Vermutung ab.
- Geben Sie einen Wahrscheinlichkeitswert an (0,0 bis 1,0).
Als sie diesen „Combo"-Prompt verwendeten, wurden die großen Modelle viel besser darin, zuzugeben, wenn sie sich nicht sicher waren.
5. Was dies bedeutet (laut der Arbeit)
Die Arbeit kommt zu dem Schluss, dass eine KI zu bitten, „ihre Sicherheit auszusprechen", ein vielversprechendes Werkzeug ist. Es ist:
- Einfach: Sie müssen nicht in das Gehirn der KI schauen.
- Schnell: Es werden nur ein paar zusätzliche Wörter benötigt, um es zu generieren.
- Effektiv: Wenn Sie wissen, wie man die richtige Frage stellt, kann die KI Ihnen sagen, wann sie rät und wann sie die Antwort kennt.
Es gibt jedoch einen Haken: Sie können nicht jede KI auf jede beliebige Weise fragen. Sie müssen die Frage anpassen. Wenn Sie eine kleine KI eine komplexe Frage stellen, wird sie scheitern. Wenn Sie eine große KI eine einfache Frage stellen, könnte sie lügen und behaupten, sie sei sicher. Aber mit dem richtigen „Rezept" für den Prompt können wir diese Modelle viel vertrauenswürdiger machen.
Kurz gesagt: Die KI kann Ihnen sagen, wie sicher sie ist, aber Sie müssen wissen, wie Sie sie auf die richtige Weise fragen, um eine wahre Antwort zu erhalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.