💬 NLP

Can LLMs Refuse Questions They Do Not Know? Measuring Knowledge-Aware Refusal in Factual Tasks

Dieser Beitrag stellt den Refusal Index (RI) vor, eine neue Metrik, die auf der Korrelation zwischen Verweigerungs- und Fehlerwahrscheinlichkeiten basiert, um die oft unzuverlässigen wissensbasierten Verweigerungsfähigkeiten von Large Language Models in faktischen Aufgaben effektiv zu messen und aufzudecken.

Ursprüngliche Autoren: Wenbo Pan, Jie Xu, Qiguang Chen, Junhao Dong, Libo Qin, Xinfeng Li, Haining Yu, Xiaohua Jia

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenbo Pan, Jie Xu, Qiguang Chen, Junhao Dong, Libo Qin, Xinfeng Li, Haining Yu, Xiaohua Jia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der selbstüberschätzende Schüler

Stellen Sie sich einen Schüler vor, der einen sehr schwierigen Geschichtstest schreibt. Ein wirklich kluger Schüler weiß, wann er eine Antwort nicht kennt, und hebt die Hand, um zu sagen: „Bei diesem bin ich mir nicht sicher." Große Sprachmodelle (LLMs) verhalten sich jedoch oft wie ein selbstüberschätzender Schüler. Selbst wenn sie keine Ahnung von der Antwort haben, erfinden sie selbstbewusst eine Geschichte (eine „Halluzination"), anstatt zuzugeben, dass sie es nicht wissen.

Das ist gefährlich, denn wenn Sie einen KI für medizinische oder rechtliche Beratung fragen, muss diese „Ich weiß es nicht" sagen, wenn sie unsicher ist, anstatt Ihnen selbstbewusst falsche Informationen zu geben.

Der alte Weg der Messung: Zählen von Fehlern

Früher versuchten Forscher zu messen, wie gut eine KI darin ist, dies zu tun, indem sie zwei einfache Zahlen betrachteten:

Wie oft sie sich weigert, zu antworten.
Wie oft sie die Antwort richtig hat.

Das Paper argumentiert, dass diese Methoden fehlerhaft sind. Es ist wie ein Schüler nur danach zu beurteilen, wie oft er die Hand hob, um „Ich weiß es nicht" zu sagen.

Wenn Sie dem Schüler sagen: „Bitte sagen Sie zu allem 'Ich weiß es nicht'", wird er 100 % der Zeit die Hand heben. Das bedeutet aber nicht, dass er klug ist; es bedeutet nur, dass er Befehle befolgt.
Wenn Sie ihm sagen: „Beantworten Sie alles, egal was passiert", könnte er zwar mehr Fragen richtig beantworten, wird aber auch selbstbewusst falsche Antworten geben.

Die alten Metriken konnten nicht unterscheiden zwischen einem Schüler, der Fragen weise ablehnt, und einem, der einfach zufällig ablehnt oder antwortet.

Die neue Lösung: Der „Verweigerungsindex" (RI)

Die Autoren entwickelten eine neue Kennzahl namens Verweigerungsindex (RI). Stellen Sie sich dies als einen „Wahrheits-Score" vor.

Anstatt nur zu zählen, wie oft die KI „Ich weiß es nicht" sagt, fragt der RI: „Sagt die KI 'Ich weiß es nicht' speziell dann, wenn die Frage schwierig ist, und antwortet sie, wenn die Frage einfach ist?"

Hoher RI: Die KI verhält sich wie eine weise Bibliothekarin. Sie lehnt obskure, unmögliche Fragen ab, beantwortet aber gerne die einfachen. Sie kennt den Unterschied.
Niedriger RI: Die KI verhält sich wie ein verwirrter Roboter. Sie lehnt vielleicht einfache Fragen ab, die sie beantworten könnte, oder beantwortet selbstbewusst unmögliche Fragen. Ihr „Verweigerungs"-Verhalten ist zufällig oder defekt.

Wie sie es maßen: Der „Zwei-Durchgang"-Trick

Um diesen Score zu berechnen, ohne die internen „Gedanken" der KI zu kennen (die wir nicht sehen können), verwendeten die Forscher einen cleveren Zwei-Durchgang-Trick:

Durchgang 1 (Der ehrliche Test): Sie stellen der KI eine Reihe von Fragen und lassen sie entscheiden: „Möchten Sie antworten oder 'Ich weiß es nicht' sagen?" Sie notieren, welche sie ablehnte.
Durchgang 2 (Die erzwungene Antwort): Sie nehmen nur die Fragen, die die KI im ersten Durchgang abgelehnt hat. Sie gehen zurück und sagen: „Okay, Sie müssen diese jetzt beantworten, kein Überspringen erlaubt." Sie prüfen, ob die KI diese tatsächlich hätte richtig beantworten können, wenn sie es versucht hätte.

Durch den Vergleich der beiden Runden können sie sehen, ob die KI klug genug war, die Fragen abzulehnen, die sie nicht beantworten konnte. Wenn die KI im Durchgang 1 die schwierigen ablehnte, sie aber im Durchgang 2 falsch beantwortete, hat sie einen hohen Verweigerungsindex.

Was sie entdeckten

Die Forscher testeten 16 verschiedene KI-Modelle (wie GPT-4, Claude, Llama usw.) und stellten einige überraschende Dinge fest:

Genauigkeit garantiert keine Weisheit: Nur weil eine KI sehr gut darin ist, Fragen zu beantworten (hohe Genauigkeit), bedeutet das nicht, dass sie weiß, wann sie aufhören soll. Einige sehr kluge Modelle raten immer noch selbstbewusst bei Dingen, die sie nicht kennen.
Die „Familie" ist am wichtigsten: Der wichtigste Faktor dafür, ob eine KI weiß, wann sie ablehnen soll, ist nicht ihre Größe oder wie viele Fragen sie richtig beantwortet. Es ist welches Unternehmen sie hergestellt hat. Einige KI-„Familien" (wie Claude und Qwen) verhalten sich konsistent weiser als andere (wie Gemini oder GPT-4.1), unabhängig von ihrer Größe.
Kontext ist entscheidend: Wenn Sie der KI ein Dokument zum Lesen geben und eine Frage stellen, die nicht im Dokument steht, gerät die KI in Verwirrung. Oft versagt sie beim Ablehnen und versucht, basierend auf ihren eigenen Trainingsdaten zu raten, anstatt sich an das Dokument zu halten.

Das Fazit

Das Paper kommt zu dem Schluss, dass wir eine neue Art benötigen, KI zu beurteilen. Wir sollten nicht nur fragen: „Wie viele Fragen haben Sie richtig beantwortet?" Wir müssen auch fragen: „Wussten Sie, wann Sie aufhören und 'Ich weiß es nicht' sagen sollten?"

Der Verweigerungsindex ist das neue Lineal dafür. Er hilft uns, KI-Modelle zu finden, die nicht nur klug sind, sondern auch demütig und zuverlässig genug, um ihre Grenzen zuzugeben.

Technische Zusammenfassung: Können LLMs Fragen ablehnen, die sie nicht kennen? Messung von wissensbewusster Verweigerung bei faktischen Aufgaben

Problemstellung

Large Language Models (LLMs) werden zunehmend für wissensintensive faktische Aufgaben eingesetzt. Allerdings leiden sie häufig unter einer schlechten Kalibrierung und liefern falsche Antworten mit hoher Zuversicht (Halluzinationen). Ein kritischer Sicherheitsmechanismus ist die wissensbewusste Verweigerung: die Fähigkeit eines Modells, Fragen abzulehnen, die außerhalb seiner Wissensgrenzen liegen. Während jüngste Arbeiten untersucht haben, wie Verweigerungen durch Prompting oder Feinabstimmung induziert werden können, versagen bestehende Evaluierungsmetriken darin, diese Fähigkeit präzise zu messen. Traditionelle Metriken, wie Verweigerungsraten oder Kombinationen aus Genauigkeit und Verweigerung (z. B. F-Score), sind oft heuristisch, anfällig für promptbedingte Änderungen der Verweigerungshäufigkeit und erfassen nicht die fundamentale Korrelation zwischen der Entscheidung eines Modells zu verweigern und der tatsächlichen Falschheit der Antwort, die es sonst gegeben hätte.

Methodik: Der Verweigerungsindex (RI)

Um diese Lücken zu schließen, schlagen die Autoren den Verweigerungsindex (RI) vor, eine neuartige Metrik zur Quantifizierung wissensbewusster Verweigerung.

Definition

Der RI ist definiert als die Spearman-Rangkorrelation zwischen der Verweigerungswahrscheinlichkeit ( $r_i$ ) eines Modells und seiner Fehlerwahrscheinlichkeit ( $w_i$ ) über einen Satz von Fragen hinweg.
$\text{RI} = \rho_S = \text{Corr}(\text{Rank}(r_i), \text{Rank}(w_i))$
Ein perfekter RI von 1 zeigt an, dass ein Modell konsistent die schwierigsten (fehleranfälligen) Fragen ablehnt und die einfachsten beantwortet. Ein RI von 0 impliziert ein zufälliges Verweigerungsverhalten. Im Gegensatz zu Kalibrierungsmetriken, die absolute Abweichungen messen (z. B. Expected Calibration Error), konzentriert sich der RI auf den Rang der Schwierigkeit, was ihn robust gegenüber Verschiebungen der gesamten Verweigerungsraten macht.

Zwei-Pass-Evaluierungsrahmen

Da Verweigerungswahrscheinlichkeiten latent sind (ein Modell lehnt in einem Durchgang entweder ab oder antwortet), führen die Autoren eine leichte Zwei-Pass-Evaluierung ein, um den RI zu schätzen:

Erster Durchgang: Das Modell wird an einem faktischen Datensatz mit einem Systemprompt evaluiert, der es erlaubt, zu antworten oder abzulehnen. Antworten werden als Korrekt, Falsch oder Abgelehnt klassifiziert. Dies ergibt die Verweigerungsrate ( $r$ ) und die Genauigkeit der versuchten Antworten.
Zweiter Durchgang: Für Fragen, die im ersten Durchgang abgelehnt wurden, wird der Systemprompt aktualisiert, um das Modell zu zwingen, zu antworten (die Verweigerungsoption wird entfernt). Die Korrektheit dieser erzwungenen Antworten wird aufgezeichnet.
Berechnung: Unter Verwendung der gemeinsamen Verteilung von Verweigerungsentscheidungen und der Korrektheit erzwungener Antworten modellieren die Autoren die Beziehung mittels einer Gaußschen Copula. Sie schätzen den Korrelationsparameter ( $\rho$ ) über die Maximum-Likelihood-Methode auf der resultierenden $2 \times 2$ -Kontingenztafel und wandeln ihn unter Verwendung der Standardformel in die Spearman-Rangkorrelation ( $\rho_S$ ) um: $\rho_S = \frac{6}{\pi} \arcsin(\frac{\rho}{2})$ .

Hauptbeiträge

Verweigerungsindex (RI): Eine fundierte Metrik, die direkt die Übereinstimmung zwischen Verweigerungsentscheidungen und Antwortfalschheit misst, unabhängig von der allgemeinen Genauigkeit oder Verweigerungsrate eines Modells.
Leichte Evaluierung: Ein Zwei-Pass-Protokoll, das nur Standard-Evaluierungen als Black-Box erfordert (keine Hilfsmodelle, keinen Zugriff auf interne Zustände oder teure schätzungsintensive Konfidenzschätzung), um den RI zu berechnen.
Empirische Validierung: Umfassende Experimente über 16 Modelle (einschließlich Open-Source- und proprietärer Modelle wie Qwen, Llama, Claude, GPT und Gemini) und 5 Datensätze (SimpleQA, PreciseWikiQA, FaithEval usw.).
Einblick in die Modellzuverlässigkeit: Die Studie zeigt, dass eine hohe faktische Genauigkeit kein zuverlässiges Verweigerungsverhalten garantiert, und identifiziert eine anhaltende Lücke in den aktuellen Fähigkeiten von LLMs.

Experimentelle Ergebnisse

Stabilität: Der RI bleibt über verschiedene Verweigerungsraten hinweg stabil, die durch variierende Systemprompte induziert werden. Im Gegensatz dazu schwanken heuristische Metriken (z. B. F-Score, Weighted Score) erheblich (bis zu 70 % Variation), wenn sich die Verweigerungsraten ändern, und erfassen keine konsistente zugrundeliegende Fähigkeit.
Korrelation mit Kalibrierung: Der RI zeigt eine starke positive Korrelation (85,8 %) mit AUROC-Werten, die aus schätzungsintensiver Unsicherheitsschätzung ( $P(\text{Beantworten})$ ) abgeleitet wurden, was seine Verlässlichkeit als Maß für die Rangkalibrierung validiert.
Modell-Rankings: Der RI liefert konsistente Modell-Rankings, die unabhängig von Genauigkeit und Verweigerungsraten sind. Wenn die monotonen Effekte von Genauigkeit und Verweigerungsraten entfernt werden, degradieren heuristische Metriken zu einer nahezu zufälligen Stabilität, während der RI eine hohe Konsistenz der Rangfolge beibehält.
Einfluss der Modellfamilie: Der stärkste Prädiktor für die Fähigkeit zur wissensbewussten Verweigerung ist die Modellfamilie (Trainingspipeline und Daten) und nicht die Modellgröße oder allgemeine Genauigkeit. Beispielsweise schneiden Claude- und Qwen-Modelle im RI konsistent besser ab als andere, während Gemini- und GPT-4.1-Varianten häufig unterhalb der Regressionslinie liegen.
Kontextsensitivität: Modelle zeigen eine verschlechterte Verweigerungsleistung, wenn der Ground Truth im bereitgestellten Kontext nicht verfügbar ist (z. B. in „Unbeantwortbar"- oder „Inkonsistent"-Szenarien), was auf eine übermäßige Abhängigkeit von Kontexthinweisen statt auf eine interne Wissenskalibrierung hindeutet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der RI eine essentielle, bisher übersehene Dimension der Modellzuverlässigkeit erfasst. Während aktuelle Faktizitätsbewertungen sich auf Genauigkeit oder Halluzinationsraten konzentrieren, hebt der RI hervor, dass selbst Modelle mit hoher Genauigkeit unzuverlässige und fragile Verweigerungsverhalten aufweisen können.

Die Autoren argumentieren, dass:

Prompting nicht ausreicht: Die bloße Anweisung an Modelle, „vorsichtiger" zu sein, erhöht zwar die Verweigerungsraten, verbessert aber nicht die Qualität der Verweigerungsentscheidungen (der RI bleibt stabil und weit entfernt von perfekt).
Notwendigkeit neuer Evaluierungsstandards: Umfassende Faktizitätsbewertungen müssen wissensbewusste Verweigerungsmaße integrieren. Die ausschließliche reliance auf Genauigkeit oder Standard-Kalibrierungsmetriken kann erhebliche Risiken beim Einsatz von Modellen verschleiern.
Praktischer Nutzen: Die Zwei-Pass-RI-Evaluierung bietet eine praktische, kostengünstige Alternative zu teuren Kalibrierungsmethoden und ermöglicht zuverlässigere Vergleiche des Modell-Selbstwissens, ohne White-Box-Zugriff oder zusätzliches Training zu erfordern.

Die Arbeit kommt zu dem Schluss, dass LLMs zwar in der faktischen Genauigkeit Fortschritte machen, ihre Fähigkeit jedoch, die Grenzen ihres eigenen Wissens genau einzuschätzen, eine kritische Herausforderung bleibt, die gezielte Messung und Verbesserung erfordert.