Technische Samenvatting: Kunnen LLM's Vragen Weigeren die Ze Niet Kennen? Het Meten van Kennisbewuste Weigering in Feitelijke Taken

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor kennisintensieve feitelijke taken. Ze lijden echter vaak aan slechte kalibratie, waarbij ze met hoge zekerheid onjuiste antwoorden geven (hallucinaties). Een cruciaal veiligheidsmechanisme is kennisbewuste weigering: het vermogen van een model om vragen te weigeren die buiten zijn kennisgrenzen vallen. Hoewel recent werk heeft onderzocht hoe weigeringen kunnen worden geïnduceerd via prompting of fine-tuning, falen bestaande evaluatiemetrics om dit vermogen nauwkeurig te meten. Traditionele metrics, zoals weigeringspercentages of combinaties van nauwkeurigheid en weigering (bijvoorbeeld F-score), zijn vaak heuristisch, gevoelig voor door prompting veroorzaakte veranderingen in de frequentie van weigeringen, en slagen er niet in de fundamentele correlatie tussen de beslissing van een model om te weigeren en de feitelijke onjuistheid van het antwoord dat het zou hebben gegeven, vast te leggen.

Methodologie: De Weigeringsindex (RI)

Om deze hiaten aan te pakken, stellen de auteurs de Weigeringsindex (RI) voor, een nieuwe metric die is ontworpen om kennisbewuste weigering te kwantificeren.

Definitie

De RI wordt gedefinieerd als de Spearman rangcorrelatie tussen de weigeringskans ($r_i$) van een model en de foutkans ($w_i$) over een reeks vragen.
$$\text{RI} = \rho_S = \text{Corr}(\text{Rank}(r_i), \text{Rank}(w_i))$$
Een perfecte RI van 1 geeft aan dat een model consequent de moeilijkste (foutgevoeligste) vragen weigert en de makkelijkste beantwoordt. Een RI van 0 impliceert willekeurig weigergedrag. In tegenstelling tot kalibratiemetrics die absolute discrepanties meten (bijvoorbeeld Expected Calibration Error), richt de RI zich op de rangorde van moeilijkheid, waardoor deze robuust is tegen verschuivingen in de algehele weigeringspercentages.

Twee-Pass Evaluatiekader

Aangezien weigeringskansen latent zijn (een model weigert of antwoordt in één enkele pass), introduceren de auteurs een lichtgewicht twee-pass evaluatiemethode om de RI te schatten:

1. Eerste Pass: Het model wordt geëvalueerd op een feitelijke dataset met een systeemprompt die het toelaat om te antwoorden of te weigeren. Reacties worden geclassificeerd als Correct, Onjuist of Geweigerd. Dit levert het weigeringspercentage ($r$) en de nauwkeurigheid van de geprobeerde antwoorden op.
2. Tweede Pass: Voor vragen die in de eerste pass werden geweigerd, wordt de systeemprompt bijgewerkt om het model te forceren een antwoord te geven (de weigeringsoptie wordt verwijderd). De juistheid van deze geforceerde antwoorden wordt vastgelegd.
3. Berekening: Met behulp van de gezamenlijke verdeling van weigerafspraken en juistheid van geforceerde antwoorden modelleren de auteurs de relatie met een Gaussische copula. Ze schatten de correlatieparameter ($\rho$) via maximum likelihood op de resulterende $2 \times 2$ contingentietabel en converteren deze naar de Spearman rangcorrelatie ($\rho_S$) met behulp van de standaardformule: $\rho_S = \frac{6}{\pi} \arcsin(\frac{\rho}{2})$.

Belangrijkste Bijdragen

1. Weigeringsindex (RI): Een principiële metric die direct de uitlijning meet tussen weigerafspraken en onjuistheid van antwoorden, onafhankelijk van de algehele nauwkeurigheid of het weigeringspercentage van een model.
2. Lichtgewicht Evaluatie: Een twee-pass protocol dat alleen standaard black-box-evaluaties vereist (geen hulpmodellen, toegang tot interne staten of dure schattingen van zekerheid op basis van sampling) om de RI te berekenen.
3. Empirische Validatie: Uitgebreide experimenten over 16 modellen (inclusief open-source en propriëtaire modellen zoals Qwen, Llama, Claude, GPT en Gemini) en 5 datasets (SimpleQA, PreciseWikiQA, FaithEval, enz.).
4. Inzicht in Modelbetrouwbaarheid: De studie onthult dat hoge feitelijke nauwkeurigheid geen betrouwbare weigerafspraken garandeert, en identificeert een aanhoudende kloof in de huidige LLM-capaciteiten.

Experimentele Resultaten

• Stabiliteit: De RI blijft stabiel over verschillende weigeringspercentages die worden veroorzaakt door variërende systeemprompts. In tegenstelling hiermee fluctueren heuristische metrics (bijvoorbeeld F-score, Weighted Score) aanzienlijk (tot 70% variatie) wanneer de weigeringspercentages veranderen, waardoor ze falen om een consistente onderliggende vaardigheid vast te leggen.
• Correlatie met Kalibratie: De RI toont een sterke positieve correlatie (85,8%) met AUROC-scores die zijn afgeleid van schattingen van onzekerheid op basis van sampling ($P(\text{Antwoorden})$), wat de betrouwbaarheid ervan valideert als maat voor rang-kalibratie.
• Modelrangschikkingen: De RI levert consistente modelrangschikkingen op die onafhankelijk zijn van nauwkeurigheid en weigeringspercentages. Wanneer de monotoon effecten van nauwkeurigheid en weigeringspercentages worden verwijderd, degraderen heuristische metrics tot bijna-willekeurige stabiliteit, terwijl de RI een hoge consistentie in rangschikking behoudt.
• Invloed van Modelfamilie: De sterkste voorspeller van het vermogen tot kennisbewuste weigering is de modelfamilie (trainingspijplijn en data), en niet de modelgrootte of algemene nauwkeurigheid. Zo presteren Claude- en Qwen-modellen consequent beter dan anderen in de RI, terwijl Gemini- en GPT-4.1-varianten vaak onder de regressielijn vallen.
• Contextgevoeligheid: Modellen vertonen een verslechterde weigeringprestatie wanneer de grondwaarheid niet beschikbaar is in de verstrekte context (bijvoorbeeld in "Onbeantwoordbare" of "Inconsistente" scenario's), wat wijst op een overmatige afhankelijkheid van contextuele aanwijzingen in plaats van interne kenniskalibratie.

Betekenis en Beweringen

Het artikel beweert dat de RI een essentiële, eerder over het hoofd geziene dimensie van modelbetrouwbaarheid vastlegt. Waar huidige evaluaties van feitelijke juistheid zich richten op nauwkeurigheid of hallucinatiepercentages, benadrukt de RI dat zelfs modellen met hoge nauwkeurigheid onbetrouwbare en fragiele weigerafspraken kunnen bezitten.

De auteurs betogen dat:

1. Prompting onvoldoende is: Het simpelweg instrueren van modellen om "voorzichtiger" te zijn, verhoogt de weigeringspercentages maar verbetert niet de kwaliteit van de weigerafspraken (de RI blijft stabiel en ver weg van perfect).
2. Noodzaak van nieuwe evaluatiestandaarden: Een uitgebreide beoordeling van feitelijke juistheid moet kennisbewuste weigeringmaatregelen incorporeren. Het uitsluitend vertrouwen op nauwkeurigheid of standaard kalibratiemetrics kan aanzienlijke risico's bij de implementatie van modellen maskeren.
3. Praktische bruikbaarheid: De twee-pass RI-evaluatie biedt een praktische, goedkope alternatief voor dure kalibratiemethoden, waardoor betrouwbaardere vergelijkingen van modelzelfkennis mogelijk worden zonder witte-doos-toegang of aanvullende training te vereisen.

Het werk concludeert dat, hoewel LLM's verbeteren in feitelijke nauwkeurigheid, hun vermogen om de grenzen van hun eigen kennis nauwkeurig te beoordelen een kritieke uitdaging blijft die specifieke meting en verbetering vereist.