LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature-Criterion Analogy

1. Probleemstelling

Grote Taalmodellen (LLMs) worden momenteel voornamelijk geëvalueerd op hun kalibratie (hoe goed de uitgedrukte zekerheid overeenkomt met de nauwkeurigheid) met behulp van metrics zoals de Expected Calibration Error (ECE). Het artikel stelt dat deze metrics fundamenteel tekortschieten omdat ze twee distincte componenten van prestaties vermengen:

1. Sensitiviteit (Sensitivity): De intrinsieke capaciteit van het model om correcte antwoorden te onderscheiden van incorrecte antwoorden.
2. Bias (Criterium): De neiging van het model om zich zelfverzekerd of voorzichtiger uit te drukken, ongeacht de discriminatiecapaciteit.

Een model dat slecht discrimineert maar consistent de verkeerde zekerheid uitdrukt, kan een perfecte ECE-score hebben. Omgekeerd kan een model dat goed discrimineert maar een verkeerd "criterium" (drempel voor antwoorden) hanteert, slecht kalibreren. Bestaande evaluaties maken geen onderscheid tussen deze twee, wat leidt tot verkeerde interventies (bijv. het opnieuw trainen van een model dat alleen zijn responsbeleid moet aanpassen).

2. Methodologie

De auteur past de Signaal Detectie Theorie (SDT), een wiskundig raamwerk uit de psychofysica, toe op LLMs. In plaats van alleen naar de uitkomst te kijken, wordt het model behandeld als een "waarnemer" die bewijsmateriaal verwerkt.

• Experimenteel Ontwerp:
  • Modellen: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, en Llama-3-8B-Base.
  • Datasets: TriviaQA (168.000 trials) en Natural Questions (replicatie).
  • Voorwaarde: De temperatuur ($T$) van de generatie varieerde van 0,1 tot 2,0.
  • Paradigma's:
    1. Confidence-Rating: Het model genereert een antwoord en de genormaliseerde log-probabiliteit (NLP) dient als bewijsvariabele.
    2. 4-Alternative Forced Choice (4AFC): Het model kiest uit vier opties om een onafhankelijke schatting van sensitiviteit ($d'_{4AFC}$) te verkrijgen.
• SDT-Analyse:
  • Toepassing van het Unequal-Variance Signal Detection (UVSD) model.
  • Constructie van ROC-curves (Receiver Operating Characteristic) en z-ROC-analyse om de helling ($s$) te bepalen.
  • Schatting van de parameters: $d_a$ (gecorrigeerde sensitiviteit), $c$ (criteriumpositie), en AUC (Area Under the Curve).
• Hypothese: De studie testte de analogie dat temperatuur werkt als een manipulatie van het "criterium" (zoals payoff-manipulatie bij mensen), waarbij de sensitiviteit constant zou moeten blijven.

3. Belangrijkste Bijdragen

1. Temperatuur is geen zuivere criterium-manipulatie: De studie weerlegt de hypothese dat temperatuur alleen het antwoordbeleid verandert. Temperatuur beïnvloedt zowel het criterium als de sensitiviteit.
2. Ongeëvenredige variantie (Unequal Variance): LLMs vertonen een structuur waarbij de verdeling van bewijs voor correcte antwoorden een andere variantie heeft dan voor incorrecte antwoorden.
3. Diagnostische waarde van SDT: De decompositie in sensitiviteit en bias onthult structuren die onzichtbaar zijn voor standaard kalibratiemetrics zoals ECE.

4. Resultaten

A. De Breuk van de Temperatuur-Analogie (H1)

De hypothese dat temperatuur alleen het criterium verschuift zonder de sensitiviteit te veranderen, werd verworpen.

• Resultaat: Bij het verhogen van de temperatuur nam de AUC (een maat voor sensitiviteit) monotoon toe (van ~0,74 naar ~0,81 bij Llama-3), terwijl het criterium ($c$) verschuift (van zeer liberaal naar minder liberaal).
• Interpretatie: Hogere temperaturen spreiden de verdeling van de NLP-waarden (Normalised Log-Probability), wat leidt tot een betere scheiding tussen de bewijsverdelingen van correcte en incorrecte antwoorden. Dit is een distributie-effect, geen teken van verbeterde feitelijke kennis. De feitelijke nauwkeurigheid daalde juist bij hogere temperaturen.

B. Ongeëvenredige Variantie (H4)

Alle modellen vertoonden een z-ROC-helling significant lager dan 1,0 (bereik: 0,52 tot 0,84).

• Dit betekent dat de variantie van het bewijs voor correcte antwoorden groter is dan voor incorrecte antwoorden ($\sigma_{signal} > \sigma_{noise}$).
• Instruct-modellen (Llama-3-Instruct, Mistral) vertoonden een extremer ongelijkheid (hellingen 0,52–0,63) dan het basismodel (0,77–0,87) en zelfs sterker dan wat typisch wordt gevonden bij menselijk herkenningsgeheugen (~0,80). Dit suggereert dat instructie-tuning (RLHF) de variabiliteit in zekerheid voor correcte antwoorden versterkt.

C. Verborgen Structuur en ECE (H2)

Modellen met vergelijkbare ECE-scores bleken fundamenteel verschillende posities in de SDT-ruimte in te nemen.

• Voorbeeld: Mistral had een hogere sensitiviteit ($d_a \approx 1,97$) maar een meer liberaal criterium dan Llama-3-Instruct ($d_a \approx 1,39$). Een ECE-meting zou Llama-3 als beter gekalibreerd kunnen presenteren, terwijl SDT laat zien dat Mistral beter kan discrimineren maar een ander responsbeleid hanteert. Dit bepaalt de juiste interventie: Mistral heeft geen hertraining nodig, maar een aanpassing van het criterium (bijv. temperatuur).

D. Domein-specifieke Sensitiviteit (H5)

Sensitiviteit varieerde sterk per kennisdomein. "Wetenschap & Technologie" was consistent het moeilijkste domein (laagste $d_a$), wat aangeeft dat dit domein betere training vereist en niet alleen kalibratie.

E. Fluency vs. Nauwkeurigheid

Een cruciale bevinding is dat de gebruikte bewijsvariabele (NLP) verward wordt door "fluency" (vloeiendheid). Het model genereert vaak zeer vlot, maar incorrecte antwoorden die een hogere NLP-score hebben dan correcte, maar anders geformuleerde antwoorden. De "echte" waarheidssignalen zijn aanwezig maar worden deels gemaskeerd door de fluency van zelfgegenereerde fouten.

5. Betekenis en Conclusie

De studie demonstreert dat het toepassen van het volledige parametrische SDT-raamwerk op LLMs essentieel is voor een nauwkeurige diagnose van hun prestaties.

• Praktische Implicaties: Het onderscheid tussen "kan niet discrimineren" (lage sensitiviteit, vereist hertraining) en "discrimineert goed maar antwoordt verkeerd" (verkeerd criterium, vereist kalibratie/temperatuur-aanpassing) is nu kwantificeerbaar.
• Theoretische Bijdrage: De studie toont aan dat temperatuur geen neutrale parameter is die alleen het criterium beïnvloedt; het verandert de onderliggende bewijsverdeling. Dit breekt met de analogie uit de menselijke psychofysica.
• Toekomst: De methologie biedt een weg voor gerichte interventies in high-stakes toepassingen en suggereert dat toekomstige evaluaties moeten verschuiven van aggregatie-metrics (zoals ECE) naar decompositie-metrics (sensitiviteit en bias) om de ware capaciteit van AI-systemen te begrijpen.

Samenvattend biedt dit onderzoek een robuust, psychometrisch onderbouwd kader om de "zwarte doos" van LLM-zekerheid te doorgronden, waarbij het aantoont dat wat we zien als "onzekerheid" vaak een complexe interactie is van modelcapaciteit, trainingsbias en generatieparameters.