💬 NLP

The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions

Dit artikel introduceert de "score granulairiteitskloof" om aan te tonen dat hoewel single-shot verbaal geuite betrouwbaarheidsscores in black-box LLM's gevallen goed rangschikken, ze slechts enkele grove drempelwaarden bieden voor implementatie, terwijl aggregatie via meerdere queries zwakke modellen verbetert maar sterke modellen kan verslechteren.

Oorspronkelijke auteurs: Ao Sun, Tian Sun, Jiaxing Geng

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ao Sun, Tian Sun, Jiaxing Geng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een drukke fabriek. Je hebt een nieuwe, superintelligente robot (een AI) die pakketten sorteert. Soms is de robot 100% zeker dat een pakket "Goed" is, en soms is hij 100% zeker dat het "Slecht" is. Maar wat te doen met de pakketten waarover de robot twijfelt?

In de echte wereld kun je de robot niet elke beslissing laten nemen. Je hebt een veiligheidsregel nodig: "Als de robot 90% zeker is, verzend het automatisch. Als hij minder zeker is, stuur het naar een mens om te controleren."

Dit artikel gaat over een verborgen probleem met de manier waarop we deze robots vragen om aan te geven hoe zeker ze zijn. De auteurs noemen dit de "Score Granularity Gap" (het gat in de score-granulariteit).

Hier is de uitleg in eenvoudige termen:

1. Het Probleel: De "Kapotte Draaiknop"

Stel je voor dat de robot jou een vertrouwensscore geeft om te beslissen wat te doen.

Het Ideaal: Een vloeiende draaiknop die van 0% tot 100% gaat met oneindig veel kleine stapjes. Je kunt je regel instellen op elk punt (bijv. "Alleen automatisch verzenden als het 73,4% zeker is").
De Realiteit: De "draaiknop" van de robot is kapot. Hij heeft niet 100 stappen. Hij kan slechts vier of vijf verschillende getallen noemen, zoals "Laag", "Gemiddeld", "Hoog" en "Zeer Hoog".

Zelfs als de robot ongelooflijk slim is en de "Goede" pakketten correct boven de "Slechte" rangschikt (hij weet wel welke beter is), kan hij je niet helpen om je fabriek fijn af te stellen. Als je precies de top 70% van de pakketten wilt accepteren, maar de robot geeft alleen scores van 50% en 90%, dan zit je vast. Je accepteert óf 50% óf 90%, maar nooit 70%.

De Analogie: Het is alsovergelijkbaar met het proberen af te stemmen op een radio die slechts vier zenders heeft: Nieuws, Muziek, Sport en Weer. Zelfs als het Muziekstation perfect is, kun je geen "Jazz" of "Rock" luisteren omdat de radio die kanalen niet heeft. Je zit vast met een "grove trap" in plaats van een vloeiende helling.

2. Het Experiment: Zeven Manieren om de Robot te Vragen

De onderzoekers testten zeven verschillende manieren om de AI om een vertrouwensscore te vragen om te zien welke methode de meeste "stappen" op de draaiknop geeft.

Methode A: Gewoon Vragen (de "Verbalized" score). Je vraagt de AI: "Ben je zeker?" en de AI zegt: "Ik ben 85% zeker."
- Resultaat: De AI is eigenlijk erg goed in het rangschikken van zaken (hij weet wat juist is), maar hij gebruikt slechts een handvol getallen (zo zoals 0,5, 0,8, 0,9, 1,0). Het is een grove draaiknop.
Methode B: De "Token" Score. Als de AI de mogelijkheid krijgt om zijn interne berekeningen (log-waarschijnlijkheden) te tonen, kan hij meer getallen geven.
- Resultaat: Dit geeft een vloeiendere draaiknop, maar veel commerciële robots zullen hun berekeningen niet met je delen.
Methode C: De "Crowd" (Multi-Query). Je stelt dezelfde vraag 10 keer, misschien met een iets andere formulering, en middelt de antwoorden.
- Resultaat: Dit creëert een zeer vloeiende draaiknop met honderden stappen. Echter, er is een addertje onder het gras.
  - Als de robot zwak is (niet erg slim), maakt het vragen van de vraag 10 keer de robot veel slimmer en geeft het je een goede draaiknop.
  - Als de robot sterk is (al erg slim), kan het 10 keer vragen de robot juist verwarren en de rangschikking slechter maken. Het is alsof je een genie 10 verschillende mensen om advies vraagt; zij kunnen de boel alleen maar vertroebelen.

3. De "Interpretability" Twist (Verklaarbaarheid)

De onderzoekers probeerden ook een methode waarbij ze de vraag opdeelden in 10 kleinere, specifieke vragen (bijv. "Bevat deze zin een tegenstrijdigheid?" "Is de grammatica correct?").

Waarom dit doen? Niet omdat het beter rangschikt, maar omdat het uitlegbaar is.
Het Voordeel: Als de robot een fout maakt, kun je naar de 10 kleine antwoorden kijken en zeggen: "Ah, hij maakte een fout omdat hij de grammatica niet begreep." Dit is als het hebben van een bonnetje dat precies laat zien wat je hebt gekocht, in plaats van alleen een totaalbedrag. Dit is cruciaal voor gereguleerde sectoren (zoals de medische wereld of de juridische sector) waar je moet weten waarom een beslissing is genomen.

4. De Conclusie: Wat Moet Je Doen?

Het paper geeft een eenvoudige gids voor mensen die deze AI-systemen inzetten:

Converteer het antwoord altijd: Als de AI zegt "Ik ben 90% zeker van NIET", moet je dat omzetten naar "Ik ben 10% zeker van JA" voordat je het als score gebruikt. Anders werkt je sortering achterstevoren.
Als je een zwakke AI hebt: Gebruik de "Crowd"-methode (vraag het 10 keer). Dit maakt de AI slimmer en geeft je een vloeiende draaiknop om mee te werken.
Als je een sterke AI hebt: Houd je aan de eenvoudige "Gewoon Vragen"-methode. Dit is snel en rangschikt goed. Vraag het niet 10 keer, want dan maak je het misschien slechter.
Als je je beslissingen moet kunnen uitleggen: Gebruik de "Kleine Vragen"-methode. Dit geeft je een vloeiende draaiknop en een duidelijke reden voor elke beslissing, ook al kost dit meer rekenkracht.

Samenvatting

Het paper betoogt dat we niet alleen moeten vragen: "Is de AI zelfverzekerd?" We moeten vragen: "Hoe fijnmazig kunnen we die zelfverzekerdheid afstellen?"

Een perfect rangschikkingssysteem is nutteloos als het je slechts drie knoppen aanbiedt om in te drukken. Om een betrouwbaar geautomatiseerd systeem te bouwen, heb je een score nodig die genoeg "stappen" biedt zodat je het risico nauwkeurig kunt beheersen, of dat nu betekent dat je een eenvoudige conversie gebruikt, een slimme "menigte" aan vragen, of een transparante uitsplitsing van de logica.

Technische Samenvatting: De Granulariteitskloof in Score-scores bij Black-Box LLM Classificatie

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als black-box classificatoren in kritieke processen (bijv. medische triage, contentmoderatie) die vertrouwen op selectieve voorspelling. In deze setting stelt een operator een betrouwbaarheidsdrempel in om voorspellingen met een hoog vertrouwen te automatiseren en onzekere gevallen door te sturen naar menselijke beoordeling.

Eerder onderzoek heeft zich gericht op de vraag of het vertrouwen van een LLM gekalibreerd is (betekent een geëstateerde 80% ook daadwerkelijk 80% nauwkeurigheid?) of dat het correct gerangschikt is (ordent het fouten onder de correcte voorspellingen?). Dit artikel identificeert echter een cruciale, over het hoofd geziene dimensie voor implementatie: score-granulariteit.

Het kernprobleid is de Granulariteitskloof (Score Granularity Gap): een betrouwbaarheidsscore kan gevallen perfect rangschikken, maar is nutteloos voor fijnmazige controle als deze slechts enkele verschillende waarden aanneemt. Als een score slechts $V$ verschillende waarden biedt, kan een operator maximaal $V$ niet-triviale werkpunten (drempels) definiëren, ongeacht hoe goed de score rangschikt. Dit creënd een "grove trapvormige structuur" van haalbare risico-dekking-trade-offs in plaats van een vloeiende draaiknop, waardoor het systeem inflexibel wordt voor specifieke foutbudgetten.

2. Methodologie

Experimentele Opzet

De studie evalueert zeven constructies van vertrouwen over 25 model–datasetparen (9 LLM's van variërende sterkte op 3 benchmarks: BoolQ, MNLI en PubMedQA). De modellen variëren van sterk (bijv. GPT-4o-mini, Llama-3.1-70B) tot zwak (bijv. GPT-5-nano, Llama-3.1-8B).

Constructies van Vertrouwen

De auteurs vergelijken methoden die vallen in twee categorieën:

Single-Shot (1 modeloproep):
- Verb (Verbalized): Verbaal geuite vertrouwensscore omgezet naar een klassenkans (waarbij negatieve klasse-voorspellingen worden afgehandeld via $P(pos) = 1-c$ als $\hat{y}=0$ ).
- Verb-logprob: Log-waarschijnlijkheden van de eerste token (waar API-toegang dit toestaat).
- Verb-logprob+T: Log-waarschijnlijkheden met post-hoc temperatuur-scaling.
Multi-Signal (10 modeloproepen per input):
- Sub-taak Decompositie: Het model beantwoordt 10 handontworpen, interpreteerbare ja/nee sub-vragen (bijv. "lexicale_overlap", "semantische_entailment").
- Multi-Prompt Paraphrase: Het model beantwoordt 10 geparafraseerde versies van de oorspronkelijke prompt.
- Aggregatie: De 10 scalaire scores worden gecombineerd via:
  - Eenvoudig Gemiddelde: Naïef gemiddelde.
  - Learned Combination (LR): Logistische regressie met L2-regularisatie om gewichten en tekens te leren.
  - Kalibratie: Temperatuur-scaling toegepast op de logistische regressie-logits.

Metrieken

De studie evalueert scores langs drie assen:

Rangschikkingskwaliteit: Gemeten door PR-AUC (en genormaliseerde PR-AUC $_N$ ) en AURC (Area Under Risk-Coverage).
Score-resolutie: Gemeten door:
- Granulariteit ( $G$ ): Aantal verschillende scorewaarden.
- Score-entropie ( $H$ ): Verspreiding van de distributie over 20 bins.
- Interne Massa ( $M$ ): Fractie van de scores in het bruikbare bereik $(0.1, 0.9)$ .
Kosten & Interpreteerbaarheid: Aantal modeloproepen en de mogelijkheid om de redenering te auditeren (sub-taken bieden dit; paraphrases doen dit niet).

3. Belangrijkste Resultaten

De Granulariteitskloof

Verbaal Geuite Vertrouwen (Verb): Rangschikt verrassend goed (gemiddelde genormaliseerde PR-AUC $_N$ = 0.80), maar is extreem grof. Het biedt doorgaans slechts 1–21 verschillende waarden (gemiddelde $G=9$ ), waarbij 45% van de gevallen de meest voorkomende waarde deelt. Dit beperkt de operator tot ongeveer 9 drempels, wat een trapvormige risico-dekking curve creëert.
Resolutie vs. Rangschikking: Hoge rangschikking impliceert geen hoge resolutie. Een score kan gevallen perfect ordenen, maar toch onbruikbaar zijn voor drempelwaardes als het een gebrek aan verschillende waarden heeft.

Effecten van Aggregatie

Resolutie-expansie: Multi-query aggregatie (Sub-cal, MP-LR) vergroot consistent de resolutie, waarbij $G$ stijgt naar een gemiddelde van 138 en de interne massa ( $M \approx 45\%$ ) wordt opgevuld.
Impact op Rangschikking is Selectief:
- Zwakke Modellen: Aggregatie verbetert de rangschikking voor modellen met een nauwkeurigheid $\lesssim 85\%$ .
- Sterke Modellen: Aggregatie kan de rangschikking verslechteren voor sterke modellen (nauwkeurigheid $\gtrsim 90\%$ ). De geleerde gewichten kunnen de reeds goede rangschikking van de verbaal geuite scores verstoren, wat leidt tot een slechtere AURC in 13 van de 18 sterke-modelparen.
Learned vs. Naïef: Eenvoudig middelen faalt vaak (bijv. een daling naar bijna toeval bij MNLI) door conflicterende polariteiten in sub-taken. Geleerde logistische regressie is essentieel om het signaal te herstellen door de juiste tekens en gewichten toe te wijzen.

Interpreteerbaarheid

Sub-taken vs. Paraphrases: Paraphrase-aggregatie (MP-LR) evenaart of overtreft vaak de sub-taak-aggregatie (Sub-LR) qua rangschikking. Echter, sub-taken bieden implementatie-eigenschappen: transparantie van gewichten, fouttoerekening en audit-trails (rationales voor elke sub-score).
Foutmodi: Sub-taken kunnen falen als de handontworpen probes de label niet volgen (bijv. een specifiek model dat instort op BoolQ), maar deze fouten zijn zichtbaar en controleerbaar, in tegen tegenover de stille fouten van black-box paraphrase ensembles.

Token-waarschijnlijkheden

Waar beschikbaar, bieden ruwe log-waarschijnlijkheden een betere resolutie dan verbaal geuite scores. Post-hoc temperatuur-scaling verbetert de resolutie aanzienlijk (verhoging van $G$ naar 51–69) en de dekking bij lage foutpercentages, alles tegen een 1x kostenfactor.

4. Implementatie-richtlijnen

Het artikel stelt een besluitvormingsprocedure voor op basis van modelsterkte en beperkingen:

Converteer altijd verbaal geuite vertrouwensscores naar een klassenkans.
Indien log-waarschijnlijkheden beschikbaar zijn: Gebruik deze met temperatuur-scaling (beste verhouding tussen kosten/resolutie).
Indien het model zwak is ( $\lesssim 85\%$ nauwkeurigheid): Gebruik multi-query aggregatie (10x kosten) om zowel de rangschikking als de resolutie te verbeteren.
Indien het model sterk is ( $\gtrsim 90\%$ nauwkeurigheid): Houd vast aan de verbaal geuite vertrouwensscore voor de risico-dekking (om verslechtering te voorkomen). Gebruik aggregatie alleen als fijnmazige drempelcontrole strikt vereist is.
Indien interpreteerbaarheid vereist is: Geef de voorkeur aan sub-taak decompositie boven paraphrasing, omdat dit transparantie biedt zonder de rangschikking op te offeren (ten opzichte van MP-LR).

5. Betekenis en Claims

Het artikel claimt het evaluatieparadigma voor LLM-vertrouwen te verschuiven van een binaire "is het betrouwbaar?" naar een implementatiegerichte "bij welke resolutie kan er op gehandeld worden?".

Herformulering van "Onbetrouwbaarheid": Het narratief dat "LLM-vertrouwen onbetrouwbaar is" is deels een artefact van het verwarren van vertrouwen-in-het-antwoord met klassenkans en het negeren van resolutie. Eenmaal geconverteerd, rangschikt verbaal vertrouwen goed, maar mist het granulariteit.
Duidelijkheid in Trade-offs: De studie scheidt expliciet rangschikking, globale risico-dekking en drempel-controleerbaarheid. Het demonstreert dat aggregatie betrouwbaar werkpunten (fijnere controle) koopt, maar niet universeel de rangschikking verbetert, en zelfs schadelijk kan zijn voor sterke modellen.
Interpreteerbaarheid als Eigenschap: De auteurs stellen dat interpreteerbaarheid geen voordeel is voor de rangschikking, maar een implementatie-eigenschap die noodzakelijk is voor gereguleerde domeinen, bereikbaar via sub-taak scores.

De auteurs concluderen dat toekomstige evaluaties naast rangschikkingsmetrieken ook resolutie-metrieken (granulariteit, entropie, interne massa) moeten rapporteren, aangezien een score die perfect rangschikt maar slechts een handvol drempels biedt, niet klaar is voor implementatie.