Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification
Dit artikel onthult dat de extreme schaarste aan verbaal geuite betrouwbaarheidsschattingen in LLM's evaluatiemetrieken zoals AUARC kritiek vertekent afhankelijk van interpolatiemethoden, en stelt een kostenvrije "verbalization logprobs"-benadering voor die deze schaarste mitigeert om superieure en eerlijkere prestatierangschikkingen te bereiken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een team inhuurt van superintelligente, praatgrage robots om een berg post te sorteren in "Goede" en "Slechte" stapels. Je wilt niet alleen dat ze de post sorteren; je wilt ook dat ze je vertellen hoe zeker ze zijn over elk stuk. Als een robot slechts voor 50% zeker is, wil je die brief misschien apart leggen zodat een mens deze kan controleren. Dit is de wereld van Large Language Models (LLMs) die fungeren als classificatiesystemen. Deze AI-systemen zijn als briljante maar soms overmoedige studenten; ze kunnen essays schrijven en raadsels oplossen, maar wanneer ze gevraagd wordt dingen te categoriseren, moeten ze in staat zijn om te zeggen: "Ik ben vrij zeker," of "Ik gok maar wat."
De grote vraag waar wetenschappers zich mee bezighouden is: Hoe weten we of deze robots eigenlijk de waarheid spreken over hun zelfvertrouwen? Als een robot zegt: "Ik ben 95% zeker," is dat dan een echt, berekend gevoel, of is het gewoon een gelukkige gok? Om dit te testen, gebruiken onderzoekers een speciale scorekaart genaamd de Accuracy-Rejection Curve. Stel je een schuifregelaar voor: naarmate je de robot strenger maakt (alleen antwoorden accepteert waarvan hij zegt dat hij 99% zeker is), wordt de stapel geaccepteerde brieven kleiner, maar zijn de brieven die in de stapel achterblijven bijna altijd correct. Het doel is om het "sweet spot" te vinden waar je de meeste brieven behoudt terwijl je nog steeds super accuraat bent. Het probleem is dat het meten van deze scorekaart lastig is als de antwoorden van de robot klonterig en repetitief zijn.
De "95%" Gewoonte van de Robot
In dit artikel ontdekten de auteurs, Elena Merdjanovska en haar team, een vreemde eigenschap in de manier waarop deze AI-robots hun vertrouwen uitdrukken. Wanneer je een robot vraagt om een getal hardop uit te spreken (zoals "Ik ben 95% zeker"), kiest hij niet willekeurig getallen zoals een mens die dobbelstenen gooit. In plaats daarvan blijft hij in een sleur hangen.
Denk aan een student die een meerkeuzetoets maakt en, in plaats van na te denken, gewoon "95" op elk antwoordblad schrijft omdat het een veilig, rond getal voelt. De onderzoekers ontdekten dat een populair AI-model (Qwen3-32B) slechts acht unieke getallen gebruikte (0.6, 0.65, 0.7, 0.75, 0.85, 0.9, 0.95 en 0.98) om zijn vertrouwen te beschrijven over duizenden vragen heen. Nog gekker nog? Meer dan de helft van de tijd zei hij simpelweg 95%.
Dit is een probleem omdat het is alsof je een radio probeert af te stemmen, maar de draaiknop alleen vastklikt op acht specifieke plekken. Als je de "slechte" brieven wilt wegfilteren om 98% nauwkeurigheid te krijgen, moet je misschien 40% van je post weggooien. Maar als de robot je een preciezer getal kon geven, zoals 96,3%, zou je misschien slechts 28% van de post hoeven weg te gooien. Omdat de robot zo "ijler" is (vastzit op zo weinig getallen), verspilt hij veel goede data.
De Valstrik van de "Gladde Lijn"
Hier wordt het verhaal complexer. De onderzoekers ontdekten dat de manier waarop wetenschappers de prestaties van de robot maten, hen eigenlijk bedroog.
Om de scorekaart (genoemd AUARC) te berekenen, trekken onderzoekers meestal een lijn die de punten op een grafiek verbindt. De meeste mensen gebruiken lineaire interpolatie, wat een gladde, rechte lijn tussen de punten trekt, uitgaande van de veronderstelling dat het vertrouwen van de robot geleidelijk verandert. Maar als de robot slechts acht getallen heeft, zijn er enorme gaten tussen de punten! Een gladde lijn door die gaten trekken is als het verbinden van de punten van een grillige bergketen met een rechte liniaal — het creëert een valse, gladde heuvel die niet bestaat.
De auteurs toonden aan dat het gebruik van deze "gladde lijn"-methode de robots veel beter deed lijken dan ze in werkelijkheid waren. Sterker nog, toen ze overstapten naar de juiste methode — stepwise interpolatie, die een platte lijn trekt totdat het volgende werkelijke getal verschijnt — draaide de rangorde volledig om. Een methode die er met de gladde lijn uitzag als de "kampioen", zakte met de stepwise-lijn naar de laatste plaats. Het bleek dat de gladde lijn slechts een optische illusie was die de ijle robots flexibeler deed lijken dan ze in werkelijkheid waren.
De Magische "Logprobs" Truc
Dus, hoe fixen we een robot die slechts in acht getallen spreekt? Het team stelde een slimme hack voor genaamd Verbalization Logprobs.
Normaal gesproken, wanneer een robot "95%" zegt, spuugt hij gewoon de woorden "9" en "5" uit. De standaardmanier om dit te gebruiken is om simpelweg het getal 95 te nemen. Maar de robot weet eigenlijk meer: hij weet hoe waarschijnlijk het was om "9" te kiezen versus "8", en hoe waarschijnlijk het was om "5" te kiezen versus "6". Deze verborgen waarschijnlijkheden worden logprobs genoemd.
De nieuwe methode van de auteurs is als het vragen aan de robot, niet alleen om het getal, maar om het gevoel achter het getal. In plaats van alleen "95" te nemen, berekenen ze een gewogen gemiddelde op basis van hoe zeker de robot was over elk cijfer. Dit verandert het klonterige, achttalige antwoord van de robot in een vloeiende, continue stroom van vertrouwen.
De resultaten waren indrukwekkend. Door deze truc te gebruiken, werden de vertrouwensscores van de robot veel gedetailleerder (een sprong van slechts 8 unieke waarden naar meer dan 600 unieke waarden!). Dit kostte geen extra computerkracht of tijd; het maakte simpelweg gebruik van informatie die de robot al had. Met deze nieuwe methode kon de robot dat "sweet spot" veel beter vinden, wat de prestaties met 2,3 punten verbeterde vergeleken met de oude methode. Het was alsof je de robot een high-definition draaiknop gaf in plaats van een kapotte, klikkende knop, waardoor hij de post met veel minder verspilling kon sorteren.
De Conclusie
Het paper concludeert dat we moeten stoppen met pretenderen dat deze robots vloeiende operators zijn, terwijl ze in werkelijkheid vrij rigide zijn. Als we blijven vasthouden aan de "gladde lijn"-methode om ze te beoordelen, krijgen we een vals gevoel van veiligheid. Door over te stappen op de "stepwise" manier van meten en de "logprobs"-truc te gebruiken om gedetailleerdere antwoorden te krijgen, kunnen we deze AI-classificaties eindelijk vertrouwen om ons te vertellen wanneer ze echt zelfverzekerd zijn en wanneer ze gewoon wat gokken. Het is een kleine verandering in hoe we luisteren, maar het maakt een enorm verschil in hoe goed we deze digitale helpers kunnen gebruiken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.