Technische Samenvatting: Evaluatie van LLM-onzekerheid in Long-Form Generatie met Deterministische Grondwaarheid

Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker lange outputs genereren (bijv. code-repositories, complexe rapporten), moet de effectieve schatting van onzekerheid verschuiven van het verwerpen van volledige antwoorden naar het identificeren van fouten op fijnmaziger niveau. Het evalueren van onzekerheid op een dergelijke resolutie (van token tot atomaire eenheid) wordt echter momenteel belemmerd door het gebrek aan "zero-noise" benchmarks. Bestaande long-form benchmarks vertrouwen op feilbare labels, vaak gegenereerd door andere LLM's of menselijke beoordelaars, wat leidt tot labelruis en subjectiviteit. Deze ruis vervormt onzekerheidsmetrieken ernstig, vooral wanneer fouten in juistheid en labels dezelfde biases vertonen als de onzekerheidsscores, waardoor het moeilijk is om te onderscheiden of een model niet in staat is om fouten te rangschikken of dat de ruis inherent is aan de evaluatie zelf.

Methodologie: De SALT Benchmark

Om deze beperkingen aan te pakken, introduceren de auteurs Single-answer Atomic Long-form Target (SALT), een benchmark die ontworpen is voor zero-noise onzekerheidsevaluatie in long-form generatie.

Ontwerpprincipes

SALT bestaat uit zes procedureel gegenereerde taken die variëren in logica, wiskunde, code, vertaling en "multi-needles-in-a-haystack" (informatie-extractie). De belangrijkste ontwerpdoelen zijn:

1. Deterministische Grondwaarheid: Elke taakinstantie wordt algoritmisch geconstrueerd met een unieke, deterministische grondwaarheid die a priori bekend is. Dit elimineert de afhankelijkheid van externe beoordelaars.
2. Eenheids-gebaseerde Decompositie: Generaties worden gedecomponeerd in "evaluatie-eenheden" (atomaire eenheden zoals matrixelementen of logische deducties, en lijn-eenheden zoals matrixrijen). Juistheid wordt bepaald via strikte string-gelijkheid tussen gegenereerde eenheden en grondwaarheid-eenheden.
3. Onbegrensde Generatie: Taken worden procedureel gegenereerd met instelbare parameters, wat de creatie van nagenoeg oneindige instanties mogelijk maakt om het memoriseren van de testset te voorkomen.
4. Granulaire Metrieken: De benchmark evalueert accuratesse (Precisie), kalibratie (Expected Calibration Error - ECE) en rangschikking (Area Under the Receiver Operating Characteristic - AUROC) op meerdere resoluties: op atomaire, lijn- en generatieniveau.

Experimentele Opstelling

De auteurs evalueerden meer dan 50 hedendaagse LLM's (waaronder GPT-5.1, Gemini-3-Pro, Qwen-3 en diverse redeneermodellen) over deze taken. Ze analyseerden diverse confidence functions (logit-gebaseerd en verbaal) en post-hoc kalibratiemethoden (Z-Sigmoid, Min-Max, Binned) om hun prestaties bij het meten van kalibratie en rangschikking te beoordelen.

Belangrijkste Bevindingen

1. Dynamiek van Juistheid in Long-Form Generatie

• Pad-afhankelijkheid: Toekomstige juistheid is sterk pad-afhankelijk. De kwaliteit van de gegenereerde prefix bepaalt de toekomstige accuratesse. Een klein deel van eerdere fouten (bijv. 15% incorrecte atomen) correleert met een disproportionele degradatie in de daaropvolgende juistheid (dalend naar ~50%).
• Globaal vs. Lokaal Context: Globale prefix-juistheid is de dominante drijfveer van toekomstige fouten en draagt een signaal over dat ongeveer twee keer zo sterk is als de lokale (laatste 10 atomen) juistheid.
• Begrensde Lengte-degradatie: Hoewel het vergroten van de antwoord-context bijdraagt aan fouten, is dit effect begrensd en verzadigt het snel (rond de 66 atomen), onafhankelijk van de juistheid van de prefix.

2. De High-Resolution Ranking Gap

• Granulariteitsfalen: Er is een aanzienlijke kloof in de prestaties van de confidence ranking tussen grove en fijne resoluties. Hoewel modellen vaak informatieve ranking-signalen vertonen op het lijn-eenheidsniveau (Macro-AUROC), falen ze vaak in het onderscheiden van correcte van incorrecte atomaire eenheden (Micro-AUROC), waarbij ze vaak nauwelijks beter presteren dan willekeurig gokken.
• Implicatie: Ruwe confidence-signalen zijn onvoldoende om gelokaliseerde fouten in long-form generatie te isoleren, zelfs wanneer ze wel werken voor grovere eenheden.

3. De Redeneer-trade-off

• Accuratesse vs. Ranking: Redeneermechanismen (Chain-of-Thought prompting of gespecialiseerde redeneermodellen) introduceren een duidelijke trade-off. Hoewel ze de Precisie en Kalibratie (ECE) aanzienlijk verbeteren, verslechteren ze systematisch de Confidence Ranking (AUROC).
• Mechanisme: Redeneren maakt modellen accurater maar minder in staat om hun eigen fouten te onderscheiden, waardoor ze effectief "overtuigender" maar minder betrouwbaar worden in hun zelfbeoordeling. Deze degradatie is een duidelijk bijeffect, en niet louter een bijproduct van veranderingen in precisie.

4. Confidence Functions en Kalibratie

• Dominantie van Functies: Logit-gebaseerde confidence functions (bijv. Logprobs Sum, Mean Probability) presteren consistent beter dan verbale methoden op zowel kalibratie- als ranking-metrieken.
• Kalibratie-Ranking Trade-off: Post-hoc kalibratiemethoden die ECE minimaliseren (bijv. Binned calibration) schaden vaak de confidence ranking (AUROC). Omgekeeld kunnen methoden die de rankingstructuur behouden, een slechte kalibratie opleveren. Er is geen enkele methode die beide tegelijkertijd optimaliseert.

Betekenis en Claims

Het artikel stelt dat SALT een noodzakelijk fundament biedt voor toekomstig onderzoek door de evaluatie van onzekerheid te verschuiven van grove, ruisgevoelige beoordelaars naar een hoog-resolutie, deterministische grondwaarheid. De auteurs stellen dat hun bevindingen een kritieke ontkoppeling onthullen tussen capaciteit en betrouwbaarheid in huidige schaleringsparadigma's:

• Risicovolle Toepassingen: Voor domeinen zoals de gezondheidszorg is hoge accuratesse onvoldoende als deze gepaard gaat met breekbare confidence-schattingen die niet in staat zijn specifieke fouten te identificeren.
• Beperkingen in Redeneren: De geobserveerde "redeneer-trade-off" suggereert dat huidige redeneermechanismen onbedoeld de capaciteit van een model kunnen verminderen om onzekerheid te signaleren, wat een cruciale factor is voor veilige inzet.
• Toekomstige Richtingen: De auteurs suggereren dat de dichte, eenheids-gebaseerde feedback van SALT uniek geschikt is voor het trainen van granulaire confidence-classifiers en voor Reinforcement Learning (RL) post-training om de redeneer-ranking-trade-off te mitigeren.

Het werk concludeert dat naarmate modellen schalen in intelligentie, ze ook moeten schalen in het bewustzijn van hun eigen beperkingen, een doel dat momenteel wordt gehinderd door het gebrek aan zero-noise evaluatiekaders zoals SALT.