Technische Samenvatting: SAGE – Answer-Conditioned Uncertainty Targets voor Verbal Uncertainty Alignment

Probleemstelling

Large Language Models (LLMs) genereren vaak vloeiende, plausibele tekst, zelfs wanneer het onderliggende antwoord onzeker of ononderbouwd is, wat leidt tot hallucinaties met potentieel ernstige gevolgen in de echte wereld. Hoewel onderzoekers interne signalen (bijv. token-waarschijnlijkheden) en sampling-gebaseerde signalen hebben verkend om onzekerheid te schatten, biedt verbale onzekerheid — waarbij het model expliciet zijn vertrouwen uitspreekt (bijv. "Ik ben 80% zeker") — een direct, interpreteerbaar signaal voor gebruikers.

Er bestaat echter een kritieke kloof in verbale onzekerheidsalignement: de geuite onzekerheid weerspiegelt vaak niet de werkelijke betrouwbaarheid van het gedrag van het model. Bestaande benaderingen behandelen onzekerheidskalibratie als een respons-niveau probleem (bijv. supervised fine-tuning op een enkele output of pairwise preference optimization). De auteurs stellen dat dit fundamenteel onvoldoende is, omdat een enkele respons niet kan onthullen of de waarschijnlijkheidsmassa van het model geconcentreerd is op dat antwoord of verspreid is over plausibele alternatieven. Dit creëert een "distributional blindness" waarbij het model leert om onzekerheidsuitdrukkingen na te bootsen zonder te leren deze te aligneren met de stabiliteit van de eigen respons-distributie.

Bovendien zijn groep-niveau targets (het gebruik van herhaalde rollouts om onzekerheid te schatten) theoretisch weliswaar solide, maar lijden bestaande methoden aan een "reward-signal bottleneck":

1. Maximum Answer Frequency (MAF): Getrouw aan antwoordstabiliteit, maar grofmazig; het negeert semantische afstand en redeneervariaties, waardoor verschillende groepen met identieke scores worden toegewezen als de meerderheid hetzelfde aantal heeft.
2. Semantic Entropy (SE): Behandelt parafrases via harde semantische clustering, maar produceert discontinue, grofmazige beloningen. Kleine veranderingen binnen een cluster leveren geen signaal op, terwijl het overschrijden van grenzen discrete sprongen veroorzaakt.
3. Kernel Language Entropy (KLE): Biedt gladde signalen via continue embedding-gelijkenis, maar faalt in het behouden van taak-kritische onderscheidende antwoorden. Het kan wederzijds uitsluitende opties (bijv. "A" versus "B") of afwijkende numerieke waarden als zeer gelijkaardig behandelen vanwege generieke embedding-geometrie, wat leidt tot een onderschatting van de onzekerheid.

Methodologie

Het artikel stelt een tweeledig framework voor om deze beperkingen aan te pakken: SAGE (Semantic-Answer Guided Entropy) voor target-constructie en GUPO (Group-Uncertainty Preference Optimization) voor training.

1. SAGE: Semantic-Answer Guided Entropy

SAGE is een groep-niveau zelf-onzekerheidstarget die ontworpen is om een antwoord-geconditioneerde onzekerheidsgeometrie te construeren. Het streeft ernaar tegelijkertijd antwoord-getrouw, reward-smooth en schaal-behoudend te zijn.

• Linguïstische Kernel: Het begint met een continue semantische gelijkenis-kernel, $K_{ling}$, gebaseerd op de antwoord-dragende inhoud $z_i$ van responsen, die een vloeiende semantische gelijkenis meet.
• Antwoord-Equivalentie Kernel: Om te voorkomen dat generieke embeddings cruciale onderscheidende kenmerken vervagen, introduceert SAGE een taak-specifieke binaire antwoord-equivalentie-kernel, $K_{ans}^{bin}$. Deze kernel wijst een waarde van 1 toe aan equivalente antwoorden (bijv. hetzelfde meerkeuze-label, genormaliseerde numerieke waarde of geverifieerde symbolische expressie) en 0 anders.
• Soft Floor: Om de discontinuïteit van harde clustering te vermijden, gebruikt SAGE een "soft floor"-mechanisme:
  $$K_{ans}^{soft}(a_i, a_j) = c + (1-c)K_{ans}^{bin}(a_i, a_j)$$
  waarbij $c \in [0, 1]$ de mate van antwoord-scheiding controleert. $c=0$ dwingt harde scheiding af, terwijl $c=1$ pure linguïstische gelijkenis herstelt.
• Gecombineerde Kernel: De uiteindelijke kernel combineert linguïstische en antwoord-bewuste gelijkenissen:
  $$K_A(y_i, y_j) = (K_{ling}(y_i, y_j))^\alpha \cdot (K_{ans}^{soft}(a_i, a_j))^\beta$$
• Entropy Berekening: De kernelmatrix wordt genormaliseerd naar een dichtheidsmatrix $P_A$, en SAGE wordt gedefinieerd als de genormaliseerde von Neumann-entropie van $P_A$. Lagere entropie duidt op geconcentreerde responsen (lage onzekerheid), terwijl hogere entropie duidt op dispersie over betekenissen, redeneerpaden of uiteindelijke antwoorden.

2. GUPO: Group-Uncertainty Preference Optimization

GUPO is een trainingsframework dat SAGE gebruikt als supervisiesignaal. In tegen af van standaard methoden die de volledige respons optimaliseren, optimaliseert GUPO alleen het onzekerheidskanaal ($v_i$) van de respons $y_i = (z_i, v_i)$.

• Preference Constructie: Voor een groep van $K$ gesamplede responsen wordt de beloning $r_i$ berekend op basis van de afstand tussen de geuite onzekerheid $\hat{u}(v_i)$ en de SAGE-target $t(G_x)$.
• Optimalisatie: GUPO past een preferentie-distributie toe op de onzekerheidsuitdrukkingen binnen de groep, waarbij de policy wordt geoptimaliseerd om de log-likelihood van onzekerheidsuitdrukkingen te maximaliseren die beter overeenkomen met de groep-niveau target. Dit wordt als volgt geformuleerd:
  $$L_{GUPO} = -\mathbb{E}_{x, G_x} \left[ \sum_{i=1}^K \text{stopgrad}(p_i^{cal}) \cdot \log \pi_\theta(v_i | x, z_i) \right]$$
  waarbij $p_i^{cal}$ de preferentie-waarschijnlijkheid is afgeleid van de beloningsscores.

Belangrijkste Bijdragen

1. Probleemformulering: De auteurs identificeren verbale onzekerheidsalignement als een distributionele kalibratieprobleem en wijzen de "reward-signal bottleneck" in bestaande groep-niveau targets (MAF, SE, KLE) aan die de effectiviteit beperkt.
2. SAGE Target: Ze introduceren SAGE, een nieuw entropie-target dat antwoord-bewuste structuur injecteert in de respons-geometrie. Het behoudt de vloeiendheid terwijl het de tekortkomingen van generieke metrieken corrigeert die incompatibele antwoorden (bijv. verschillende optie-labels of afwijkende getallen) niet kunnen onderscheiden.
3. GUPO Framework: Ze stellen GUPO voor, een framework voor onzekerheidskanaal-preferentie-optimalisatie dat de kalibratie van verbale onzekerheid loskoppelt van de optimalisatie van de volledige respons-inhoud.
4. Empirische Validatie: De aanpak wordt gevalideerd over drie verschillende antwoordformaten: feitelijke QA (TriviaQA), wiskundige redenering (MATH-500) en meerkeuze-redenering (MMLU-Pro).

Resultaten

Experimenten tonen aan dat GUPO + SAGE consequent beter presteert dan bestaande baselines (inclusief Direct Verbalized, CoT, CSFT, en LoVeC-DPO) en alternatieve groep-targets (MAF, SE, KLE).

• Kalibratie: De methode bereikt de laagste Brier scores en Expected Calibration Error (ECE) over alle benchmarks. Zo verminderde GUPO+SAGE de ECE op MMLU-Pro tot 0.113, vergeleken met 0.179 voor de op één na beste baseline.
• Onzekerheidsrangschikking: Het verbetert de Spearman-correlatie aanzienlijk, wat aangeeft dat de geuite onzekerheid van het model de voorbeelden beter rangschikt op basis van hun werkelijke betrouwbaarheid.
• Selectieve Accuraatheid: Het framework levert substantiële winsten op in de accuraatheid van de high-confidence subset (bijv. +22.4 tot +33.0 procentpunten op MMLU-Pro bij verschillende vertrouwensdrempels), wat bewijst dat voorspellingen die een lagere onzekerheid krijgen, vaker correct zijn.
• Transfereerbaarheid: De verbeteringen houden stand over verschillende model-schalen (Qwen2.5-1.5B, 3B, en 7B), wat suggereert dat de methode niet afhankelijk is van een specifieke backbone-capaciteit.

Betekenis en Claims

Het artikel claimt dat groep-niveau gedragsmatige onzekerheid kan worden gedestilleerd in single-response onzekerheidsuitdrukkingen alleen wanneer zowel de target-constructie als het optimalisatiekanaal correct zijn ontworpen.

• Het adresseren van de Target Gap: De auteurs stellen dat zonder een betrouwbare, antwoord-bewuste target zoals SAGE, reward-signalen instorten in ruis of shortcuts, waardoor de optimizer niet in staat is om gekalibreerde onzekerheid te onderscheiden van oppervlakkige patronen.
• Gedragsmatige Alignement: Het werk verschuift het paradigma van het leren om onzekerheid te "zeggen" naar het leren om de stabiliteit van de eigen sampling-gedrag van het model te "reflecteren".
• Praktisch Nut: Door de ordening en schaal van verbale onzekerheid te verbeteren, maakt het framework effectiever besluitvorming in downstream-processen mogelijk, zoals het vertrouwen op, verifiëren van, of onthouden van modeloutputs.

Beperkingen: De auteurs merken nederig op dat hun methode de verbale onzekerheid aligneert met gedragsmatige zelf-onzekerheid (stabiliteit van sampling), en niet noodzakelijkerwijs met externe correctheid (waarheid). Een model kan stabiel maar foutief zijn. Daarom wordt SAGE gepresenteerd als complementair aan correctheid-gebaseerde kalibratie en externe validatie, en niet als een vervanging daarvan, met name in hoog-risico domeinen zoals geneeskunde of recht waar domeinspecifiek bewijs vereist is. Daarnaast hangt de kwaliteit van de target af van de betrouwbaarheid van de antwoord-extractie en de equivalentie-modules.