Technische Samenvatting: Weet je het zeker? Over de impact van instructie-afstemming op zelfvertrouwen en lexicale diversiteit

Probleemstelling

Instructie-afgestemde Large Language Models (LLM's) vertonen een sterke prestatie in generatieve taken, maar er is recentelijk aangetoond dat ze last hebben van "verbaal overmoedig gedrag" (verbalized overconfidence), met name in contexten van vraag-en-antwoord (QA). Hoewel eerder werk heeft vastgesteld dat post-training de vertrouwensdistributies van modellen verandert, blijft het onduidelijk of deze verschuivingen in zelfvertrouwen gepaard gaan met overeenkomstige veranderingen in de lexicale diversiteit van de gegenereerde ondersteunende rationales. In vrije vorm generatie wordt onzekerheidsschatting bemoeilijkt door variaties in de oppervlaktevorm, waarbij semantisch equivalente antwoorden op substantieel verschillende lexicale sequenties kunnen worden uitgedrukt. Dit artikel onderzoekt of instructie-afstemming een uniforme verschuiving induceert in zowel het zelfvertrouwen van het model als de diversiteit van de rationales die geselecteerde antwoorden ondersteunen.

Methodologie

De auteurs voeren een gepaard evaluatie uit over drie modelfamilies (Qwen2.5-7B, Mistral-7B-v0.3 en Llama-3.1-8B) en drie multiple-choice redeneerbenchmarks (ARC-Easy, MMLU en CommonsenseQA).

Evaluatiemetrieken

1. Modelvertrouwen (Model Confidence):
   • Keuze-entropie ($H_{choice}$): Berekend via de entropie van genormaliseerde antwoord-likelihoods om onzekerheid over kandidaat-antwoorden te schatten.
   • Verbaal zelfvertrouwen (Verbalized Confidence): Opgeroepen via een tweestaps-protocol waarbij het model eerst een antwoord selecteert op basis van likelihood, en vervolgens expliciet een numerieke waarschijnlijkheid van correctheid rapporteert.
   • Kalibratie: Gemeten met behulp van Expected Calibration Error (ECE) voor zowel likelihood-gebaseerd als verbaal zelfvertrouwen.
2. Lexicale Diversiteit:
   • Unique-2 (U2): De proportie van onderscheidende bigrammen in gegenereerde rationales, dienend als een maatstaf voor de oppervlakte-lexicale rijkdom.
   • 1-Self-BLEU (1-SB): De gelijkenis van elke rationale met de overige rationales die voor dezelfde vraag zijn gegenereerd. De auteurs rapporteren $1-SB$, zodat hogere waarden duiden op grotere variabiliteit tussen rationales.
   • Sampling: Voor elke vraag worden $K=5$ rationales gegenereerd met Chain-of-Thought prompting bij temperatuur $T=0.7$.

Gecontroleerde Analyse

Om de effecten van instructie-afstemming op diversiteit te isoleren van verstorende factoren, voeren de auteurs een gecontroleerde analyse uit, beperkt tot voorbeelden waar:

1. Het basismodel en het instructie-afgestemde model hetzelfde antwoord selecteren.
2. De lengte van de rationales overeenkomt (door rationales te koppelen en af te korten naar de lengte van de kortere rationale).

Belangrijkste Resultaten

1. Instructie-afstemming verhoogt zelfvertrouwen zonder winst in nauwkeurigheid

Over alle modellen en benchmarks heen verhoogt instructie-afstemming consequent het zelfvertrouwen van het model. Dit wordt aangetoond door:

• Significante afnames in keuze-entropie (bijv. Qwen op MMLU daalde van 0.430 naar 0.131).
• Significante toenames in verbaal zelfvertrouwen (bijv. Llama op ARC-Easy steeg van 49.2% naar 90.4%).
• Cruciaal is dat deze toenames in zelfvertrouwen niet correleren met consistente verbeteringen in voorspellende nauwkeurigheid. In verschillende gevallen (bijv. Llama op ARC-Easy) bleef de nauwkeurigheid ongewijzigd, ondanks significante verschuivingen in de zelfvertrouwen-metrieken.

2. Heterogene effecten op lexicale diversiteit

De impact van instructie-afstemming op de lexicale diversiteit is niet-uniform en hangt af van de specifieke diversiteitsmetriek en het model:

• Cross-Rationale Diversiteit (1-SB): Instructie-afstemming verlaagt consistent de variabiliteit tussen rationales (d.w.z. gegenereerde rationales worden meer aan elkaar gelijkaardig) over alle modellen en benchmarks.
• Oppervlakte-diversiteit (Unique-2): Veranderingen zijn inconsistent. Zo daalde Unique-2 voor Mistral op ARC-Easy en MMLU, maar steeg het op CSQA. Op dezelfde manier vertoonde Qwen gemengde resultaten over de verschillende benchmarks.

3. Ontkoppeling van onzekerheid en diversiteit

De studie vindt dat afnames in antwoord-onzekerheid (toegenomen zelfvertrouwen) niet consistent gepaard gaan met een afname in de lexicale diversiteit.

• Voor Qwen ging een lagere onzekerheid vaak samen met een lagere diversiteit.
• Voor Mistral ging een lagere onzekerheid in 61.8% van de gevallen samen met een hogere Unique-2, maar met een lagere 1-SB in 77.6% van de gevallen.
• Dit geeft aan dat zelfvertrouwen en rationale-diversiteit verschillende effecten van instructie-afstemming vastleggen.

4. Persistentie van effecten

De waargenomen verschuivingen in diversiteit blijven bestaan, zelfs na controle voor antwoordselectie en rationale-lengte. In de gecontroleerde subset van de CSQA-benchmark:

• 1-SB nam consistent af (wat wijst op verminderde variabiliteit tussen rationales).
• Unique-2 vertoonde gemengde trends (daalde voor Qwen, steeg voor Mistral en Llama), wat bevestigt dat de verschuivingen in diversiteit geen loutere artefacten zijn van het wisselen van antwoorden of veranderingen in generatielengte.

5. Kalibratie-mismatch

Veranderingen in de lexicale diversiteit komen niet consistent overeen met veranderingen in de kalibratie van het model (ECE). Bijvoorbeeld, op MMLU namen zowel de likelihood-gebaseerde als de verbale ECE van Llama toe (verslechtering van kalibratie), terwijl de diversiteitsmaten afnamen. Dit suggereert dat diversiteitsmetrieken geen betrouwbare proxies zijn voor de kalibratiestatus.

Betekenis en Claims

Het artikel claimt een van de eersten te zijn die gezamenlijk de rationale-diversiteit en het zelfvertrouwen van het model (zowel verbaal als gebaseerd op likelihood) bestudeert. De belangrijkste bijdragen zijn:

1. Distinctieve Effecten: Instructie-afstemming beïnvloedt zelfvertrouwen en rationale-diversiteit verschillend. Hoewel het betrouwbaar het zelfvertrouwen verhoogt en de variabiliteit tussen rationales vermindert, verandert het niet uniform de oppervlakte-lexicale diversiteit of de voorspellende nauwkeurigheid.
2. Risico op Overmoed: De bevindingen wijzen op een potentieel risico in scenario's met een hoog belang (bijv. geneeskunde, recht): instructie-afstemming kan leiden tot onterechte afhankelijkheid van voorspellingen omdat modellen zelfverzekerder worden zonder accurater te worden.
3. Beperkingen van Proxies: De divergentie tussen de likelihood-gebaseerde en de verbale zelfvertrouwen, en het gebrek aan correlatie tussen diversiteit en kalibratie, suggereert dat zelfvertrouwen beoordeeld moet worden met meerdere complementaire maten in plaats van een enkele proxy.
4. Implicaties voor Onzekerheidsschatting: De resultaten motiveren toekomstig werk op het gebied van onzekerheidsschatting dat gezamenlijk rekening houdt met voorspellend zelfvertrouwen en de variatie in gegenereerde rationales, aangezien een verminderde cross-rationale diversiteit de bruikbaarheid van herhaalde generaties als onafhankelijk bewijs voor de betrouwbaarheid van een voorspelling kan beperken.

De auteurs houden een bescheiden reikwijdte aan en merken op dat hun studie beperkt is tot Engelse multiple-choice benchmarks en lexicale diversiteitsmaten, en dat verder onderzoek nodig is met betrekking tot semantische diversiteit, kruislingse generalisatie en veiligheidsgevoelige prompts.