Technische Samenvatting: Cross-Contextuele Consistentie als Maatstaf voor de Geloofwaardigheid van LLM's

Probleemstelling

Large Language Models (LLM's) functioneren als krachtige black-box systemen, wat het moeilijk maakt om te bepalen of hun outputs een stabiele interne overtuiging reflecteren of oppervlakkige patroonherkenning. Hoewel LLM's sterke prestaties leveren op diverse taken, falen ze regelmatig in het behouden van logische consistentie. Voorbeelden zijn de "reversal curse" (het niet kunnen associëren van logisch gevolgtrekbare feiten) en "context hijacking" (het veranderen van antwoorden wanneer een semantisch neutrale context wordt toegevoegd). Bestaande evaluatiemethoden hebben significante beperkingen:

• Interne Signaalmethoden: Benaderingen die gebruikmaken van token-niveau waarschijnlijkheden of verborgen toestanden zijn niet toepasbaar op closed-source modellen en hebben moeite met open eind responsen.
• Zelfgerapporteerd Vertrouwen: Modellen vertonen vaak overmatig zelfvertrouwen en geven hoge vertrouwensscores voor onjuiste antwoorden.
• Zelfconsistentie & Parafrasering: Deze methoden kunnen lijden onder mechanische defecten, zoals modellen die blijven hangen in hetzelfde onjuiste antwoord over meerdere generaties heen, of het introduceren van semantische drift tijdens parafrasering, wat leidt tot opgeblazen vertrouwen-inschattingen.

Er is behoefte aan een principiële, black-box benadering om de geloofwaardigheid van modellen te beoordelen die niet afhankelijk is van externe kennis, modelparameters of zelfgerapporteerde maten.

Methodologie: Cross-Contextuele Consistentie (C3)

Het paper stelt Cross-Contextuele Consistentie (C3) voor, een gedragsmatige eigenschap waarbij een geloofwaardig antwoord stabiel zou moeten blijven wanneer dezelfde taak wordt gepresenteerd onder onderwerp-gealigneerde, inhoudelijk neutrale contextuele variaties.

Operationalisering

1. Perturbatiestrategie: Voor een gegeven query $x$ neemt de auteur een set contextuele perturbaties $E = \{\epsilon_1, \dots, \epsilon_n\}$. Deze perturbaties worden voor de originele query geplaatst om $x' = [\epsilon; x]$ te creëren.
   • Restricties: Perturbaties moeten voldoen aan onderwerp-alignment (binnen het domein blijven), inhoudelijke neutraliteit (het antwoord niet onthullen, ondersteunen of tegenspreken) en niet-trivialiteit (betekenisvolle variatie introduceren in plaats van de vraag te herhalen).
2. Distributionele Vergelijking: De methode behandelt modelgeneratie als een stochastisch proces. Er worden outputs gesampled uit de originele prompt ($Y \sim P(Y|x)$) en uit de geperturbeerde prompts ($Y_E \sim P^E(Y|x)$).
3. Metriek Definitie: C3 wordt gedefinieerd als een genormaliseerde inverse afstand tussen de originele en de geperturbeerde output-distributies:
   $$C3(x; E) = 1 - \tilde{D}(P(Y|x), P^E(Y|x))$$
   waarbij $\tilde{D}$ een taak-adaptieve afstandfunctie is, genormaliseerd naar $[0, 1]$. In de hoofdimplementatie gebruiken de auteurs Maximum Mean Discrepancy (MMD) als de afstandmetriek, wat vergelijking mogelijk maakt van zowel vast format als open-ended generaties.
4. Interpretatie: Een hogere C3-score duidt erop dat de output-distributie van het model stabiel is onder contextuele variatie (hoge geloofwaardigheid), terwijl een lagere score duidt op context-fragiliteit (lage geloofwaardigheid).

Belangrijkste Bijdragen

1. Identificatie van een Onderbenutte Eigenschap: Het paper identificeert C3 als een gedragsindicator voor de geloofwaardigheid van LLM's, waarbij wordt gesteld dat goed onderbouwde antwoorden stabiel zouden moeten blijven onder kruisverhoring (contextuele variatie).
2. Operationeel Kader: De auteurs instantiëren C3 als een black-box evaluatieprotocol dat toepasbaar is op multiple-choice, korte antwoorden, langvorm factuele zaken en code-generatie taken.
3. Empirische Validatie: Door experimenten op 16 modellen over zes benchmarks, demonstreert het paper dat C3 correleert met correctheid en feitelijkheid, dient als een robuuste diagnose voor benchmark-verzadiging en een complementaire evaluatie-as biedt aan traditionele nauwkeurigheidsmetrieken. (Opmerking: Een extra 10 modellen werden opgenomen in een casestudy beperkt tot de MMLU High School Statistics benchmark).

Experimentele Resultaten

De auteurs evalueerden C3 tegenover baselines (Zelfconsistentie, Parafrasering Consistentie, Zelfgerapporteerd Vertrouwen en FActScore) over zes benchmarks: SVAMP, MMLU High School Statistics, CommonsenseQA, SimpleQA, FActScore en HumanEval.

• Superieure Kalibratie: C3 presteerde consequent beter dan baselines in het afstemmen van model "geloofwaardigheid" op waarachtigheid. Bijvoorbeeld, op SVAMP (wiskundige redenering) behaalde C3 een AUROC van 0,917 vergeleken met 0,861 voor Zelfconsistentie. Op SimpleQA (feitelijkheid) behaalde C3 een AUROC van 0,823, wat significant beter was dan Zelfconsistentie (0,792) en Zelfrapportage (0,490).
• Detectie van Feitelijkheid: C3 detecteerde effectief feitelijkheids-gerelateerde fouten. De auteurs observeerden een Spearman rangcorrelatie van 0,624 tussen C3 en FActScore, wat suggereert dat de interne staat van het model de latente representaties van zijn kennisgrenzen bevat. Gehalucineerde feiten bevinden zich meestal in gebieden met een lage waarschijnlijkheid die significant verschuiven onder perturbatie.
• Langvorm Generatie: C3 schaalde effectief naar open-ended taken (HumanEval, FActScore) waar veel bestaande methoden falen, waarbij een sterke kalibratie werd bereikt (bijv. 0,110 ECE op HumanEval) zonder de noodzaak van externe executie-omgevingen.
• Benchmark Diagnose: Door de instantie-prestaties uit te zetten tegen C3, identificeerden de auteurs vier onderscheidende regio's:
  • Beheerst (Hoge Prestatie, Hoge C3): Stabiel, correct begrip.
  • Broos (Hoge Prestatie, Lage C3): Hoge nauwkeurigheid gedreven door oppervlakkige patroonherkenning of datacontaminatie; modellen falen onder perturbatie.
  • Biaas (Lage Prestatie, Hoge C3): Modellen zijn consistent fout door sterke, onjuiste priors of misconcepties.
  • Ongeleerd (Lage Prestatie, Lage C3): Echte kennishiaten.
    Deze analyse toonde aan dat benchmarks zoals HumanEval tekenen van "broosheid" (overfitting) vertonen, terwijl SimpleQA grotendeels in de "Ongeleerd" regio blijft.

Betekenis en Claims

Het paper claimt dat C3 een complementaire evaluatie-as biedt die informatief blijft, zelfs wanneer conventionele benchmarks verzadigd of gecontamineerd raken. In tegen tegenstelling tot methoden die expliciet correctheid testen, meet C3 de stabiliteit van het generatieproces. De auteurs stellen dat:

• Geloofwaardigheid als Stabiliteit: De respons van een model moet robuust zijn tegen logisch en semantisch equivalente contexten. Als outputs aanzienlijk variëren onder verschillende inkaderingen, wordt de geloofwaardigheid van het model ondermijnd.
• Black-Box Nut: C3 vereist geen toegang tot modelparameters, waardoor het toepasbaar is op closed-source modellen, en het is niet afhankelijk van zelfgerapporteerd vertrouwen, wat vaak slecht gekalibreerd is.
• Diagnostische Kracht: C3 helpt bij het onderscheiden tussen echt begrip en "broze" prestaties gedreven door memorisatie of bias, wat een praktische manier biedt om de kwetsbaarheid van antwoorden te onthullen die standaard nauwkeurigheid-gebaseerde evaluaties missen.

De auteurs concluderen dat hoewel C3 een krachtig diagnostisch instrument is, het niet moet worden beschouwd als een garantie voor waarheid, aangezien een model consistent én fout kan zijn. Het is bedoeld als een hulpmiddel voor het identificeren van context-fragiele generaties in plaats van een vervanging voor menselijk toezicht.