Technische Samenvatting: Onderzoek naar de wisselwerking tussen contextuele en parametrische Chain-of-Thought-trouw onder optimalisatie

Probleemstelling

Chain-of-Thought (CoT)-redenering heeft bewezen effectief te zijn voor het verbeteren van de prestaties van Large Language Models (LLM), maar er blijft een kritieke zorg bestaan: CoT-trouw. Dit verwijst naar de vraag of de gegenereerde redeneerstappen de onderliggende rekenprocessen van het model werkelijk weerspiegelen of slechts dienen als plausibele post-hoc rationalisaties.

De huidige evaluatie van CoT-trouw is gefragmenteerd in twee gescheiden paradigma's:

1. Contextuele Trouw: Beoordeeld door de invoer of de redeneerspoor te verstoren (bijvoorbeeld door fouten in te voegen, te parafraseren of hints toe te voegen) en te observeren of het antwoord van het model dienovereenkomstig verandert. Dit meet de consistentie tussen het redeneerspoor en de output, maar negeert de interne parametrische kennis van het model.
2. Parametrische Trouw: Beoordeeld door in te grijpen in de parametrische kennis van het model (bijvoorbeeld door het onthouden van de kennis die ten grondslag ligt aan een specifieke redeneerstap) om te zien of het antwoord verandert. Dit richt zich op interne mechanismen, maar is beperkt tot kennis die expliciet verwoord is in de CoT, waardoor mogelijk niet-uitgedrukte factoren die de generatie vormen, worden gemist.

Vorig werk heeft deze paradigma's grotendeels beschrijvend vergeleken op vaste CoT's, waardoor er een gat bestaat in het begrijpen van hoe ze interageren wanneer modellen expliciet geoptimaliseerd worden voor trouw. Het blijft onduidelijk of het optimaliseren voor het ene paradigma winst oplevert in het andere, of dat deze paradigma's conflicterende eigenschappen belonen.

Methodologie: FaithMATE-raamwerk

Om dit aan te pakken, introduceren de auteurs FaithMATE (Faithfulness Metric Alignment and Transfer Evaluation), een unificatie-interface voor voorkeursuitlijning die is ontworpen om modellen te optimaliseren naar zowel contextuele als parametrische trouw en de overdracht van deze winsten te evalueren.

Het raamwerk werkt in vier sleutelstappen:

1. CoT-steekproef: Voor elke invoer steekproeft het basismodel een set van $m$ CoT's.
2. Evaluatie van Trouw: Elke gestrekte CoT wordt gescoord met een suite van metrieken ($\mathcal{F}$). De suite omvat:
   • Contextuele Metrieken: Op corruptie gebaseerd (Vroeg Antwoorden, Fout Toevoegen, Parafraseren, Vul-token) en op toewijzing gebaseerd (CC-SHAP).
   • Parametrische Metrieken: Binaire ($f_{hard}$) en Continue ($f_{cont}$) maatstaven gebaseerd op het onthouden van redeneerstappen.
3. Constructie van Voorkeursparen: Voor een gekozen trainingsmetriek ($F_{train}$) wordt de meest trouwe CoT geselecteerd als het "gekozen" antwoord ($y_w$) en de minst trouwe als het "verworpen" antwoord ($y_l$).
4. Optimalisatie: Het model wordt geoptimaliseerd met behulp van Supervised Fine-Tuning (SFT) op de gekozen CoT's of Direct Preference Optimization (DPO) met behulp van de geconstrueerde paren.

De kerninvestering betreft Transfervan Trouwswinst ($\delta$): Na optimalisatie voor een specifieke metriek $f_i$, wordt het model geëvalueerd op alle andere metrieken ($f_j$) om $\delta(f_i, f_j) = f_j(c') - f_j(c)$ te meten, waarbij $c'$ de output van het geoptimaliseerde model is en $c$ het basismodel.

Belangrijkste Bijdragen

1. Unificatie-optimalisatie-interface: FaithMATE biedt het eerste raamwerk om LLM's systematisch te optimaliseren naar zowel contextuele als parametrische trouwdoelen, waardoor een gecontroleerde studie van hun wisselwerking mogelijk wordt.
2. Ontdekking van Asymmetrische Koppeling: De studie onthult dat hoewel de twee paradigma's positief gekoppeld zijn, ze asymmetrisch zijn. Het optimaliseren voor parametrische trouw levert consistente winsten op in beide paradigma's. Daarentegen levert het optimaliseren voor contextuele trouw variabele winsten op; verbeteringen op de ene contextuele metriek worden niet consequent overgedragen naar andere.
3. Interne Inconsistentie van Contextuele Metrieken: De auteurs demonstreren dat contextuele trouwmetrieken disjuncte facetten van trouw vangen. Bijvoorbeeld, het optimaliseren voor "Fout Toevoegen" kan soms de prestaties op "Parafraseren" verslechteren, wat suggereert dat deze metrieken niet uitwisselbare proxies zijn voor een enkele latente grootheid.
4. Mechanistische Differentiatie: Kwalitatieve analyse toont aan dat contextuele winsten voornamelijk voortkomen uit verbeterde consistentie tussen redenering en antwoord en de mitigatie van post-hoc rationalisatie. Parametrische winsten daarentegen ontstaan uit een explicieter gronding in taakrelevante feiten en kennis.
5. Strategie voor Modelsamenvoeging: Het artikel onderzoekt het samenvoegen van modellen die zijn geoptimaliseerd voor verschillende contextuele metrieken via taak-aritmetiek. Het blijkt dat het samenvoegen van modellen die zijn geoptimaliseerd voor "Vroeg Antwoorden" en "Vul-token" de winsten in trouw versterkt, terwijl het opnemen van "Parafraseren" de winsten vaak verwaterd, waarschijnlijk als gevolg van tegenstrijdige richting van parameterupdates.

Experimentele Resultaten

Experimenten werden uitgevoerd op drie modellen (Gemma3-4B, Qwen2.5-7B, Llama3.1-8B) over twee datasets (OpenBookQA, LogiQA) met behulp van zes trouwmetrieken.

• Transfervan tussen Paradigma's:
  • Parametrisch $\Rightarrow$ Contextueel: Zeer consistent. Het optimaliseren voor parametrische trouw verbeterde de contextuele trouw in 28/30 gevallen op OpenBookQA en 24/25 op LogiQA.
  • Contextueel $\Rightarrow$ Parametrisch: Positief maar zeer variabel. Hoewel 32/48 gevallen positieve overdracht toonden, varieerde de omvang aanzienlijk afhankelijk van de specifieke contextuele metriek (bijvoorbeeld "Vul-token" werd goed overgedragen, terwijl "Fout Toevoegen" slecht werd overgedragen).
• Transfervan binnen Paradigma (Contextueel):
  • Winsten werden niet consequent overgedragen tussen verschillende contextuele metrieken. Bijvoorbeeld, het optimaliseren voor "Parafraseren" verbeterde de scores voor "Fout Toevoegen" niet betrouwbaar, en in sommige gevallen stonden de twee metrieken in spanning.
• Trainingsparadigma's:
  • DPO presteerde consequent beter dan SFT bij het genereren van winsten in trouw, wat suggereert dat contrastieve signalen (onderscheid tussen hoge en lage trouw) effectiever zijn dan eenvoudige maximalisatie van waarschijnlijkheid.
• Taakprestaties:
  • Optimalisatie voor trouw behield of verbeterde de algehele taaknauwkeurigheid grotendeels, zonder dat significante verslechtering werd waargenomen.

Betekenis en Claims

Het artikel claimt dat CoT-trouw geen monolithisch doelwit is. De bevindingen impliceren dat:

• Parametrische trouw een betrouwbaarder doelwit is voor brede generalisatie, omdat het consequent zowel parametrische als contextuele maatstaven verbetert.
• Contextuele trouw een familie is van gerelateerde maar onderscheiden eigenschappen. Het vertrouwen op een enkele contextuele metriek voor evaluatie of optimalisatie is onvoldoende en potentieel misleidend, omdat verbeteringen in het ene gebied niet noodzakelijkerwijs verbeteringen in andere gebieden weerspiegelen.
• Veelzijdige Optimalisatie noodzakelijk is. Omdat verschillende metrieken verschillende onderliggende gedragingen belonen (bijvoorbeeld redeneerconsistentie versus feitelijke gronding), vereist een uitgebreide aanpak om CoT-trouw te verbeteren het adresseren van deze onderscheiden facetten, mogelijk via technieken zoals modelsamenvoeging of multi-objectieve optimalisatie.

De auteurs concluderen dat FaithMATE dient als fundament voor het ontwikkelen van trouwdoelen die zowel parametrisch onderbouwd als contextueel robuust zijn, waardoor preciezer afgebakende claims mogelijk worden over de geldigheid van individuele trouwmetrieken.