Technische Samenvatting: Coherence Under Commitment (CUC)

Probleemstelling

Grote taalmodellen (LLM's) die worden ingezet in kennisintensieve domeinen vertonen vaak een kritieke foutmodus: vacueuze coherentie. Standaard evaluatiemetrieken geven prioriteit aan logische consistentie (bijv. negatie-consistentie, waarbij een model niet tegelijkertijd een bewering en de ontkenning ervan bevestigt). Een model kan echter triviaal aan deze consistentievoorwaarden voldoen door systematisch te onthouden van het maken van een beslissend oordeel. Door het onthouden van commitment aan noch implicatie, noch weerlegging, bereikt een model nul logische tegenstrijdigheden terwijl het nul redeneer-utiliteit biedt.

In omgevingen met hoge inzet (bijv. klinische diagnostiek, wetenschappelijke redenering) is dit "veilige" gedrag niet te onderscheiden van echte betrouwbaarheid onder standaard evaluatie. Een model dat 90% van de vragen weigert te beantwoorden, lijkt "coherent", maar is operationeel nutteloos. Huidige evaluatieparadigma's detecteren dit niet omdat ze coherentie in isolatie meten, zonder de epistemische commitment te negeren die vereist is voor actieve redenering.

Methodologie: Coherence Under Commitment (CUC)

De auteurs stellen Coherence Under Commitment (CUC) voor, een dual-query evaluatieparadigma dat gezamenlijk logische coherentie en epistemische besluitvaardigheid meet.

1. Dual-Query Elicitatieprotocol

In plaats van een enkele query, construeert CUC een symmetrisch paar queries voor elke premisse $P$ en hypothese $\phi$:

• $Q_\phi$: "Wordt $\phi$ logisch geïmpliceerd door $P$?"
• $Q_{\neg\phi}$: "Wordt $\neg\phi$ logisch geïmpliceerd door $P$?"

Om sampling-variantie en decoding-artefacten te elimineren, gebruikt het protocol deterministische elicitatie. Het extraheert genormaliseerde log-waarschijnlijkheden voor binaire antwoorden (YES/NO) direct uit de logits van het model:
$$\mathcal{P}(\phi) = \frac{\exp(\log P(\text{YES}|Q_\phi))}{\exp(\log P(\text{YES}|Q_\phi)) + \exp(\log P(\text{NO}|Q_\phi))}$$
Dit levert een waarschijnlijkheidsmassa op voor het bevestigende antwoord voor zowel de hypothese als de ontkenning ervan.

2. Kernmetrieken

Het framework definieert twee primaire metrieken afgeleid van de waarschijnlijkheden $\mathcal{P}(\phi)$ en $\mathcal{P}(\neg\phi)$:

• Commitment Score ($c(\phi)$):
  $$c(\phi) = \mathcal{P}(\phi) + \mathcal{P}(\neg\phi)$$
  Dit kwantificeert de totale waarschijnlijkheidsmassa die aan beslissende uitkomsten is toegewezen. Een lage score geeft aan dat het model de query effectief behandelt als onbekend (onthouding), ongeacht de mate van coherentie.

• Negation-Coherence Violation ($v_{neg}(\phi)$):
  $$v_{neg}(\phi) = \max(0, c(\phi) - 1)$$
  Dit meet de mate waarin een model meer dan een eenheid waarschijnlijkheidsmassa toekent aan wederzijds uitsluitende uitkomsten. Een waarde $>0$ duidt op logische incoherentie (gelijktijdige over-commitment).

Kerninzicht: Het artikel stelt de algebraïsche identiteit $v_{neg} = \max(0, c - 1)$ vast. Dit impliceert dat elk model met $c(\phi) \leq 1$ automatisch een nul-violatie zal bereiken, ongeacht de kwaliteit van de redenering. Daarom kunnen lage violatiecijfers een artefact zijn van een lage commitment.

3. 3-Way Beslissingskader

Om deze metrieken te operationaliseren, definiëren de auteurs een beslissingsregel met drempelwaarden $\tau$ (vertrouwen) en $\delta$ (marge):

• TRUE: Als $\mathcal{P}(\phi) \geq \tau$ en $\mathcal{P}(\phi) \geq \mathcal{P}(\neg\phi) + \delta$.
• FALSE: Als $\mathcal{P}(\neg\phi) \geq \tau$ en $\mathcal{P}(\neg\phi) \geq \mathcal{P}(\phi) + \delta$.
• UNCERTAIN: Anders.

Dit maakt het mogelijk om Coverage (fractie van niet-UNCERTAIN voorspellingen) en Conditional Accuracy ($Acc_{cov}$) te rapporteren, waarbij onderscheid wordt gemaakt tussen modellen die precies maar onthoudend zijn en modellen die besluitvaardig maar tegenstrijdig zijn.

Experimentele Opzet

• Datasets: Geëvalueerd op FOLIO v0.0 (204 voorbeelden met formeel geverifieerde negaties) en LOGIQA v2 (304 voorbeelden met regelgebaseerde negatie).
• Modellen: Vier open-weight modellen (1.1B–3B parameters): TinyLlama-1.1B, Phi-2, Qwen2.5-1.5B, en Qwen2.5-3B.
• Protocol: Deterministische extractie van log-waarschijnlijkheden over YES/NO tokens.

Belangrijkste Resultaten

1. De Coherence-Commitment Frontier

Experimenten onthullen een scherpe, empirisch robuuste trade-off frontier. Geen enkel model bereikt simultaan een hoge coverage en een lage violation.

• Systematische Onthouding (Qwen2.5-3B): Bereikt de laagste violatiegraad ($E[v_{neg}] = 0.025$), waardoor het "beste" lijkt onder coherentie-alleen metrieken. Echter, het heeft een commitment score van $0.115$ en een coverage van 7.4%, waarbij het voorspellingen onthoudt op meer dan 92% van de voorbeelden.
• Systematische Overcommitment (TinyLlama-1.1B): Bereikt een coverage van 79.4%, maar schendt de axioma's van waarschijnlijkheid op 100% van de voorbeelden ($E[v_{neg}] = 0.698$), waarbij het $>1.6$ waarschijnlijkheidsmassa toekent aan tegenstrijdige uitkomsten.
• Intermediaire Modellen: Phi-2 en Qwen2.5-1.5B nemen een intermediaire positie in, waarbij ze variërende graden van zowel onthouding als tegenstrijdigheid vertonen.

2. Falen van Standaard Evaluatie

• Nauwkeurigheidsblindheid: Standaard 3-way nauwkeurigheidsscores zijn bijna identiek over alle modellen (variërend van slechts 0.343 tot 0.441), wat de diametraal tegenovergestelde faalmodi van onthouding versus overcommitment maskeert.
• Coherence-Only Valstrik: Een evaluatie die alleen op coherentie is gericht, zou Qwen2.5-3B als het superieure model rangschikken (6.6× lagere violation dan de volgende beste), wat onterecht een model beloont dat bijna geen bruikbare redenering biedt.
• Kalibratie-illusie: Zelfs op de kleine subset van gecommitteerde voorspellingen vertonen modellen slechte kalibratie (hoge Expected Calibration Error). De schijnbare kalibratie van Qwen2.5-3B is een artefact van de agressieve filtering (het selecteren van slechts de makkelijkste 7% van de voorbeelden).

3. Schalingseffecten

Schaling van Qwen2.5 van 1.5B naar 3B parameters resulteerde in een 83% reductie in commitment en een daling van 23.5 punten in coverage, met een verwaarloosbare verandering in nauwkeurigheid. Het grotere model leerde te indekken (onthouden) in plaats van preciezer te redeneren, een gedrag dat standaard metrieken zouden interpreteren als een verbetering in coherentie.

Betekenis en Claims

Het artikel betoogt dat de evaluatie van logisch redeneren moet verschuiven van de vraag "Is het model coherent?" naar "Is het model bruikbaar coherent?"

1. Vacueuze Coherentie is een Blind Vlak: Standaard metrieken kunnen niet onderscheid maken tussen een model dat correct redeneert en een model dat simpelweg weigert te antwoorden. CUC legt dit bloot door een niet-vacueuze commitment te eisen.
2. De Frontier is Onvermijdelijk: Er is een fundamentele spanning tussen coherentie en commitment. Modellen die één dimensie optimaliseren, verslechteren vaak de andere.
3. Modaliteit-Agnostisch: Hoewel geïnstantieerd op tekst, is het framework theoretisch toepasbaar op multimodale settings (bijv. VQA, robotica) waar complementaire queries over afbeeldingen en tekst gesteld kunnen worden.
4. Methodologische Noodzaak: De auteurs stellen dat het rapporteren van zowel coherentie als commitment essentieel is voor inzet in situaties met hoge inzet, waar onthouding reële operationele kosten met zich meebrengt. CUC biedt het eerste principiële kader om deze trade-off te kwantificeren en de inzet van modellen te voorkomen die "coherent" zijn enkel omdat ze zwijgen.

Het artikel concludeert dat zonder metrieken zoals CUC, beoefenaars het risico lopen modellen te implementeren die weliswaar betrouwbaar lijken, maar functioneel inert zijn in kennisintensieve domeinen.