Technische Samenvatting: Van 0e-orde Selectie naar 2e-orde Oordeel

Probleemstelling

Meerkeuzevraag (MCQ)-benchmarks voor Large Language Models (LLMs) staan voor twee kritieke uitdagingen: snelle verzadiging door de vooruitgang van modelcapaciteiten en datacontaminatie die statische evaluaties ondermijnt. Hoewel Large Reasoning Models (LRMs) supermenselijke nauwkeurigheid hebben bereikt op standaard benchmarks voor logisch redeneren (bijv. LogiQA, MMLU), vloeit deze prestatie vaak voort uit memorisatie van de trainingsset en exploitatie van oppervlaktepatronen (positiebias, lexicale overlap) in plaats van echte logische implicatie.

Bestaande "hardmakende" methoden, zoals parafraseren, adversariële perturbaties of "Geen van de bovenstaande" (NOTA)-afleidingsvragen, proberen de moeilijkheidsgraad te verhogen maar falen in het aanpakken van de kernkwestie. Deze benaderingen blijven 0e-orde selectietaken waarbij het model een enkel correct antwoord moet identificeren onder kandidaten. Ze verhogen de logische orde van redenering niet, waardoor geavanceerde modellen diepe logische beperkingen kunnen omzeilen via uitgebreide chain-of-thought (CoT)-verificatie of patroonherkenning. Bijgevolg slagen huidige benchmarks er niet in om state-of-the-art redeneermodellen uit te dagen of fundamentele gaten in compositieve logica bloot te leggen.

Methodologie: Het LogiHard-kader

De auteurs stellen LogiHard voor, een formeel kader dat deterministisch 0e-orde MCQ's transformeert in 2e-orde logische oordeelstaken. Deze transformatie verhoogt de denkoverhead en het aantal redeneerstappen, terwijl geldigheid door constructie wordt gewaarborgd. Het kader bestaat uit drie synergetische componenten:

1. Deterministisch Combinatorisch Protocol

In plaats van stochastische perturbatie, mapt LogiHard atomaire opties naar propositievariabelen en synthetiseert samengestelde formules met behulp van logische connectieven ($\land, \lor, \neg$).

• Transformatie: Een atomaire vraag $Q = (C, O, a)$ wordt omgezet in een combinatorische vraag $Q' = (C', \Phi, A)$. De context $C'$ bevat natuurlijke taalstatements die overeenkomen met geatomiseerde opties. De formuleset $\Phi$ bevat samengestelde proposities (bijv. exactheid, disjunctie, negatie, samengestelde negatie) die het model moet evalueren onder de ground-truth-toewijzing afgeleid van het originele antwoord.
• Geldigheid door Constructie: De set met het juiste antwoord $A$ is logisch consistent met de atomaire ground truth. De atomaire optie verschijnt nooit direct in de output; alleen zijn propositie-equivalent binnen samengestelde formules. Dit maakt memorisatie van oppervlaktepatronen inefficiënt.
• Moeilijkheidsniveaus: Complexiteit wordt gekalibreerd via operatorhiërarchie:
  • Gemakkelijk: Alleen exactheid ($\land$).
  • Gemiddeld: Voegt Disjunctie toe ($\lor$).
  • Moeilijk: Voegt Negatie toe ($\neg$).
  • Expert: Voegt Samengestelde Negaties toe.

2. Cognitieve Moeilijkheidscore

Om ervoor te zorgen dat de bronvragen intrinsiek uitdagend zijn voordat ze worden getransformeerd, hanteert het kader een cognitieve scoremodule.

• Metrieken: Het extrahert negen dimensies uit modeldenksporen (bijv. oscillatiepunten, logische dichtheid, abductieve diepte, lengte van inferentieketens).
• Goudscore: Deze metrieken worden geaggregeerd tot een gewogen "Goudscore" om vragen te stratificeren in niveaus (Gemakkelijk, Gemiddeld, Moeilijk, Expert). Alleen de niveaus Moeilijk en Expert ondergaan een combinatorische transformatie om vloereffecten te voorkomen.

3. Dynamische Evaluatie via IRT-CAT

LogiHard integreert Item Response Theory (IRT) en Computerized Adaptive Testing (CAT) om de inefficiëntie van statische benchmarks aan te pakken.

• Adaptieve Selectie: Het systeem selecteert dynamisch de meest informatieve items op basis van de huidige schatting van het modelvermogen ($\hat{\theta}$), waarbij de Fisher-informatie wordt gemaximaliseerd.
• Dubbele Subsetschatting: Het schat het vermogen apart voor atomaire (0e-orde) en combinatorische (2e-orde) redenering, waardoor een nauwkeurige meting van de "combinatorische kloof" ($\Delta\theta$) mogelijk is.
• Efficiëntie: Deze benadering bereikt meetnauwkeurigheid die gelijkwaardig is aan statische tests van 60 items, maar gebruikt slechts 15–25 adaptief geselecteerde vragen.

Belangrijkste Bijdragen

1. Geldigheid-Garandeerde HardheidsSynthese: Een deterministisch protocol dat redenering verheft van 0e-orde selectie naar 2e-orde oordeel. Het weerstaat memorisatie door ervoor te zorgen dat het juiste antwoord de waarheidstoewijzing bepaalt zonder dat de atomaire optie in de output verschijnt, waardoor de semantische drift die voorkomt bij adversariële methoden wordt geëlimineerd.
2. Dynamische Moeilijkheidscontrole: Een unificerend systeem dat gelaagde operatorconfiguraties combineert voor kalibratie tijdens de generatie en IRT-gebaseerde CAT voor precieze, efficiënte doelgerichte vermogensmeting.
3. Identificatie van Redeneerfalen: De instantiatie van LogiHard-2k, een dataset van 2.000 vragen uit hoog-risico examens, onthult een fundamenteel multi-selectiefalen en een combinatorisch redeneergat in frontiermodellen.

Experimentele Resultaten

Het kader werd geëvalueerd over twaalf state-of-the-art modellen (waaronder GPT-5.4, o3, Claude-Opus-4.6, DeepSeek-R1 en Qwen3.6-plus) en vergeleken met menselijke beoordelaars.

• Afname in Nauwkeurigheid: Modellen vertoonden ernstige prestatiedalingen op combinatorisch geharde vragen, met een afname in nauwkeurigheid variërend van 31% tot 56%. Bijvoorbeeld, Qwen3.6-plus daalde van 51,67% (H-Base) naar 5,00% (H-Comb).
• Resilientieniveaus: Modellen werden ingedeeld in drie niveaus op basis van de daling in latent vermogen ($\Delta\theta$). De meest veerkrachtige modellen (bijv. GLM-5, GPT-5.4) lieten een daling zien van $\approx 1,05–1,11$, terwijl andere (bijv. GLM-4.7) een ineenstorting leden van $\Delta\theta = 3,14$.
• Asymmetrie Mens versus Machine: Menselijke beoordelaars behaalden 79,5% nauwkeurigheid op Moeilijk-Combinatorische vragen ($\Delta\theta \approx 0,28$), wat significant beter was dan zelfs de meest veerkrachtige modellen.
• Multi-selectie Bottleneck: Gedifferentiatie onthulde een specifiek faalpatroon: de nauwkeurigheid daalde van 31,2% voor vragen met één correct antwoord naar 12,4% voor vragen met meerdere correcte antwoorden ($n_{correct} \ge 2$).
• Zero-Shot Transfer: Wanneer toegepast op MMLU zonder domeinadaptatie, vertoonde het kader een afname in nauwkeurigheid van 47% (89,84% $\to$ 42,86%), wat bevestigt dat de kloof domeinonafhankelijk is en voortkomt uit de redeneerarchitectuur in plaats van kennisgebrek.

Mechanistische Analyse en Betekenis

Het artikel identificeert de oorzaak van het falen als een combinatorisch mappingsgat in plaats van een gebrek aan logische kennis.

• Tweestapsfalen: Modellen voeren Fase 1 succesvol uit (het evalueren van atomaire waarheidstoewijzingen) maar falen in Fase 2 (het vertalen van deze waarheden naar complete sets van multi-select opties).
• Trainingsgeïnduceerde Bias: Het falen wordt toegeschreven aan een early-exit bias in trainingspijplijnen. Modellen zijn geoptimaliseerd voor selectie van één antwoord ("het eerste juiste antwoord wint") en missen metacognitieve triggers voor set-waardige volledigheidverificatie. Dit leidt tot onderselectie, waarbij modellen geldige opties identificeren maar falen in het enumereren van de volledige set.
• Betekenis: LogiHard toont aan dat huidige frontiermodellen geen robuuste propositie-beperkingen kunnen bevredigen. Het kader biedt een domeinonafhankelijk, contaminatieweerstandig evaluatieprotocol dat redeneercapaciteit isoleert van domeinkennis. Het suggereert dat toekomstige trainingsregimes deterministische combinatorische verhoging moeten incorporeren om set-waardige beperkingen te instilleren, en voorbij moeten gaan aan de huidige afhankelijkheid van oppervlakkige benchmarkverzadiging.

De auteurs concluderen dat het onderscheid tussen "logica kennen" en "logica samenstellen" een aanhoudend plafond blijft voor machine-redeneren, en dat statische benchmarks op weg zijn naar veroudering voor het evalueren van ware redeneercapaciteiten.