Technische Samenvatting: Eindige Certificaten voor In-Context Determinatie en een Drempeltheorie van Emergentie

Probleemstelling

Het artikel adresseert een fundamentele verificatiekloof bij het evalueren van grote taalmodellen (LLM's). Empirische evaluatie leunt op distributies, accuratessen en drempelwaarden, die vaak drie verschillende fenomenen verwarren:

1. Een model dat een hoge waarschijnlijkheid toekent aan een correcte output zonder dat de context dit semantisch impliceert.
2. Een prompt die een standaardinstelling overrulet zonder een monotone axioma toe te voegen.
3. Een benchmarkscore die springt door een discontinue observatiemap, zelfs wanneer de onderliggende semantische zekerheid geleidelijk verandert.

De auteurs stellen dat bestaande theorieën (bijv. latente Bayesiaanse inferentie, mechanistische circuitstudies) geen gemeenschappelijk semantisch doel bieden—een logica waarbij gedrag een formule is, context een update, en schaaltrends worden getoetst aan limiterende commitments. Het artikel beoogt benchmarklabels te vervangen door eindige semantische certificaten om rigoureus te definiëren wanneer een context een antwoord afdwingt (determinatie) en wanneer een benchmark-sprong duidt op een werkelijke semantische transitie versus een metriek artefact (emergentie).

Methodologie

De auteurs modelleren pre-trained LLM's niet als fysieke transformers, maar als semantische presentaties: een tupel $G_\lambda = (L, K_\lambda, \mu_\lambda, C_\lambda, U_\lambda, D_\lambda)$ bij schaal $\lambda$.

• $K_\lambda$: Een klasse van eerste-orde structuren die latente taken of hypothesen representeren.
• $\mu_\lambda$: Een waarschijnlijkheidsmaat op definieerbare gebeurtenissen (semantische zekerheid).
• $U_\lambda$: Een context-update regel (preferentiële of posterior restrictie).
• $D_\lambda$: Een decoderingskernel die structuren naar outputs mapt.

De analyse verloopt via twee parallelle trajecten:

1. Logisch/Modeltheoretisch: Gebruikmakend van compactheid, Stone-ruimtes en Keisler-maten om semantische zekerheid te definiëren als een eindig additieve waarschijnlijkheid op definieerbare gebeurtenissen.
2. Algebraïsch/Combinatorisch: Het analyseren van eindige-veld lineaire taakfamilies om exacte criteria voor determinatie en certificaatcomplexiteit af te leiden.

Belangrijkste Bijdragen

1. Eindige Determinatie en Identificatiecurves

Voor eindige-veld lineaire taakfamilies stelt het artikel exacte condities vast voor wanneer een query wordt afgedwongen door een context:

• Rijruimte-criterium: Een query $q$ wordt afgedwongen indien en slechts indien deze in de rijruimte van de voorbeeld-ontwerpmatrix $A_n$ ligt.
• Residuele Hypothese-telling: Het aantal resterende latente parameters is $|F|^{d - \text{rank}(A_n)}$.
• Identificatiecurves: De waarschijnlijkheid van volledige semantische identificatie na $n$ willekeurige voorbeelden wordt gegeven door $Id(n) = \prod_{i=0}^{d-1} (1 - Q^{i-n})$.
• Complexiteit: Het extraheren van de kleinste afdwingende subcontext is bewezen NP-compleet, zelfs voor binaire outputs, wat reduceert tot een pair-separator hitting probleem.

2. Drempeltheorie van Emergentie

Het artikel scheidt "emergentie" (een sprong in benchmarkscores) van "semantische discontinuïteit":

• Anti-Mirage Theorema: Een sprong in een drempelwaarde-metriek (bijv. exact match) impliceert geen discontinuïteit in de onderliggende semantische zekerheid. Dit kan louter voortkomen uit de discontinuïteit van de scorefunctie.
• Crossing-Scale Bound: Voor latente commitments met een convergentiesnelheid $1 - s_\lambda \le a\lambda^{-\alpha}$, wordt de schaal $\lambda_\tau$ waarbij een eigenschap zichtbaar wordt boven drempelwaarde $\tau$, begrensd door $\lambda_\tau = (a/(1-\tau))^{1/\alpha}$.
• Conjunctie-effect: Voor multi-veld exact-match metrieken (waarbij $k$ velden correct moeten zijn), wordt de schijnbare sprong verscherpt, en wordt de crossing-scale opgeblazen met een factor $k^{1/\alpha}$.

3. Semantische Zekerheid als een Keisler-maat

De auteurs formaliseren semantische zekerheid $s_{\lambda,c}(\phi)$ als een Keisler-maat op de type-ruimte:

• Waarschijnlijkheid-één formules vormen een proper filter (een ultrafilter indien de staat beslissend is).
• De representatie is invariant onder definitionele expansie, wat garandeert dat semantische commitments niet afhangen van notatieve keuzes.
• Prompt-extensie wordt gemodelleerd als een preferentiële update, wat niet-monotoniciteit verklaart: het toevoegen van een prompt kan de set van geprefereerde modellen veranderen, waardoor eerder gehouden consequenties worden verwijderd.

4. Verificatie- en Falsificatieprotocollen

Het artikel stelt een closed-loop verificatiesysteem voor met behulp van sound, oracle-vrije checkers:

• Checkers verifiëren certificaten (bijv. rijruimte-combinaties, crossing-scale berekeningen) zonder referentie-antwoorden.
• Een "aversief verfijningsschema" stelt een generator in staat te verbeteren door te handelen op de directionele feedback van de checker, waarbij metriek-artefact drempels bewezen worden geëlimineerd terwijl genuine rekenkundige gaten behouden blijven.

Resultaten

Theoretische Resultaten

• Compactheid: Elke eigenschap die wordt geïmpliceerd door een oneindige contextstroom heeft een eindig certificaat (Theorem 4.7, 7.1).
• Exacte Lineaire Identificatie: In eindige velden wordt determinatie strikt geregeerd door matrix-rang. Het artikel biedt gesloten vorm-expressies voor de waarschijnlijkheid van volledige identificatie en query-lokale determinatie.
• Emergentie als Artefact: Theoretische grenzen bewijzen dat "emergente" sprongen in benchmarks volledig verklaard kunnen worden door de interactie tussen gladde zekerheid-convergentie en discontinue scoring-functies (Theorem 6.8, Proposition 6.10).

Empirische Validatie (Getrainde Modellen)

De auteurs hebben een deterministisch certificaat-emissie benchmark uitgevoerd op een panel van negen hedendaagse taalmodellen (variërend van zwak tot gemiddeld capabel) over drie families:

1. DET (Row-Space Determinacy): Modellen moeten identificeren of een query wordt afgedwongen en een getuige (witness) leveren.
2. THR (Threshold Crossing): Modellen moeten de exacte schaal berekenen waar een gladde functie een drempelwaarde kruist.
3. PRS (Prompt Preservation): Modellen moeten beoordelen of een nieuwe prompt vorige consequenties behoudt.

Bevindingen:

• Gradueel vs. Exact: Gradiële zekerheid (fractie van correcte velden) steeg vloeiend over het modelpanel. Exacte scores (alle velden correct) bleven nabij nul totdat één sterk model (Qwen3 14B) de drempel overschreed, met een sprong naar volledige succes.
• Anti-Mirage Bevestiging: Dit gedrag kwam exact overeen met de theoretische voorspelling van Proposition 6.10: de "emergentie" van de THR-capaciteit was een metriek artefact van conjunctie ($k=2$), en niet een discontinuïteit in de onderliggende capaciteit.
• Certificaat Productie: Het sterkste model produceerde succesvol de vereiste eindige getuigen (bijv. rijruimte-combinaties, containment checks), wat aantoont dat de theoretische certificaten binnen het bereik liggen van getrainde systemen.

Betekenis en Claims

Het artikel claimt een modeltheoretische taal te bieden voor LLM-gedrag die onderscheidend is van mechanistische circuitanalyse of puur statistische schaalwetten. De betekenis ligt in:

1. Ontkoppeling van Semantiek en Metrieken: Het bewijst dat benchmark-sprongen niet noodzakelijkerwijs bewijs zijn van nieuwe semantische capaciteiten; ze kunnen artefacten zijn van observatiemappen.
2. Definiëren van Certificaten: Het gaat verder dan "accuratesse" om te definiëren wat het betekent dat een context een antwoord afdwingt, inclus\u00adief exacte combinatorische en algebraïsche criteria voor deze dwang.
3. Falsifieerbaarheid: Het biedt specifieke, controleerbare protocollen (bijv. Voorspelling 1: rijruimte determinatie; Voorspelling 2: gladheid van continue proxies) om te testen of het gedrag van een model overeenkomt met de voorgestelde semantische representatie.

De auteurs stellen expliciet dat hun constructie conditioneel en extern is: zij beweren niet dat transformers letterlijk eerste-orde modellen bevatten, maar dat áls gedrag gerepresenteerd wordt door een gemeten modelklasse, de daaruit afgeleide stellingen over determinatie, prompt-stabiliteit en emergentie moeten gelden. Een mismatch met getrainde modellen zou de representatie weerleggen, niet de onderliggende logica of algebra.