💬 NLP

The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive

Dit artikel introduceert een ultrasnel, uitsluitend op CPU gebaseerd scoreprimitief dat gebruikmaakt van de universele twee-parameter Mandelbrot-rang-frequentieverdeling van LLM-outputs om statistische modelvingerafdrukken en black-box-outputbeoordeling mogelijk te maken met een latentie die tot 100.000 keer lager is dan die van bestaande op sampling gebaseerde detectoren.

Oorspronkelijke auteurs: Alex Bogdan, Adrian de Valois-Franklin

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alex Bogdan, Adrian de Valois-Franklin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je luistert naar een koor van zes verschillende zangers. Hoewel ze verschillende stemmen, stijlen en opleidingen hebben, komen hun stemmen, wanneer ze allemaal een specifiek type lied zingen, tot precies hetzelfde wiskundige ritme.

Dat is de kernontdekking van dit paper. De auteurs ontdekten dat Large Language Models (LLM's) – de AI-geesten achter tools zoals ChatGPT, Claude en Gemini – tekst produceren die een verrassend universeel "partituur" volgt.

Hieronder volgt een uiteenzetting van wat ze ontdekten en wat ze bouwden, met behulp van eenvoudige analogieën.

1. Het Universele Ritme (De Ontdekking)

Wanneer mensen schrijven, of wanneer deze AI's schrijven, volgt de frequentie van woorden een patroon. De meest voorkomende woorden (zoals "de" of "en") komen vaak voor, en zeldzame woorden komen zelden voor. Dit is een oud idee dat Zipf's Wet wordt genoemd.

Echter, de auteurs ontdekten dat de AI-uitvoer niet alleen de oude regel volgt; ze volgen een nauwkeuriger, tweestapsritme dat de Mandelbrot-verdeling wordt genoemd.

De Analogie: Denk aan de woordkeuzes van de AI als een menigte mensen die een stadion binnenkomt. De oude regel (Zipf) zegt: "Meer mensen komen binnen door de hoofdingang." De nieuwe regel (Mandelbrot) zegt: "Eigenlijk stroomt de menigte in een zeer specifieke, voorspelbare curve, waarbij de hoofdingang iets breder is dan verwacht, en de zijingangen op een precieze manier smaller worden."
De Verrassing: Ze testten zes verschillende AI-modellen van vijf verschillende bedrijven (OpenAI, Google, Meta, enz.). Ondanks dat ze door verschillende teams met verschillende data zijn gebouwd, passen alle zes modellen perfect in dezelfde curve. Het is alsof zes verschillende autofabrikanten, met verschillende motoren en fabrieken, uiteindelijk allemaal banden hebben die precies even snel slijten.

2. Het Verborgen Vingerafdruk (De Twist)

Als alle modellen hetzelfde ritme volgen, zijn ze dan allemaal hetzelfde? Nee.

Hoewel ze allemaal hetzelfde lied zingen, zingen ze het elk met een iets andere "toonhoogte" of "tempo".

De Analogie: Stel je zes verschillende orkesten voor die dezelfde symfonie spelen. Voor een onervaren luisteraar klinken ze allemaal als "De Symfonie". Maar als je de bladmuziek van dichtbij bekijkt, gebruikt de dirigent van Orkest A een iets ander tempo dan Orkest B.
De Bevinding: De auteurs maten deze kleine verschillen (genaamd parameters $q$ $q$ en $s$ $s$ ). Ze ontdekten dat deze verschillen zo onderscheidend zijn dat je kunt zeggen welke AI een stuk tekst heeft geschreven, alleen al door naar het statistische ritme te kijken.
- Waarom dit belangrijk is: Als een bedrijf beweert dat ze hun "Premium AI" gebruiken, maar ze hebben deze in het geheim vervangen door een goedkoper, zwakker model, dan zou deze "statistische vingerafdruk" hen betrappen. Het is als een leugendetector voor AI-identiteit die niet het brein van de AI hoeft te zien, maar alleen de output.

3. De Super-Snelle Detector (Het Hulpmiddel)

De auteurs bouwden een hulpmiddel gebaseerd op deze ontdekking. Het is een "scoring-primitief" dat controleert of AI-tekst verdacht lijkt.

Hoe het werkt: In plaats van de AI te vragen om zijn eigen werk opnieuw te lezen (wat traag en duur is) of naar de code te kijken (wat onmogelijk is voor gesloten systemen), controleert dit hulpmiddel gewoon het "ritme" van de woorden tegen een bekende referentie (een enorme database van Wikipedia).
De Snelheid: Het is ongelooflijk snel. Het paper beweert dat het 100.000 keer sneller werkt dan huidige methoden.
- De Analogie: Huidige methoden zijn als het inhuren van een team van 20 detectives om een misdaadplek opnieuw te onderzoeken om te zien of het verhaal klopt. Dit nieuwe hulpmiddel is als een metaaldetector die direct piept als de grond "raar" aanvoelt. Het lost de misdaad niet op, maar het vertelt je direct welke gebieden een nadere inspectie nodig hebben.
De Kosten: Het draait op een standaard computerchip (CPU) en kost bijna niets om te gebruiken.

4. Wat Het Kan en Niet Kan (De Grenzen)

De auteurs zijn zeer eerlijk over wat hun hulpmiddel niet kan doen. Het is een "eerste-pass" filter, geen definitieve rechter.

Wat het opvangt (Het "Raar Spul"):
- Als de AI een nepnaam van een persoon verzonnen die niet bestaat.
- Als de AI een woord gebruikt dat extreem zeldzaam is en uit zijn plaats ligt voor het onderwerp.
- Analogie: Als een nieuwsbericht plotseling een "paarse olifant" noemt in een verhaal over financiën, schreeuwt dit hulpmiddel "Alarm!" omdat "paarse olifant" een raar statistisch ritme heeft vergeleken met normaal nieuws.
Wat het mist (Het "Slimme Spul"):
- Als de AI een logische fout maakt maar de juiste woorden gebruikt.
- Als de AI een feit stelt dat onjuist is, maar de woorden zijn gewoon en klinken normaal.
- Analogie: Als een nieuwsbericht zegt: "De beurs stortte in omdat de maan groen werd," en de AI gebruikt perfecte grammatica en gewone woorden, dan zou dit hulpmiddel kunnen zeggen: "Lijkt normaal." Het kan niet controleren of de maan daadwerkelijk groen werd; het controleert alleen of de woorden statistisch raar klinken.

Samenvatting

Het paper stelt dat AI-modellen, ondanks hun verschillen, allemaal een "statistisch dialect" spreken dat een specifieke, voorspelbare curve volgt.

Universaliteit: Alle top-AI's volgen deze curve.
Vingerafdrukken: Elke AI heeft een unieke "toonhoogte" binnen die curve, waardoor we kunnen identificeren wie wat heeft geschreven.
Snelheid: We kunnen dit gebruiken om een supersnel, goedkoop filter te bouwen dat voor de hand liggende AI-hallucinaties (zoals verzonnen namen of rare woorden) direct opvangt, en fungeert als poortwachter voordat we tijd en geld besteden aan langzamere, complexere controles.

De auteurs positioneren dit niet als een toverstaf die alle AI-fouten oplost, maar als een triage-verpleegkundige: het sorteert snel de voor de hand liggende problemen van de rest, zodat menselijke experts of zwaardere AI-tools zich kunnen richten op de moeilijke gevallen.

1. Probleemstelling

Grote Taalmodellen (LLM's) zijn uitgegroeid tot kritieke infrastructuur en genereren outputs op schalen die de menselijke auditcapaciteiten overstijgen. Huidige verificatiemethoden staan voor een fundamenteel knelpunt:

Op steekproeven gebaseerde detectoren (bijv. Semantic Entropy, SelfCheckGPT) zijn modelonafhankelijk maar rekenkundig duur, waarbij ze $k$ extra forward passes per query vereisen (wat de latentie met 5–20x verhoogt).
White-box probes (bijv. Lookback Lens) zijn snel maar vereisen toegang tot modelinterne details (attentiekarten, verborgen toestanden), die niet beschikbaar zijn voor proprietaire black-box API's.
De Kloof: Er ontbreekt een CPU-only, single-pass, modelonafhankelijke score-primitief dat met inferentiesnelheid kan draaien om outputs te triageren, anomalieën te detecteren en herkomst te verifiëren zonder modelinterne details of extra steekproeven te vereisen.

2. Kernhypothese & Methodologie

De auteurs hypotheseren dat, ondanks verschillen in architectuur, trainingsdata en uitlijning, geavanceerde LLM's convergeren naar een gedeelde statistische regelmaat in hun token-rang-frequentieverdelingen.

Theoretische Grondslag: Mandelbrot Rangverdeling

Het paper stelt dat LLM-outputs de Mandelbrot Rangverdeling volgen, een tweeparametrische generalisatie van de Wet van Zipf die is afgeleid uit informatie-theoretische optimalisatie (het maximaliseren van entropie onder coderingskostenbeperkingen).

Formule: $f(r) = \frac{C}{(r + q)^s}$ $f (r) = \frac{C}{( r + q ) ^{s}}$
- $r$ : Tokenrang.
- $q$ : Head-shifting parameter (vangt de afvlakking van hoogfrequente tokens op).
- $s$ : Tail-steepness parameter.
Rangafwijking ( $\Delta r$ ): Een schaalvrije maatstaf die meet hoe anomalieus prominent een token is in een lokale context vergeleken met een globale referentiecorpus (bijv. Wikipedia).
- $\Delta r(w) = \log_2 \left( \frac{r_{global}(w)}{r_{local}(w)} \right)$

De Score-primitief: Ranking Inference (RI)

De auteurs leiden een Variational Posterior af om twee bronnen van bewijs te combineren:

Modelbewijs: De door de context geconditioneerde log-probabiliteit van de LLM ( $\log P_{LLM}$ ).
Referentiebewijs: De externe door Mandelbrot-rang geïmpliceerde probabiliteit ( $\log P_{RI}$ ).

De posterior-score wordt geformuleerd als een precisie-gewogen product van experts:
$P_{posterior}(w|c) \propto P_{LLM}(w|c) \cdot P_{RI}(w)^\beta$

$\beta$ (Precisie): Een domeinspecifieke coëfficiënt die wordt geschat op basis van de variantie van rangafwijkingen in een kalibratieset. Het past aan hoeveel gewicht de externe referentie draagt (bijv. lagere $\beta$ voor creatief schrijven, hogere voor encyclopedische tekst).
Modi:
- Hybride Modus: Gebruikt model log-probs + rangtabel.
- Rank-Only Modus: Gebruikt alleen de rangtabel (bruikbaar op gesloten API's zonder toegang tot log-probs).

3. Experimenteel Ontwerp

Modellen: Zes geavanceerde modellen van vijf leveranciers (OpenAI, Anthropic, Meta, Google, Mistral, Alibaba), inclusief redenerende en niet-redenerende families, variërend van 7B tot >100B parameters.
Domeinen: Vijf terughoudende domeinen (Nieuws, Biomedisch, Juridisch, Code, Sociale Media).
Protocol: 100 prompts per model (20 per domein). Outputs werden opnieuw getokeniseerd met een gedeelde Llama 3.1 8B BPE-vocabulaire om een gemeenschappelijke tokenruimte te garanderen.
Aanpassing: Maximum likelihood schatting van Mandelbrot-parameters ( $q, s$ ) tegen de waargenomen rang-frequentieverdelingen.

4. Belangrijkste Bevindingen & Resultaten

A. Universele Convergentie (De "Gedeelde Familie")

Hoge Kwaliteit van Pass: Token-rang-frequentieverdelingen over alle 6 modellen en 5 domeinen convergeren sterk naar de tweeparametrische Mandelbrot-vorm.
- $R^2 > 0,94$ in 34 van de 36 model-tot-domein-passes.
- AIC-voorkeur: De tweeparametrische Mandelbrot-vorm werd verkozen boven de eenparametrische Zipf-vorm in 35 van de 36 vergelijkingen (met $\Delta AIC$ variërend van +18 tot +15.094).
Universaliteit: De convergentie geldt voor verschillende modelgroottes, kwantisatieniveaus (4-bit) en uitlijnprocedures (RLHF, Constitutional AI).
Implicatie: Een enkele, modelonafhankelijke referentiebasislijn (de Mandelbrot-verdeling) is voldoende om outputs van diverse geavanceerde modellen te scoren.

B. Statistische Modelvingerafdrukken (De "Onderscheidbare Vingerafdrukken")

Hoewel de familie gedeeld is, zijn de specifieke parameters ( $q, s$ ) uniek per model.
Scheiding: De spreiding tussen modellen in parameter $q$ (1,63 tot 3,69) overschrijdt de per-model bootstrap-standaardafwijking (0,03 tot 0,10) met meer dan een orde van grootte.
Betekenis: Dit maakt statistische modelvingerafdrukken mogelijk. Een auditor kan bepalen of een tekst is gegenereerd door een beweerde modelfamilie of stille modelsubstitutie detecteren (bijv. een leverancier die verzoeken omleidt naar een goedkoper model) zonder toegang tot modelinterne details of cryptografische watermerken.

C. Prestaties van de Score-primitief

De primitief werd getest op drie benchmarks (FRANK, TruthfulQA, HaluEval) met Llama 3.1 8B:

Snelheid: Draait op ~2,6 microseconden per token op een CPU (ongeveer 100.000x sneller dan op steekproeven gebaseerde detectoren).
Nauwkeurigheid (AUC):
- Tier 1 Fouten (Distributie-anomalieën): Hoge detectiecapaciteit (AUC 0,60–0,95). Effectief in het detecteren van niet-ondersteunde entiteiten, oppervlaktevormen buiten het artikel en zeldzame lexicale inserties.
- Tier 1.5 Fouten (Relationele Drift): Matige detectie (AUC 0,55–0,65).
- Tier 2 Fouten (Redenering/Wereldkennis): Op kansniveau (AUC ~0,50). De primitief kan geen logische fouten of feitelijke onwaarheden detecteren die worden uitgedrukt in domein-appropriaat vocabulaire.
Rank-Only Modus: De "Rank-Only" variant (geen log-probs) presteerde vergelijkbaar met de hybride modus bij distributie-fouten, waardoor deze levensvatbaar is voor gesloten API's.

5. Belangrijkste Bijdragen

C1. Gedeelde Statistische Handtekening: Empirisch bewijs dat diverse geavanceerde LLM's convergeren naar één tweeparametrische Mandelbrot-rang-frequentiefamilie, wat een universele referentiebasislijn mogelijk maakt.
C2. Statistische Modelvingerafdrukken: Een lichtgewicht pijplijn om modelherkomst te verifiëren en stille modelsubstitutie te detecteren op basis van aangepaste parameters, zonder training of samenwerking van de provider.
C3. CPU-Only Score-primitief: Een real-time, single-pass scoremechanisme (Ranking Inference) dat model log-probs samenstelt met een referentieverdeling, en graceful degradeert naar een rank-only modus voor black-box API's.
C4. Falsifieerbare Foutentaxonomie: Een drie-traps classificatie die de operationele grenzen van de methode definieert:
- Tier 1: Detecteerbaar (lexicale anomalieën).
- Tier 1.5: Zwak detecteerbaar (drift).
- Tier 2: Ondetecteerbaar (redeneringsfouten).

6. Betekenis & Toepassingen

Infrastructuur voor AI-evaluatie: Biedt een "eerste-pas triage-laag" voor evaluatiestacks. Het filtert voor de hand liggende distributie-anomalieën goedkoop eruit, waardoor dure semantische verifiers (NLI, retrieval, steekproeven) zich alleen kunnen richten op hoog-risico of ambigu gevallen.
Governance & Herkomst: Biedt een statistisch alternatief voor cryptografische watermerken voor het detecteren van modelsubstitutie en het verifiëren van leveranciersclaims in een black-box setting.
Monitoring van Trainingsgezondheid: Kan "model collapse", overfitting of schade door fine-tuning detecteren door afwijkingen in de Mandelbrot-parameters tijdens training te monitoren.
Real-time Veiligheid: Met microseconden latentie maakt het real-time UI-indicatoren voor verdachte tokens of ingrepen halverwege de generatie (bijv. beperkte decoding) in agentische workflows mogelijk.

7. Beperkingen

Geen Fact-checker: Het kan de waarheid van beweringen niet verifiëren als het vocabulaire plausibel is (Tier 2 fouten).
Benchmark-artefacten: Prestaties kunnen worden verward door lengte-bias in specifieke datasets.
Scope: De convergentie is momenteel gevalideerd op Engels en code; meertalige modellen en modellen met minder dan een miljard parameters vereisen verder onderzoek.
Tokenisatie: De huidige resultaten zijn gebaseerd op een gedeelde BPE-normalisatie; native tokenizer-invariantie is een toekomstige onderzoeksrichting.

Conclusie

Het paper demonstreert dat, hoewel LLM's verschillen in capaciteit en stijl, hun outputverdelingen een universele statistische structuur delen (Mandelbrot). Deze regelmaat is geen bug maar een feature die kan worden uitgebuit om een snelle, goedkope en modelonafhankelijke verificatie-primitief te bouwen. Deze primitief vervangt geen diepe semantische verificatie, maar dient als kritieke, hoogdoorvoer poortwachter in de AI-evaluatiestack, waardoor schaalbare governance en herkomsttracking mogelijk worden voor de volgende generatie agentische AI-systemen.