🤖 machine learning

Guarantees on Dynamical System Distinguishability for LLM Token Generation

Dit artikel biedt een theoretisch fundament voor het onderscheiden van LLM-tokengeneraties door deze te modelleren als dynamische systemen, waarbij wordt bewezen dat de classificatienauwkeurigheid exponentieel toeneemt met de sequentielengte op basis van spectrale afstand, terwijl fundamentele limieten en generalisatiegrenzen voor cross-embedding transfer worden vastgesteld.

Oorspronkelijke auteurs: Mohamed Akrout, Dan Wilson

Gepubliceerd 2026-08-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Akrout, Dan Wilson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert twee verschillende verhalenvertellers van elkaar te onderscheiden. De een vertelt de waarheid, en de ander verzint dingen (hallucineert). Als je alleen naar de individuele woorden kijkt die ze gebruiken, sta je misschien machteloos. Beiden kunnen dezelfde veelvoorkomende woorden gebruiken zoals "de", "kat" of "zat" met een vergelijkbare frequentie. Het is alsof je probeert twee verschillende liedjes te onderscheiden door alleen naar het gemiddelde volume van de noten te luisteren; als het volume hetzelfde is, klinken de liedjes identiek. Dit is het probleem met veel huidige methoden om te controleren of een AI liegt: ze behandelen elk woord als een onafhankelijke, willekeurige gebeurtenis, waarbij ze negeren dat woorden in een specifieke volgorde komen en in elkaar overvloeien.

Echter, als je naar het ritme en de melodie luistert — hoe het verhaal van de ene zin naar de volgende beweegt — kun je een patroon horen. In de wereld van de wetenschap wordt dit een "dynamisch systeem" genoemd. Denk aan een bal die een heuvel afrolt. De positie van de bal op een enkel moment ziet er misschien willekeurig uit, maar het pad dat hij aflegt, volgt strikte natuurkundige regels. Large Language Models (LLM's) zijn als deze rollende ballen; ze genereren tekst door verborgen regels te volgen. Een recente paper van Mohamed Akrout en Dan Wilson van de University of Tennessee stelt een grote vraag: Kunnen we detecteren of een AI hallucineert, niet door te kijken naar de woorden die het zegt, maar door te kijken naar de onzichtbare "dans" van hoe die woorden evolueren? Ze behandelen het interne denkproces van de AI als een black-box machine en proberen te achterhalen of de machine draait op de "modus van de waarheid" of de "modus van de fantasie", puur door naar de trajectorie te kijken.

De paper bewijst dat alleen naar de woorden kijken (de "marginale distributie") vaak een doodlopende weg is. De auteurs laten zien dat twee volkomen verschillende machines — de een die de waarheid spreekt en de ander die liegt — een mix van woorden kunnen produceren die statistisch identiek lijkt. Het is alsof twee verschillende chefs precies dezelfde ingrediënten in een kom gebruiken; als je alleen de soep proeft, kun je niet vertellen wie hem heeft gekookt. De paper betoogt dat elke methode die het verloop van het verhaal negeert, fundamenteel beperkt is en een muur zal raken waar ze niet beter kan presteren dan willekeurig raden.

Maar hier is het opwindende deel: wanneer je naar de beweging begint te kijken, verandert het verhaal. De auteurs demonstreren dat als je kijkt naar hoe de interne staat van de AI evolueert over een sequentie van woorden, de verschillen enorm worden. Ze bewijzen wiskundig dat de kans op een foutieve classificatie van de AI exponentieel afneemt naarmate het verhaal langer wordt. Het is also kind van een liedje van slechts één seconde beluisteren; je weet het genre misschien niet. Maar luister dertig seconden, en het ritme maakt het duidelijk. De paper laat zien dat het "ritme" van een gehallucineerd verhaal fundamenteel anders is dan dat van een feitelijk verhaal, en dat dit verschil sterker wordt naarmate je meer woorden analyseert.

Bovendien pakken het team een lastig praktijkprobleem aan: wat als je een detector traint op de ene type AI-"taal" en probeert deze te gebruiken op een andere AI? Meestal faalt dit omdat de interne codes verschillend zijn. Echter, de paper vindt dat als de twee AI-systemen een vergelijkbare onderliggende geometrische structuur delen (zoals twee verschillende kaarten van dezelfde stad), de detector kan overdragen. Ze tonen aan dat het succes van deze overdracht afhangt van hoe goed de twee AI-systemen wiskundig naar elkaar kunnen worden "vertaald". Als de vertaling helder is, werkt de detector; als de vertaling rommelig is, faalt de detector.

Kortom, deze paper biedt een rigoureuze wiskundige garantie dat om een AI in een leugen te betrappen, je niet alleen de woorden moet tellen; je moet de dans moeten bekijken. Door de output van de AI te modelleren als een bewegend systeem in plaats van een statische lijst met woorden, kunnen we waarheid van fictie onderscheiden met een hoge mate van vertrouwen, mits we het systeem genoeg tijd geven om zijn ware ritme te tonen. Dit verschuift de focus van statische snapshots van data naar de dynamische patronen die ontstaan terwijl de AI denkt, wat een nieuwe, krachtigere manier biedt om deze complexe machines te begrijpen en te verifiëren.

Technische Samenvatting: Garanties op de onderscheidbaarheid van dynamische systemen voor LLM-tokengeneratie

Probleemstelling

Recent empirisch werk heeft aangetoond dat reacties van Large Language Models (LLM's), specifiek het onderscheiden tussen feitelijke en gehalucineerde tekst, geclassificeerd kunnen worden door token-embeddings te modelleren als trajecten van een black-box dynamisch systeem (DS). Hoewel deze aanpak veelbelovend is, blijft de theoretische onderbouwing onverkend. Specifiek ontbreken rigoureuze antwoorden op drie fundamentele vragen:

Noodzaak van Dynamica: Als de marginale distributies van token-embeddings verschillen tussen responscategorieën, waarom is dan een dynamisch model noodzakelijk?
Schaalbaarheid en Prestaties: Hoe schaalt de classificatiefout met de sequentielengte, en welke specifieke dynamische grootheden bepalen de prestaties?
Generaliseerbaarheid: In welke mate dragen token-embeddings en hun bijbehorende dynamica over naar verschillende embedding-modellen, gezien dat benaderingen van de Koopman-operator doorgaans gevoelig zijn voor de specifieke gebruikte observables?

Methodologie

De auteurs formaliseren de classificatietaak als een binaire hypothese-test tussen twee stochastische lineaire dynamische systemen.

1. Systeemformulering

De auteurs modelleren de evolutie van gelifte token-embeddings $z_k$ (verkregen via Extended Dynamic Mode Decomposition, EDMD) onder twee hypothesen:

$H_c$ (Correct/Feitelijk): $z_{k+1} = A_c z_k + \xi^{(c)}_k$
$H_h$ (Gehalucineerd): $z_{k+1} = A_h z_k + \xi^{(h)}_k$

Hierbij zijn $A_c$ en $A_h$ einddimensionale benaderingen van de Koopman-operator voor de respectievelijke regimes. De ruistermen $\xi$ vangen zowel benaderingsfouten als genuante stochastiek op, en worden aangenomen i.i.d. Gaussisch te zijn met verschillende gemiddelden en covarianties.

2. Classificatiemechanisme

Classificatie wordt uitgevoerd door voorspellingsresiduen te vergelijken. Voor een gegeven traject worden de cumulatieve kwadratische fouten onder beide modellen ( $S_c$ en $S_h$ ) berekend. De beslisregel berust op de differentiële residu-score $\Delta E = \sqrt{S_h} - \sqrt{S_c}$ . Een traject wordt geclassificeerd als gehalucineerd als $\Delta E$ onder een drempelwaarde $\eta$ valt.

3. Theoretisch Kader

De auteurs leiden grenzen af op basis van:

Stationaire Distributies: Het analyseren van de marginale distributies van de observables.
Dynamische Onderscheidbaarheid ( $\delta^2$ ): Een metriek die de verwachte gekwadrateerde model-mismatch signaal per tijdstap kwantificeert, gedefinieerd als $\delta^2 = E[\|P\Delta z_k\|^2]$ , waarbij $\Delta = A_c - A_h$ .
Intertwining Conditie: Een lineaire afbeelding $T$ die twee verschillende embedding-ruimten relateert, gebruikt om de transfer tussen embeddings te analyseren.

Belangrijkste Bijdragen en Resultaten

Resultaat 1: Beperking van Marginale Dichtheidsanalyse

De auteurs bewijzen dat twee stabiele dynamische systemen volledig verschillende dynamica ( $A_c \neq A_h$ ) kunnen bezitten, maar toch bijna ononderscheidbare stationaire marginale distributies produceren (Total Variation afstand $\approx 0$ ).

Implicatie: Elke classifier die uitsluitend vertrouwt op statische kenmerken (bijv. SVD-modi of marginale statistieken) staat voor een fundamentele nauwkeurigheidsvloer. Als de marginale distributies significant overlappen, kunnen dergelijke classifiers niet beter presteren dan willekeurig gokken, ongeacht de onderliggende dynamische verschillen. Dit verklaart de empirische observaties waarbij de statische kenmerken van feitelijke en gehalucineerde embeddings vaak overlappen.

Resultaat 2: Exponentiële Scheidbaarheid via Dynamica

Het artikel bewijst dat een classifier gebaseerd op voorspellingsresiduen een misclassificatiekans bereikt die exponentieel afneemt met de sequentielengte $L$ .

Beherende Grootheid: De vervalrate wordt bepaald door de dynamische onderscheidbaarheid $\delta^2$ en het ruisniveau.
Sample Complexiteit: Om een gewenste foutkans $\epsilon$ te bereiken, schaalt de vereiste sequentielengte als $L^* = O(\log(1/\epsilon))$ .
Significantie: Dit resultaat doorbreekt het nauwkeurigheidplafond dat door marginale analyse wordt opgelegd. Het verklaart waarom rijkere embedding-modellen (die waarschijnlijk een hogere $\delta^2$ opleveren) een hoge nauwkeurigheid kunnen bereiken met kortere sequenties, terwijl eenvoudigere modellen langere contexten vereisen.

Resultaat 3: Cross-Embedding Transfer Grenzen

De auteurs stellen voorwaarden vast waaronder dynamische modellen die gefit zijn op één embedding-ruimte kunnen transfereren naar een andere zonder hertraining.

Benaderde Intertwining: Transfer is mogelijk als de twee embedding-ruimten een geometrische structuur delen die beschreven wordt door een affine transformatie $G^{(\theta_2)}_2(q) \approx T G^{(\theta_1)}_2(q) + r$ .
Ondergrens: De overdraagbare onderscheidbaarheid $\delta^2_{\theta_1 \to \theta_2}$ wordt ondergrensd door de kleinste enkelvoudige waarde van de transformatiematrix $T$ en de oorspronkelijke onderscheidbaarheid, gepenaliseerd door de "intertwining defect" (reconstructiefout $\chi^2$ ).
Implicatie: Dit verklaart waarom cross-embedding classificatie zelfs zonder hertraining boven toeval kan presteren, mits de geometrische vervorming tussen de embedding-ruimten niet te groot is. Het biedt een theoretische basis voor de verrassende empirische bevinding dat onderscheidende informatie overleeft bij drastische veranderingen in de embedding-backends.

Betekenis en Conclusie

Dit artikel biedt een rigoureus wiskundig kader voor het begrijpen van LLM-responsclassificatie vanuit het perspectief van de dynamische systementheorie. De primaire significantie ligt in de verschuiving van de analytische focus van statische token-representaties naar dynamische patronen die ontstaan over token-trajecten.

Het werk demonstreert dat:

Dynamica essentieel zijn: Statische marginale analyse is onvoldoende om regimes te onderscheiden met vergelijkbare stationaire distributies maar verschillende evoluties.
Temporele accumulatie krachtig is: Het benutten van temporele afhankelijkheden maakt een exponentiële reductie van de fout mogelijk naarmate de sequentielengte toeneemt.
Transfereerbaarheid gestructureerd is: Cross-embedding generalisatie is niet toevallig, maar wordt beheerst door de geometrische compatibiliteit (intertwining) van de embedding-ruimten.

Door deze garanties te formaliseren, motiveert het artikel verder onderzoek naar het gebruik van de dynamische systementheorie om AI-systemen te analyseren, in contrast met het meer gangbare paradigma van het gebruiken van AI om dynamische systemen te modelleren. De auteurs merken beperkingen op, zoals de afhankelijkheid van lineaire Koopman-benaderingen en Gaussische ruis-aannames, wat suggereert dat toekomstig werk deze grenzen kan uitbreiden naar niet-lineaire modellen en heavy-tailed distributies.