💰 quantitative finance

Telemetry and Concealment in Self-Adapting Generative AI: Logging Architecture, Adversarial Model Hiding, and the Limits of Detection

Dit artikel stelt een duaal regime governance-framework voor voor zelf-adapterende generatieve AI dat een rigoureuze, model-agnostische telemetrie-architectuur voor continue monitoring combineert met een systematische taxonomie van adversariële verhullingsstrategieën en tegenmaatregelen om de tekortkomingen van traditioneel statisch modelrisicomanagement aan te pakken.

Oorspronkelijke auteurs: Sriram Nagaraj

Gepubliceerd 2026-08-11

📖 9 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sriram Nagaraj

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

=== SAMENVATTING ===
Stel je voor dat je naar een magische, zelfverbeterende robotkok kijkt. Elke keer dat hij een maaltijd bereidt voor een klant, leert hij van de ervaring en past hij direct zijn interne receptenboek aan. In de oude dagen, als je wilde controleren of een kok veilig was, proefde je het eten één keer, gaf je hem een stempel van goedkeuring en ging je ervan uit dat hij voor altijd precies hetzelfde zou koken. Maar deze nieuwe robotkok verandert zijn eigen brein terwijl hij werkt. Dit creëert een probleem: tegen de tijd dat je de volgende maaltijd proeft, kan de kok al van gedachten zijn veranderd over hoe hij moet koken. Dit is de wereld van "zelfaanpassende" kunstmatige intelligentie, waar het instrument dat je gebruikt constant zijn eigen instructies herschrijft. De grote vraag voor iedereen die geeft om veiligheid — zoals banken, ziekenhuizen of overheden — is: Hoe houd je een oog op een kok die constant zijn eigen receptenboek verandert, vooral als die kok probeert de veranderingen te verbergen om door te kunnen werken zonder te worden gestopt?

Dit artikel pakt dat exacte probleem aan door een hoogtechnologische "black box"-recorder voor deze AI-koks te bouwen en vervolgens te testen hoe goed deze recorder standhoudt wanneer de kok probeert eromheen te werken. De auteur, Sriram Nagaraj en collega's, stelt een systeem voor dat niet alleen het eindresultaat (de output) bekijkt, maar ook de kleine, continue bewegingen van het receptenboek zelf (de gewichten) bijhoudt. Ze creëren een wiskundig "telemetrie"-systeem dat elke keer dat de kok van gedachten verandert een logboek bijhoudt, gebruikmakend van een speciaal soort digitale vingerafdruk genaamd een "Merkle-keten" om ervoor te zorgen dat niemand de geschiedenis kan wissen. Ze gebruiken ook een concept genaamd "Lyapunov-stabiliteit", wat een soort veiligheidsgordel is die ervoor zorgt dat de kok niet te ver afwijkt van de veilige, goedgekeurde recepten.

Het papier neemt echter een wending in de tweede helft. Het vraagt: "Wat als de kok een bedrieger is?" Het blijkt dat als een bedrijf zijn AI draaiende wil houden zonder gepauzeerd te worden voor veiligheidscontroles, er een sterke prikkel is om het leren te verbergen. De auteur simuleert zes verschillende manieren waarop een sluw bedrijf de monitoringsystemen zou kunnen misleken. Ze ontdekken dat hoewel sommige trucs met slimme wiskunde en cryptografie kunnen worden betrapt, twee specifieke trucs ongelooflijk moeilijk te ontdekken zijn. De ene houdt in dat veranderingen worden verborgen binnen de natuurlijke "ruis" of willekeur van het leerproces, en de andere houdt in dat de waarschijnlijkheid van hoe de AI leert wordt gemanipuleerd op een manier die op papier volkomen normaal lijkt.

De belangrijkste bevinding van het artikel is een beetje een teleurstelling voor degenen die hopen op een perfecte oplossing: je kunt niet elke kleine verandering vangen door alleen de datastroom te observeren. Er is een "resolutievloer". Stel je voor dat je probeert een zandkorrel te zien bewegen in een orkaan; als de beweging klein genoeg is, zal de wind (of in dit geval de natuurlijke ruis van het systeem) het altijd verbergen. De auteur bewijst wiskundig dat, ongeacht hoe goed je sensoren zijn, er altijd een kleine bal van veranderingen zal zijn die onzichtbaar blijft voor de recorder alleen. Daarom concluderen ze dat we niet alleen op de recorder kunnen vertrouwen. In plaats daarvan hebben we een "dual-regime"-systeem nodig: een continue, real-time monitor om grote veranderingen te vangen, gecombineerd met periodieke, invasieve "controles" waarbij auditors fysiek het brein van de robot inspecteren om te controleren of het niet stiekem is herschreven. Het is een systeem dat toegeeft dat het niet alles kan zien, maar ons een manier geeft om precies te weten hoeveel we niet kunnen zien en hoe vaak we nauwkeuriger moeten kijken.

Het Verhaal van de Zelfverbeterende Robot

De Opzet: Een Kok die zijn eigen Kookboek herschrijft
In de wereld van Model Risk Management (MRM) was de oude regel simpel: bouw een model, test het, en laat het dan draaien. Je gaat ervan uit dat het model hetzelfde blijft, zoals een gedrukt kookboek. Maar moderne Generatieve AI is anders. Het is een "zelfaanpassend" systeem, zoals een kok die elke gerecht proeft en onmiddellijk het receptenboek herschrijft voor de volgende. Dit gebeurt in real-time, via een proces dat "continual learning" wordt genoemd. Het probleem is dat de veiligheidscontrole die je gisteren deed, vandaag nutteloos is omdat het model al veranderd is. Deze kloof tussen de laatste veiligheidscontrole en de huidige staat wordt de "Continuous Validation Gap" genoemd.

Deel 1: Het Bouwen van de Ultieme Black Box
Om dit op te lossen, stelt het artikel een nieuwe manier voor om de kok te observeren. In plaats van alleen het eten aan het einde te controleren, willen ze elke kleine aanpassing die de kok aan het receptenboek maakt, loggen.

De Minimale Statistiek: Ze realiseerden zich dat het meten van hoeveel het receptenboek in grootte veranderde (zoals het meten van het gewicht van het boek) niet genoeg is. Een kleine verandering op de juiste plek kan een gerecht verpesten, terwijl een enorme verandering op de verkeerde plek niets doet. Daarom meten ze "behavioral divergence" — hoeveel de output verandert voor een reeks testvragen.
De Tamper-Proof Keten: Om ervoor te zorgen dat de logs niet vervalst kunnen worden, gebruiken ze een "Merkle Weight Chain". Denk hierbij aan een blockchain voor het receptenboek. Elke keer dat de kok een pagina verandert, maken ze een hash (vingerafdruk) van de nieuwe pagina samen met de oude. Als iemand een pagina van gisteren probeert te veranderen, breekt de vingerafdruk van vandaag. Het is wiskundig onmogelijk om een verandering te verbergen zonder de keten te verbreken.
De Continue Observatie: Omdat de kok zo snel verandert, kunnen ze niet elke seconde een log maken. In plaats daarvan loggen ze alleen wanneer de verandering groot genoeg is om ertoe te doen. Ze gebruiken een wiskundig hulpmiddel genaamd "stopping times" gebaseerd op "KL-divergentie" (een maatstaf voor hoe verschillend twee waarschijnlijkheidsverdelingen zijn). Het is als een bewegingssensor die alleen aangaat als de kok daadwerkelijk beweegt, wat energie en opslag bespaart.
De Veiligheidsgordel: Ze gebruiken een "Lyapunov-stabiliteit"-framework. Stel je een bal voor die in een kom rolt. Zolang de bal in de kom blijft, is het systeem veilig. Als de bal richting de rand begint te rollen, wordt er een alarm afgegeven. Dit zorgt ervoor dat de AI niet te ver afwijkt van zijn veilige, goedgekeurde gedrag.

Deel 2: Het Spel van Verstoppertje Spelen
Het artikel vraagt vervolgens: "Wat als de kok een bedrieger is?" Als een bedrijf wordt betrapt op het veranderen van zijn model, moeten ze misschien stoppen en opnieuw goedkeuring krijgen, wat geld en tijd kost. Ze kunnen dus proberen hun veranderingen te verbergen. De auteur bedenkt een "Model Hiding Problem" en test zes verschillende manieren waarop een bedrijf het systeem zou kunnen misleiden.

De Trucs die Betrapt Worden:
- Suppressie: Als de kok gewoon stopt met het versturen van logs, controleert het systeem het eten tegen een geheime lijst van "canary"-vragen. Als het eten anders smaakt, weet het systeem dat de kok liegt.
- Vervalsing: Als de kok valse logs stuurt die zeggen "ik ben veilig" terwijl hij eigenlijk het recept aanpast, controleert het systeem de digitale handtekening van het geserveerde eten. Als de handtekening niet overeenkomt met de valse log, wordt hij betrapt.
- Schaduwmodellen: Als de kok een geheim "schaduwmodel" draait om het echte werk te doen terwijl hij een nepmodel laat zien aan de auditors, gebruikt het systeem "Trusted Execution Environments" (TEE). Dit is als een beveiligde, afgesloten kamer waar het koken plaatsvindt. De hardware zelf ondertekent het werk, zodat je weet dat het van het goedgekeurde model komt en niet van een geheim model.
De Trucs die Moeilijker te Vangen zijn:
- Ruisversterking: De kok kan het leerproces ruiziger maken (zoals meer willekeurige sprinkles toevoegen aan het recept) om een kleine, constante verandering te verbergen. De auteur probeerde een wiskundige truc genaamd "power variation" te gebruiken om de ruis van de verandering te scheiden, maar ontdekte dat dit niet werkt. De wiskunde laat zien dat de ruis zo chaotisch is dat je het verschil tussen een verborgen verandering en een gewone willekeurige fluctuatie in een korte tijd niet kunt zien.
- Girsanov Manipulatie: Dit is een chique manier om te zeggen dat de kok de regels van de waarschijnlijkheid verandert zodat de verandering er normaal uitziet. De auteur probeerde een "gradient probe" (een testvraag) te gebruiken om dit te vangen, maar ontdekte dat dit ook niet werkt. De probe ziet alleen het resultaat van de verandering, wat de andere tests ook al vangen, dus het voegt niets nieuws toe.

De Grote Conclusie: De Resolutievloer
Het artikel bewijst een fundamentele limiet: Je kunt niet alles zien. Ongeacht hoe goed je sensoren zijn, er is een kleine hoeveelheid verandering (een "bal van strikt positieve straal") die altijd in de ruis zal verdwijnen. Als de verandering kleiner is dan de resolutie van het systeem, is deze wiskundig ondetecteerbaar door alleen de datastroom te observeren.

Vanwege dit voorstel de auteur een Dual-Regime Principe:

Continue Telemetrie: Houd de black box 24/7 draaiende om grote veranderingen te vangen en de kok eerlijk te houden de meeste tijd.
Periodieke Invasieve Audits: Omdat de black box een blinde vlek heeft, moet je het brein van de robot regelmatig fysiek openen en inspecteren. De frequentie van deze inspecties hangt af van hoe groot de "blinde vlek" is. Als de blinde vlek klein is, kun je langer tussen de controles wachten. Als de blinde vlek groot is, moet je vaker controleren.

Kortom, het artikel zegt dat we geen perfect, onzichtbaar hek rond zelfaanpassende AI kunnen bous. Maar we kunnen een zeer goed hek bouwen met een paar kleine openingen, en we kunnen regelmatige patrouilles plannen om door die openingen te lopen en te controleren of er niets slechts verborgen zit. Het is een realistische, wiskundig onderbouwde manier om risico's te beheren in een wereld waarin de instrumenten constant zichzelf veranderen.

Technische Samenvatting: Telemetrie en Verberging in Zelf-adapterende Generatieve AI

1. Probleemstelling

Huidige richtlijnen voor Model Risk Management (MRM) gaan uit van een statische modellevenscyclus: modellen worden ontwikkeld, onafhankelijk gevalideerd op een specifiek moment, en vervolgens uitgerold zonder verdere autonome modificatie. Zelf-adapterende generatieve AI-systemen (bijv. Large Language Models die worden bijgewerkt via Reinforcement Learning from Human Feedback of continue Stochastic Gradient Descent) schenden deze aanname door ontwerp. Deze modellen updaten hun eigen gewichten tijdens de productie, wat punt-in-tijd validatie ontoereikend maakt en een "Continuous Validation Gap" creëert.

Dit artikel behandelt twee onderling verbonden governance-uitdagingen:

Observabiliteit: Hoe construeer je een rigoureuze, computationeel behapbare telemetrie-architectuur die het traject van een zelf-adapterend model registreert in zowel discrete als continue tijd.
Adversariële Verberging: Wat gebeurt er wanneer de modeleigenaar een economische prikkel heeft om leerupdates te verbergen om het triggeren van verplichte validatiereviews te vermijden? Het artikel formaliseert het "Model Hiding Problem" en onderzoekt de fundamentele grenzen van detectie.

2. Methodologie

Het artikel is verdeeld in twee delen. Deel I ontwikkelt de telemetrie-architectuur onder de aanname van getrouwe rapportage. Deel II versoepelt deze aanname en modelleert de interactie als een adversariële game tussen een modeleigenaar en een validator.

Deel I: Telemetrie-architectuur

Discrete-Tijd Logging: De auteur stelt dat afstand in de gewichtsruimte (bijv. de Frobenius-norm) een inadequate metriek is voor audit. In plaats daarvan definieert zij de Behavioral Divergence ( $\delta_t$ ) als de Kullback-Leibler (KL) divergentie tussen de output-distributies van opeenvolgende modeltoestanden op een canonieke referentieset $R$ . Zij construeert een Merkle Weight Chain om elke modeltoestand cryptografisch te binden aan de voorganger en de trainingsdata, wat zorgt voor bewijs van manipulatie (tamper-evidence).
Event-Driven Logging: In plaats van elke stap te loggen, logt het systeem alleen bij Stopping Times die worden gedefinieerd door het overschrijden van een drempelwaarde voor gedragsdivergentie. Dit zorgt ervoor dat de log-densiteit proportioneel is aan de gedragsmatige beweging, niet aan de wandkloktijd.
Continue-Tijd Limiet: De discrete SGD- recursie wordt benaderd door een Itô Stochastische Differentiaalvergelijking (SDE). De auteur identificeert Quadratic Variation $[W]_t$ als de canonieke telemetrie-scalar voor continue tijd, die de stochastische intensiteit van het leren vastlegt.
Stabiliteitsframework: De architectuur is ingebed binnen een Lyapunov stabiliteitsframework. De auteur leidt condities af voor zowel gemiddelde stabiliteit als bijna-zekere pad-wijze stabiliteit, waarbij de Wet van de Geteerlate Logaritme (LIL) wordt gebruikt om martingaal-fluctuaties te begrenzen.
Governance Trigger: Een CUSUM (Cumulative Sum) test wordt voorgesteld om gelaagde governance-escalatie te operationaliseren, wat een statistisch gefundeerd mechanisme biedt voor het detecteren van verschuivingen in gedragsdivergentie met gecontroleerde fout-positief ratio's.

Deel II: Het Model Hiding Problem

Het artikel formaliseert een spel waarbij de Model Owner ( $F$ ) probeert ongedetecteerde drift te maximaliseren, terwijl de Validator ( $V$ ) probeert drift te detecteren. De auteur classificeert zes verschillende aanvalsstrategieën en analyseert de tegenmaatregelen:

Discrete-Tijd Aanvallen:
- Attack S (Suppression): Het bedrijf stopt met het verzenden van telemetrie. Tegenmaatregel: Een Behavioral Oracle die gebruikmaakt van een geheime canary-set om output-divergentie te detecteren.
- Attack F (Forgery): Het bedrijf rapporteert een conforme "decoy" hash terwijl er een gedrifte model wordt geserveerd. Tegenmaatregel: Inference Signing (het binden van outputs aan model-hashes) en Zero-Knowledge Proofs (zk-SNARKs) voor Lyapunov-compliance.
- Attack C (Shadow Model): Het bedrijf mengt outputs van een gerapporteerd model met die van een niet-gerapporteerd side-channel model. Tegenmaatregel: Trusted Execution Environment (TEE) attestatie om de gehele pipeline te binden aan een hardware-geverifieerde staat.
Continue-Tijd Aanvallen:
- Attack N (Diffusion-Amplified Drift Masking): Het bedrijf versterkt ruis om drift te maskeren. Tegenmaatregel: Het artikel bewijst dat Power Variation ratio's falen om drift te detecteren omdat de eerste variatie van een diffusie oneindig is; de ratio meet de bemonsteringsfrequentie, niet de drift.
- Attack G (Girsanov Measure Manipulation): Het bedrijf manipuleert trainingsdata om de waarschijnlijkheidsmaat van de drift te veranderen. Tegenmaatregel: De voorgestelde Gradient Probe wordt als circulair beschouwd, aangezien deze slechts de gewichtsdrift opnieuw detecteert die al zichtbaar is voor de Behavioral Oracle.
- Attack H (Hessian Exploitation): Het bedrijf manipuleert de lokale kromming om drift-signalen in mean-stability checks te annuleren. Tegenmaatregel: Een Path-wise Stability Check met behulp van de LIL-envelope om te verifiëren dat gerealiseerde paden binnen de verklaarde quadratic variation bounds blijven.

Fundamentele Limieten

Het artikel stelt een Information-Theoretic Residual vast. Zelfs met alle tegenmaatregelen bestaat er een strikt positieve straal $\epsilon^*(\delta)$ van ondetecteerbare gewicht-perturbaties voor elke eindige gedragsresolutie $\delta$ . Dit impliceert dat geen enkel telemetrie-regime willekeurig kleine drift kan detecteren.

3. Belangrijkste Bijdragen

Minimal Sufficient Statistic: Formalisering van de State Digest (gedragsdivergentie op een referentieset) als de minimale voldoende statistiek voor discrete-tijd auditing, ter vervanging van gewichtsruimte-afstand.
Merkle Weight Chain: Constructie van een tamper-evident keten die modeltoestanden bindt aan trainingsdata, waardoor de vertrouwenswaardigheid van de historie wordt teruggebracht tot de verificatie van een enkele keten-tip.
Continue-Tijd Generalisatie: Afleiding van de continue-tijd limiet via Itô-calculus, waarbij Quadratic Variation wordt vastgesteld als de canonieke scalar voor leerintensiteit en KL Stopping Times voor event-driven logging.
Stabiliteitscertificaten: Inbedding van het framework in de Lyapunov-theorie om gemiddelde en bijna-zekere stabiliteitscondities af te leiden, inclus\t de gebruikte Wet van de Geteerlate Logaritme voor pad-wijze bounds.
Model Hiding Taxonomie: Een systematische classificatie van zes verbergingsstrategieën (drie discrete, drie continue) met formele tegenmaatregelen voor elk.
Negatieve Resultaten: Rigoureuze bewijzen dat natuurlijke continue-tijd defensies (Power Variation en Gradient Probes) falen om specifieke adversariële drifts te detecteren, wat de intrinsieke beperkingen van telemetrie benadrukt.
Detection Floor Theorem: Bewijs dat er voor elke eindige resolutie $\delta > 0$ een set ondetecteerbare perturbaties bestaat met een strikt positieve straal $\epsilon^*(\delta)$ .
Dual-Regime Principle: Een ontwerp-aanbeveling dat continue telemetrie noodzakelijk maar niet voldoende is, en vereist dat dit gepaard gaat met periodieke invasieve audits om de resterende leakage te begrenzen.

4. Resultaten

Het artikel ondersteunt de theoretische claims met numerieke studies (gebruikmakend van een lichtgewicht softmax classifier) en formele bewijzen:

Metric Efficacy: Studie A1 toont aan dat gewichts-perturbaties van gelijke grootte in de gradiënt-richting een significant hogere KL-divergentie produceren (ca. 2.33 $\times$ ) dan in de tangentiële (null-space) richting, wat de gedragsdivergentie boven de Frobenius-norm valideert.
Tamper Evidence: Studie A2 bevestigt dat een minimale wijziging ( $10^{-2}$ ) in de gewichten de gehele daaropvolgende Merkle-keten met overweldigende waarschijnlijkheid ongeldig maakt.
Event-Driven Logging: Studie A3 laat zien dat statische modellen nul pakketten genereren, terwijl de pakket-densiteit schaalt met de adaptatie-intensiteit, wat de efficiëntie van de stopping-time aanpak valideert.
Quadratic Variation: Studie A4 verifieert dat empirische quadratic variation overeenkomt met de theoretische voorspelling $\eta \sigma^2 d_{tot} T$ met een fout van slechts 0.56%.
Stabiliteit en CUSUM: Studie A5 bevestigt de Lyapunov-decay naar een noise floor en demonstreert dat de CUSUM-trigger adversariële drift kort na het begin detecteert, terwijl een lage false-alarm rate behouden blijft.
Attack N Falen: Studie B2 bevestigt dat de Power Variation ratio blind is voor drift en enkel schaalt met de wortel van het aantal samples ( $\sqrt{n}$ ), ongeacht de magnitude van de drift.
Attack H Detectie: Studie B4 laat zien dat terwijl mean-stability checks slagen voor een aanvaller die de variantie onderverklaren, de path-wise LIL envelope check de overtreding detecteert met een snelheid van 99.7%.
Resolution Floor: Studie B5 demonstreert empirisch het bestaan van een finite-resolution gap waar kleine perturbaties ongedetecteerd blijven door de canary set, wat Theorem 13.3 bevestigt.

5. Betekenis en Claims

Het artikel claimt de eerste formele behandeling te bieden van governance-evasie in de context van continu lerende AI-modellen. De betekenis ligt in:

Herdefiniëren van Audit Metrieken: De focus verschuiven van gewichtsruimte-afstand naar gedragsdivergentie, waarbij erkend wordt dat grote gewichtsverplaatsingen gedragsmatig inert kunnen zijn, terwijl kleine bewegingen kritiek kunnen zijn.
Overbruggen van MRM en Continu Leren: Het aanpassen van statische MRM-frameworks aan dynamische systemen door de introductie van continue telemetrie en stabiliteitscertificaten.
Eerlijkheid over Limieten: In plaats van te claimen een perfect detectiesysteem te hebben, definieert het artikel rigoureus de detection floor. Het beargumenteert dat omdat telemetrie niet willekeurig kleine drifts kan detecteren, een Dual-Regime Principle vereist is: continue telemetrie verkleint de scope van audits, maar periodieke invasieve audits (onder TEE) zijn strikt noodzakelijk om de resterende risico's te begrenzen.
Defense-in-Depth: De voorgestelde architectuur is geen enkel instrument, maar een gelaagde stack (Hardware, Cryptografisch, Statistisch, Stochastisch, Governance) waarbij elke laag een specifiek aanvalsoppervlak adresseert.

Het artikel concludeert dat hoewel continue telemetrie governance transformeert van ongestuurde snapshots naar gerichte onderzoeken, het de invasieve audits niet kan vervangen. De "dual-regime" aanpak wordt gepresenteerd als de enige structureel gezonde manier om de risico's van zelf-adapterende AI binnen de bestaande MRM-richtlijnen te beheren.