🤖 AI

Committed SAE-Feature Traces for Audited-Session Substitution Detection in Hosted LLMs

Dit artikel stelt een commit-open-protocol voor dat Merkle-boomcommitments gebruikt voor feature-traces van sparse autoencoders (SAE) om stilzwijgende modelsubstitutie in gehoste LLM's effectief te detecteren, en dat bestaande probe-na-terugkeer-schema's overtreft door diverse adaptieve aanvallen af te wijzen terwijl de rekenkosten minimaal blijven.

Oorspronkelijke auteurs: Ziyang Liu

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ziyang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gastronomisch biefstuk bestelt bij een high-end restaurant. Je betaalt voor een premium stuk vlees, maar de keuken ruilt het in het geheim in voor een goedkopere, bevroren hamburger. In de wereld van AI is dit een reëel risico: een cloudprovider kan een krachtig, duur AI-model adverteren, maar je in het geheim een goedkoper, zwakker model sturen om geld te besparen.

Dit artikel stelt een nieuwe manier voor om deze "nep-biefstukken" op te sporen zonder dat je het restaurant hoeft te vertrouwen.

Het probleem: de "magische spiegel"-truc

Huidige beveiligingsmethoden proberen oplichters te betrappen door een geheime testvraag (een "sonde") naar de AI te sturen, samen met je echte verzoek. Als de AI de testvraag correct beantwoordt, beweert de provider: "Zie je? We hebben het goede model gebruikt!"

Maar een oneerlijke provider kan dit systeem omzeilen met een "magische spiegel"-truc. Ze kunnen je geheime testvraag naar het dure, hoogwaardige model routeren (om de test te doorstaan), terwijl ze je werkelijke verzoek naar het goedkope, zwakke model sturen. Je krijgt een slecht resultaat, maar de beveiligingscontrole zegt dat alles in orde is.

De oplossing: de "verzegelde receptenbox"

De auteurs stellen een nieuw systeem voor dat een Commit-Open Protocol wordt genoemd. Denk hierbij aan een verzegelde receptenbox die de kok voordat hij begint met koken moet afsluiten.

De Commitment (Het afsluiten van de box): Voordat de AI een antwoord genereert, maakt het een digitaal "vingerafdruk" van zijn interne denkproces. Het gebruikt een speciaal hulpmiddel (een zogenaamde Sparse Autoencoder, of SAE) om op elk moment een momentopname te maken van zijn hersenactiviteit. Vervolgens vergrendelt het deze momentopnames in een digitale "Merkle-tree" (een beveiligde, onveranderlijke lijst) en publiceert het de vergrendeling.
Het openen (Het controleren van de bon): Nadat de AI je het antwoord heeft gegeven, kiest de beveiligingscontroleur een paar willekeurige stappen uit het proces en vraagt de provider om de box voor die specifieke momenten te "openen".
De verificatie (De proeverij): De controleur vergelijkt de geopende momentopnames met een openbare bibliotheek van hoe een "goed" AI-brein eruitziet. Als de momentopnames overeenkomen met het hoogwaardige model, wordt het antwoord geaccepteerd. Als ze lijken op het goedkope model, wordt het antwoord afgewezen.

Waarom oplichters niet kunnen winnen

Het artikel testte dit tegen 17 verschillende soorten oplichters, waaronder diegenen die modellen proberen te verwisselen, diegenen die het model lichtjes proberen aan te passen, en zelfs diegenen die proberen het systeem wiskundig te bedriegen.

De "Parallel Serve"-mislukking: Bij de oude "magische spiegel"-methode konden oplichters de test gemakkelijk doorstaan door alleen de testvragen aan het goede model te tonen. In dit nieuwe systeem is de "vingerafdruk" voordat het antwoord volledig is gegenereerd vergrendeld en dekt het het hele proces. Hierdoor kan de oplichter niet halverwege het proces het model verwisselen zonder de vergrendeling te breken.
De "nep-brein"-mislukking: Zelfs als een oplichter probeert de vingerafdrukken te vervalsen (alsof ze de hersenactiviteit van het goede model hebben), toont de wiskunde aan dat het onmogelijk is om de complexiteit van de interne gedachten van het echte model na te bootsen zonder het echte model daadwerkelijk uit te voeren.
De "hacker"-mislukking: Zelfs als een hacker probeert terug te werken vanuit de vingerafdrukken om het systeem te bedriegen, is de kloof tussen het echte model en het nep-model te groot om te overbruggen.

De kosten

De auteurs voerden dit uit op drie verschillende AI-modellen. Ze ontdekten dat het toevoegen van deze beveiligingsvergrendeling de AI slechts ongeveer 2,1% vertraagt. Het is een kleine prijs om te betalen om ervoor te zorgen dat je geen bevroren hamburger krijgt terwijl je voor een biefstuk hebt betaald.

Kortom: Dit artikel introduceert een "vergrendel-en-controleer"-systeem dat AI-providers dwingt te bewijzen dat ze het specifieke model hebben gebruikt dat ze hebben beloofd, waardoor het wiskundig onmogelijk wordt om een goedkopere versie in te wisselen zonder betrapt te worden.

Technische Samenvatting: Toegewijde SAE-kenmerken voor het Detecteren van Vervanging van Gecontroleerde Sessies in Gehoste LLM's

Probleemstelling

Aanbieders van gehoste Large Language Models (LLM's) worden geconfronteerd met een prikkel voor "stille vervanging": de economische motivatie om een model met hoge capaciteit te adverteren terwijl ze gebruikers in het geheim een goedkopere, mindere kwaliteit vervanger serveren. Bestaande detectiemechanismen, zoals "probe-na-terugkeer"-schema's (bijvoorbeeld SVIP), zijn kwetsbaar voor een parallelle-serve zijkanaal. In deze schema's kan een ongetrouwe aanbieder het specifieke probeverzoek van een verificateur naar het geadverteerde (sterke) model routeren om de audit te doorstaan, terwijl ze tegelijkertijd gewone gebruikers bedienen vanuit de vervangende (zwakke) model. Dit creëert een gat waarin vervanging ondetecteerbaar blijft door standaard verificatiemethoden.

Methodologie: Het Commit-Open Protocol

Om dit verificatiegat te dichten, stellen de auteurs een commit-open protocol voor dat de aanbieder verhindert om proebes selectief te routeren. De methodologie werkt als volgt:

Commitment-fase: Voordat er een openingsverzoek plaatsvindt, commit de aanbieder aan een "schets van kenmerken" (feature-trace sketch) van de gegenereerde output. Deze schets wordt gegenereerd met behulp van een Sparse Autoencoder (SAE) op een gepubliceerde proeflaag. De aanbieder construeert een Merkle-boom over per-positie SAE-kenmerken, waardoor een cryptografische commitment wordt gecreëerd aan het daadwerkelijke modelgedrag tijdens de sessie.
Openings- en Verificatiefase: Een verificateur vraagt om de opening van willekeurige posities binnen de toegewijde trace. De aanbieder onthult de corresponderende SAE-kenmerken.
Scoren en Beslissing: De verificateur scoort deze geopende kenmerken tegen een publieke bibliotheek met benoemde circuits voor proeven. Deze bibliotheek is gekalibreerd om rekening te houden met ruis tussen backends. De uiteindelijke beslissing wordt genomen met behulp van een regel voor gezamenlijke consistentie met een vaste drempelwaarde en z-score, die bepaalt of de onthulde kenmerken consistent zijn met het geadverteerde model.

Experimentele Uitwerking en Resultaten

Het protocol is uitgewerkt en getest op drie verschillende backbone-architecturen:

Qwen3-1.7B
Gemma-2-2B
Een opgeschaalde variant van Gemma-2-9B met gebruikmaking van een SAE met 131k kenmerken.

De evaluatie omvatte 17 verschillende aanvallers die diverse vervangingsstrategieën vertegenwoordigden, waaronder:

Lifts van modellen binnen dezelfde familie.
Vervangers tussen verschillende families.
Adaptieve LoRA-aanvallen (Low-Rank Adaptation) met rang <=128.

Belangrijkste bevindingen:

Detectie-effectiviteit: Alle 17 aanvallers werden afgewezen bij een gedeelde, schaalstabiele drempelwaarde met behulp van het voorgestelde protocol.
Vergelijking met Baseline: Dezelfde set aanvallers slaagde erin om een匹配的 SVIP-stijl parallelle-serve baseline te ontvluchten, wat de superioriteit van de commit-open-aanpak aantoont bij het voorkomen van selectieve routering.
Robuustheid tegen Geavanceerde Aanvallen:
- Een witte-boks end-to-end aanval, die probeerde backpropagatie uit te voeren door de bevroren SAE-encoder om kenmerken te vervalsen, slaagde er niet in om de detectiemarge te dichten.
- Een aanvaller die kenmerken vervalst (een die het eerlijke model $M_h$ nooit uitvoert) is in gesloten vorm begrensd door een argument over intrinsieke dimensie, wat theoretisch de haalbaarheid van succesvolle vervalsing beperkt.
Prestatie-overhead: Het commitment-mechanisme voegt een verwaarloosbare rekentijd toe, waardoor de wandkloktijd voor alleen forward-pass met ≤2,1% toeneemt bij een batchgrootte van 32.

Betekenis en Claims

Het artikel claimt dat dit protocol de kwetsbaarheid van het parallelle-serve zijkanaal die inherent is aan probe-na-terugkeer-schema's, effectief elimineert. Door de aanbieder te dwingen zich te committeren aan de SAE-kenmerken van de daadwerkelijke gegenereerde output voordat verificatie plaatsvindt, zorgt het systeem ervoor dat het model dat voor auditing wordt gebruikt, hetzelfde model is dat voor gebruikersinference wordt gebruikt. De auteurs positioneren dit als een praktische, laag-overhead oplossing voor het detecteren van stille modelvervanging in gehoste LLM-omgevingen, gevalideerd over meerdere modelschalen en aanvalsvectoren zonder dat er wijzigingen nodig zijn in de onderliggende modelarchitectuur, behalve de integratie van de SAE.