🤖 machine learning

FLIPS: Instance-Fingerprinting for LLMs via Pseudo-random Sequences

Dit artikel introduceert FLIPS, een nieuwe methode voor fingerprinting op instantieniveau die gebruikmaakt van de bias in pseudo-willekeurige sequenties om verschillende configuraties van hetzelfde Large Language Model nauwkeurig te onderscheiden, waardoor een kritiek gat in AI-regulering wordt gedicht door de identificatie van specifieke uitgerolde gedragingen mogelijk te maken in plaats van enkel de herkomst van het model.

Oorspronkelijke auteurs: Gurvan Richardeau, Gohar Dashyan, Erwan Le Merrer, Gilles Tredan

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gurvan Richardeau, Gohar Dashyan, Erwan Le Merrer, Gilles Tredan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het is Niet Alleen de Motor, Maar Ook de Bestuurder

Stel je voor dat je een zeer krachtige auto hebt (een Large Language Model, of LLM). Normaal gesproken, wanneer de politie of toezichthouders een auto willen identificeren, kijken ze naar de motor (de gewichten van het model). Als de motor hetzelfde is, gaan ze ervan uit dat het dezelfde auto is.

Maar dit paper betoogt dat dat niet genoeg is. Twee auto's met exact dezelfde motor kunnen heel verschillend rijden, afhankelijk van:

Wie er rijdt? (De systeemprompt/instructies).
Hoe snel ze rijden? (De temperatuurinstelling).
Welke brandstof ze gebruiken? (Kwantisering of fine-tuning).

Een auto kan veilig en beleefd zijn met de ene bestuurder, maar roekeloos en giftig met een andere. Huidige methoden om AI-modellen te identificeren zijn als het kijken naar alleen de motor; ze negeren de bestuurder en de instellingen. Dit paper introduceert een nieuwe methie genaamd FLIPS die werkt als een kentekenplaatlezer. Het identificeert niet alleen het automodel; het identificeert de specifieke instantie van die auto in zijn huidige configuratie.

Het Probleem: De "Robuustheid"-valstrik

Bestaande AI-fingerprinting tools werden gebouwd om intellectueel eigendom te beschermen (zoals het betrappen van iemand die de code van een model heeft gestolen). Om dit te doen, zijn ze ontworpen om "robuust" te zijn—wat betekent dat ze kleine veranderingen negeren. Ze willen zeggen: "Ja, dit is het Llama-3 model," zelfs als de instellingen zijn veranderd.

Het Dilemma van de Toezichthouder:
Toezichthouders (zoals de EU AI Act) geven niet om de originele code; ze geven om het gedrag. Als een bedrijf beweert dat hun AI "veilig" is, maar ze passen de instellingen aan om het "onveilig" te maken, moet de toezichthouder die specifieke, gevaarlijke versie kunnen oppikken. Huidige tools zijn "blind" voor deze veranderingen omdat ze zijn ontworpen om deze juist te negeren.

De Oplossing: FLIPS (De "Willekeur"-test)

De auteurs hebben een tool ontwikkeld genaamd FLIPS (Fingerprinting LLMs via Pseudo-random Sequences). Zo werkt het, met een eenvoudige analogie:

De Analogie: De Muntworp-test
Stel je voor dat je een persoon vraagt om 100 keer een munt op te gooien en de resultaten op te schrijven (Kop/Munt).

Een perfect willekeurige muntworp produceert een rommelig, onvoorspelbaar patroon.
Een mens die probeert "nep-willekeur" te simuleren, valt vaak in subtiele patronen (bijv. ze vermijden het drie keer achter elkaar gooien van "Kop" omdat dat te onwaarschijnlijk voelt).

Hoe FLIPS werkt:

De Vraag: De toezichthouder vraagt de AI om een reeks willekeurige binaire tokens te genereren (zoals "0" en "1" of "auto" en "zon").
De Fout: AI-modellen zijn slecht in het zijn van echt willekeurig. Ze hebben verborgen "biases" of "gewoontes" gebaseerd op hun specifieke gewichten, instellingen en instructies.
De Vingerafdruk: FLIPS haalt de output van de AI door een batterij van statistische tests (de NIST-suite, wat een rigoureuze wiskundige examen is voor willekeur).
Het Resultaat: Hoewel de AI probeert willekeurig te zijn, laat het een unieke "vingerafdruk" van zijn fouten achter.
- Voorbeeld: Model A gooit misschien per ongeluk te vaak "0" na een "1". Model B vermijdt misschien "000".
- FLIPS meet deze minuscule, specifieke biases om precies te identificeren welke versie van de AI aan het praten is.

De Resultaten: De "Slechte" Versies Betrappen

De onderzoekers testten dit op 237 verschillende versies van 25 verschillende AI-modellen. Ze veranderden de temperatuur, de instructies en verwijderden zelfs veiligheidsfilters (een proces genaamd "abliteration").

Oude Methode (LLMmap): Wanneer gevraagd werd om tussen een veilig model en een "gehackte" onveilige versie van hetzelfde model te onderscheiden, faalde de oude methode jammerlijk. Het dacht dat ze dezelfde auto waren (95% van de tijd zat het ernaast). Het was te "robuust."
FLIPS: Het identificeerde de specifieke versie correct in 96% van de gevallen in een gesloten test (waar het alle opties kende) en in 90% van de gevallen in een open test (waar het moest zeggen "ik ken deze niet" als het niet in de database stond).

Belangrijkste bevinding: FLIPS kan het verschil zien tussen een veilige AI en een gevaarlijke, aangepaste versie van diezelfde AI met slechts een klein aantal vragen (zo minstens 8 queries).

Waarom dit Belangrijk is voor Regulering

De auteurs vergelijken FLIPS met een kentekenplaat.

Kentekenplaten: Ze zijn gemakkelijk te vervalsen, maar ze zijn de standaard manier waarop de politie een specifieke auto identificeert op de weg. Ze hoeven niet onder de motorkap te kijken om te weten of een auto te hard rijdt of de verkeerde kant op rijdt.
FLIPS: Het stelt toezichthouders in staat om de "kentekenplaat" van een AI te controleren zonder dat ze toegang nodig hebben tot de private code (gewichten) van het bedrijf.

Als een bedrijf zegt: "Wij draaien de veilige versie van onze AI," kan een toezichthouder FLIPS gebruiken om een paar willekeurige vragen te stellen. Als de antwoorden de "onveilige vingerafdruk" laten zien, weet de toezichthouder dat het bedrijf liegt of de instellingen heeft gewijzigd, zonder dat hij de interne code hoeft te zien.

Samenvatting

Het Probleem: Huidige AI-identificatietools negeren instellingen die het gedrag van een AI veranderen.
De Oplossing: FLIPS gebruikt het onvermogen van de AI om perfecte willekeur te genereren om een unieke "vingerafdruk" te creëren voor elke specifieke configuratie.
Het Voordeel: Toezichthouders kunnen snel verifiëren of een ingezette AI de veilige, goedgekeurde versie is of een gevaarlijke, aangepaste versie, met behulp van zeer weinig vragen en zonder toegang tot private code.

Technische Samenvatting: FLIPS – Instance-Fingerprinting voor LLM's via Pseudo-willekeurige Sequenties

1. Probleemstelling

Huidige identificatietechnieken voor Large Language Models (LLM's), die primair zijn ontworpen voor Intellectuele Eigendomsbescherming (IPP), richten zich op het verifiëren of een doelmodel een kopie is van een referentiemodel op basis van de originele gewichten. Deze methoden negeren doelbewust "instance-level parameters"—zoals systeemprompts, sampling-configuraties (bijv. temperatuur) en kwantisatie—om robuustheid tegen kleine modelwijzigingen te bereiken.

Deze aanpak creëert echter een kritieke kloof voor AI-regulering. Wetgeving zoals de EU AI Act en Californië's SB 533 vereist naleukingsbeoordelingen gebaseerd op het daadwerkelijke gedrag van een LLM, niet alleen op de herkomst ervan. Een model met veilige gewichten kan onder verschillende configuraties (bijv. specifieke systeemprompts of hoge temperaturen) toxische inhoud genereren. Bestaande IPP-methoden slagen er niet in om onderscheid te maken tussen een veilig model en zijn "geablereerde" (ongecensureerde) of anders geconfigureerde varianten, waardoor ze ineffectief zijn voor toezichthouders die specifieke ingezette instances moeten identificeren om de gedragsnaleving te verifiëren.

Het artikel definieert Instance-level Fingerprinting (IF) als de taak van het onderscheiden van een specifieke model-instance die wordt gedefinieerd door haar exacte gewichten, instructieve inkadering en generatie-hyperparameters.

2. Methodologie: FLIPS

De auteurs stellen FLIPS voor (Instance-Fingerprinting for LLMs via Pseudo-random Sequences), een black-box, query-efficiënte methode die is ontworpen om instance-specifieke biases te detecteren in de generatie van pseudo-willekeurige sequenties.

Kernredenering

De methode maakt gebruik van de observatie dat LLM's slecht zijn in het genereren van echte willekeurige sequenties. Wanneer ze worden geprompt om binaire sequenties te genereren (bijv. afwisselende tokens zoals "0" en "1" of willekeurige paren zoals "auto" en "zon"), vertonen LLM's onderscheidende, instance-specifieke biases. Deze biases ontstaan uit de complexe interactie tussen gewichten, aandachtmechanismen, context en hyperparameters (zoals temperatuur), wat een uniek "blauwdruk" voor elke instance creëert.

Technische Pipeline

Query-strategie: Het systeem gebruikt een vaste prompt-template die het model instrueert een willekeurige binaire sequentie te genereren met behulp van een specifiek paar tokens (bijv. $t_A$ en $t_B$ ). De auteurs maken gebruik van een reeks verschillende token-paren om verschillende bias-signatures op te roepen.
Feature Extractie: De gegenereerde output-sequenties worden omgezet in binaire bitstromen. Deze bitstromen worden geanalyseerd met behulp van de NIST Statistical Test Suite (een standaard cryptografische testsuite voor willekeurigheid). De suite produceert een vector van $d$ teststatistieken (bijv. frequentie van transities, run-lengtes, patroonverschijnselen) die dienen als de fingerprint-features.
Detector Training: De fingerprinting-taak wordt geframed als een multi-class classificatieprobleem. Een XGBoost classifier wordt getraind op de NIST-feature vectoren die zijn geëxtraheerd uit een referentieset van bekende instances.
Verificatie: Om een doel-instance te verifiëren, bevraagt het systeem deze met dezelfde token-paren, extraheert de NIST-statistieken en voert deze aan de getrainde classifier. De classifier voorspelt de meest waarschijnlijke referentie-instance of labelt de doel-instance als "Unseen" als de betrouwbaarheid onder een vooraf ingestelde drempelwaarde valt.

Operationele Beperkingen

FLIPS is ontworpen om te opereren onder strikte black-box condities (geen toegang tot gewichten of logits) en geeft prioriteit aan query-efficiëntie. Het maakt onderscheid tussen:

Extraction Budget ( $N_r$ ): Gebruikt om de referentiedatabase op te bouwen (bijv. 40 queries per instance).
Verification Budget ( $N_t$ ): Gebruikt voor routinematige controles (bijv. slechts 8 queries).

3. Belangrijkste Bijdragen

Paradigmaverschuiving: Het artikel introduceert en motiveert Instance-level Fingerprinting, waarbij de focus verschuift van gewicht-gebaseerde identificatie (IPP) naar configuratie-bewuste identificatie voor regulatoire naleving.
FLIPS Algoritme: Een nieuwe, query-efficiënte methode die gebruikmaakt van biases in pseudo-willekeurige generatie en NIST-teststatistieken om tussen model-instances te onderscheiden.
Uitgebreide Benchmark: De auteurs hebben een benchmark geconstrueerd van 237 instances afgeleid van 25 open-weight LLM's. Dit omvat variaties in temperatuur (0.4–1.0), systeemprompts (veiligheidsgericht, schadelijk, persona-gebaseerd), kwantisatie (int4, fp8) en geablereerde modellen.
Empirische Validatie: De studie toont aan dat FLIPS de aangepaste state-of-the-art IPP-methoden aanzienlijk overtreft bij het onderscheiden van gedragsvarianten.

4. Experimentele Resultaten

Geëvalueerd op de 237-instance benchmark, behaalde FLIPS de volgende prestatie-metrieken:

Closed-Set Accuracy: 96% met 8 verificatie-queries ( $N_t=8$ ).
Open-Set Accuracy: 90% (waarbij 10% van de doel-instances onbekende/ongeziene instances zijn) met 8 verificatie-queries.
Baseline Vergelijking: De aangepaste state-of-the-art IPP-methode, LLMmap, behaalde slechts 35% nauwkeurigheid in de closed-set setting en werd niet geëvalueerd in de open-set setting vanwege slechte prestaties.
Query Efficiëntie: Hoge nauwkeurigheid werd bereikt met slechts 40 extractie-queries en 8 verificatie-queries per instance.
Robuustheid: De methode bleef effectief, zelfs wanneer sequentielengtes werden ingekort tot een vaste lengte, wat bevestigt dat het signaal voortkomt uit bias in plaats van rauwe lengteverschillen.
Foutanalyse: De methode vertoonde een lagere recall voor instances met hogere temperaturen (verhogende output-entropie) en specifieke "geablereerde" modellen, hoewel zij nog steeds een significante onderscheidende kracht behield vergeleken met de baselines.

5. Betekenis en Claims

Het artikel claimt dat FLIPS een praktisch haalbare oplossing biedt voor AI-toezichthouders om de naleving van ingezette LLM's te verifiëren zonder dat daarvoor kostbare volledige audits of white-box toegang nodig is.

Regulatoire Noodzaak: De auteurs argumenteren dat omdat instance-level parameters (prompts, temperatuur) het gedrag van een model drastisch veranderen (bijv. veiligheid versus toxiciteit), toezichthouders in staat moeten zijn om specifieke configuraties te identificeren, niet alleen modelgewichten.
Kenteken Analogie: De auteurs vergelijken FLIPS met een "kentekenplaat" voor LLM's: een eenvoudig, efficiënt mechanisme om een instance te identificeren. Hoewel dit vervalst kan worden (bijv. door een provider die queries omleidt naar een echte PRNG), is dergelijke misleiding detecteerbaar (omdat echte PRNG's de NIST-tests perfect doorstaan) en vormt het een hogere barrière dan de huidige blinde vlek in de regulering.
Beperkingen: Het artikel erkent dat naarmate de interne willekeurige generatiecapaciteiten van LLM's verbeteren, de onderscheidende kracht van deze methode kan afnemen. Het suggereert echter dat de taak kan worden opgeschaald naar complexere willekeurigheidsuitdagingen (bijv. Poisson-processen) om de effectiviteit te behouden.

Concluderend demonstreert FLIPS dat het exploiteren van subtiele biases in pseudo-willekeurige generatie een effectieve, laag-kosten identificatie van specifieke LLM-instances mogelijk maakt, waarmee een kritieke kloof in huidige AI-governance kaders wordt gedicht.