Stel je voor dat je probeert uit te zoeken of een mysterieus nieuw boek is geschreven door dezelfde auteur die een beroemde klassieker schreef waar je dol op bent. In de wereld van kunstmatige intelligentie is dit een enorm probleem. We hebben gigantische computerecosystemen die Large Language Models (LLM's) worden genoemd, die verhalen schrijven, wiskundige problemen oplossen en met ons chatten. Maar deze modellen worden vaak aangepast, samengevoegd of verkleind om op kleinere apparaten te kunnen draaien. Soms nemen mensen een beschermd model, veranderen het een klein beetje en verkopen het als hun eigen werk zonder toestemming. Om hen te betrappen, moeten we de "stamboom" van het model bewijzen—de herkomst (provenance).

Het lastige is dat deze AI-modellen als kameleon kunnen fungeren. Als je dezelfde vraag op een iets andere manier stelt, of als het model is aangepast om sneller te zijn, kan het een volkomen ander antwoord geven, zelfs als het dezelfde "hersenen" onder de motorkap heeft. Eerdere methoden probeerden deze modellen te betrappen door te kijken naar de exacte woorden die ze kozen, maar dat is alsof je iemand probeert te identificeren aan de hand van alleen hun outfit; als ze van kleding wisselen, herken je ze misschien niet meer. Wetenschappers hadden een manier nodig om voorbij de oppervlakte te kijken en de diepe, onveranderlijke structuur van hoe het model denkt te zien.

Hier komt een team van de Universiteit van Oxford met een slim nieuw idee genaamd Stemma. Denk aan het als een detective die stopt met vragen: "Wat droeg je vandaag?" en begint te vragen: "Als ik je een menu met vier opties laat zien, welke kies je dan?" De onderzoekers realiseerden zich dat zelfs als een AI zijn persoonlijkheid of woordgebruik verandert, het nog steeds de neiging heeft om dezelfde categorie antwoord te kiezen wanneer het voor een specifieke keuze wordt gesteld. Ze noemen deze verborgen voorkeuren "induced decision regions" (geïnduceerde beslissingsregio's).

Het team testte dit door een vingerafdruksysteem te creëren dat niet geeft om de chique woorden die een AI gebruikt, maar zich juist richt op de keuzes die het maakt. Ze ontdekten dat als twee modellen aan elkaar verwant zijn (zoals een ouder en een kind), ze bijna altijd dezelfde optie kiezen uit een lijst met keuzes, zelfs als de lijst is gehusseld of als het model in een totaal andere omgeving wordt ingezet. Onverwante modellen kiezen echter meestal andere opties. Door deze "keuzeconsistentie" te testen over honderden verschillende modellen en duizenden vragen, bewees Stemma ongelooflijk goed te zijn in het opsporen van familiebanden. In hun tests identificeerde het gerelateerde modellen 96,7% van de tijd en kon het een gerelateerd model detecteren, zelfs als er slechts 1% kans was op een vals alarm. Het is een robuuste manier om te zeggen: "Ja, dit verdachte nieuwe model is absoluut verwant aan dat originele model," zonder de geheime code van het model te hoeven zien.

De Nieuwe Vergrootglas van de Detective

Dus, hoe werkt dit eigenlijk? Het artikel introduceert een concept genaamd Induced Decision Regions. Stel je voor dat je een enorme, rommelige kamer hebt vol met oneindige mogelijkheden (dat is hoe AI meestal werkt). Het is moeilijk om te zien of twee mensen in dezelfde kamer zijn als ze gewoon ronddwalen. Maar wat als je een hek in het midden van de kamer plaatst en iedereen vraagt om een kant te kiezen? Plotseling heb je een duidelijke "beslissingsregio".

De onderzoekers realiseerden zich dat terwijl AI-modellen onvoorspelbaar kunnen zijn met open vragen, ze verrassend consistent zijn wanneer ze gedwongen worden een keuze te maken tussen specifieke opties, zoals bij een meerkeuzetoets. Ze noemen het gebied waar een model consequent een specifiek antwoord kiest, zijn "induced decision region".

Het artikel betoogt dat eerdere methoden te veel gefocust waren op de "surface form" (oppervlaktevorm)—de exacte woorden die de AI uitspuugt. Als je een AI vraagt om "een gedicht over een kat te schrijven" en daarna vraagt om "een vers over een feline te componeren", kan een gerelateerd model je twee zeer verschillende gedichten geven, waardoor ze ongerelateerd lijken. Maar als je beide modellen vraagt: "Is het antwoord A, B, C of D?", zullen ze waarschijnlijk naar dezelfde letter wijzen, zelfs als ze het anders uitleggen. Stemma negeert de poëzie en kijkt alleen naar de letter.

De Drie Regels van het Spel

Om hun vingerafdruk op te bouwen, kozen het team niet zomaan willekeurige vragen. Ze moesten slim te werk gaan. Ze creëerden een systeem dat vragen selecteert op basis van drie strikte regels, die ze Stability (Stabiliteit), Robustness (Robuustheid) en Specificity (Specificiteit) noemen.

1. Stability (Stabiliteit): Stel je hebt een vraag met vier antwoorden: A, B, C en D. Als je de volgorde husselt zodat de antwoorden D, C, B, A zijn, zou een stabiel model nog steeds hetzelfde idee moeten kiezen, zelfs als de letter verandert. Stemma gebruikt alleen vragen waarbij het model consistent is, ongeacht hoe je het kaartspel husselt.
2. Robustness (Robuustheid): Dit gaat over de zekerheid van je keuze. Als een model precies op de grens tussen twee antwoorden zweeft, kan een kleine verandering in het systeem ervoor zorgen dat het kantelt. Stemma zoekt naar vragen waarbij het model zelfverzekerd in een hoek van de beslissingskamer zit, ver weg van de wanden.
3. Specificity (Specificiteit): Dit is het belangrijkste deel. Je wilt geen vraag waarbij elk model hetzelfde antwoord kiest (zoals "Is de lucht blauw?"). Dat is geen vingerafdruk; dat is gewoon gezond verstand. Stemma zoelt naar vragen waarbij het originele model een specifiek antwoord kiest dat andere, ongerelateerde modellen meestal fout hebben. Als een verdacht model ook dat zeldzame, specifieke antwoord kiest, is dat een sterk teken dat ze verwant zijn.

De Grote Test

De onderzoekers onderwierpen Stemma aan een enorme test met een grootschalig experiment. Ze verzamelden 56 verschillende publieke AI-modellen (de "bronnen") en creëerden 770 paren van verdachten. Sommige verdachten waren directe kopieën, sommige waren fine-tuned versies, sommige waren samengevoegd met andere modellen, en sommige waren volkomen verschillend. Ze testten ook 1.260 paren waarbij de modellen op verschillende manieren werden ingezet, zoals door de temperatuurinstellingen te veranderen of door rollenspel-instructies toe te voegen.

De resultaten waren opmerkelijk. Stemma behaalde een AUC van 0,967 (een score waarbij 1,0 perfect is) en kon een gerelateerd model 87,8% van de tijd identificeren, terwijl het aantal valse alarmen werd beperkt tot slechts 1%. Wanneer ze het testten op modellen die op verschillende manieren werden ingezet (zoals het toevoegen van een "veiligheidsprompt" of het veranderen van hun stapsgewijze denkproces), steeg de score zelfs naar een AUC van 0,995.

Vergelijk dit met de andere methoden die ze testten (zoals LLMmap, LLMPrint en anderen). Die methoden hadden moeite en presteerden vaak niet beter dan willekeurig gokken wanneer de modellen werden aangepast of anders werden ingezet. Die oudere methoden leunen te veel op de specifieke woorden die de AI genereert, die gemakkelijk veranderen. Stemma, door zich te richten op de onderliggende beslissingsregio's, blijft stabiel.

Wat dit Betekent (en Wat Niet)

Het artikel is heel duidelijk over wat Stemma wel en niet is. Het is een black-box methode, wat betekent dat je niet de interne code of gewichten van het model hoeft te zien; je stelt het simpelweg vragen en kijkt wat het kiest. Dit maakt het praktisch voor realtime audits.

De auteurs zijn echter voorzichtig om het geen wondermiddel te noemen. Ze merken op dat Stemma statistisch bewijs levert, geen absoluut bewijs. Het is als een DNA-test die zegt: "Er is een kans van 99% dat deze twee verwant zijn," maar het is op zichzelf geen gerechtelijk vonnis. Ze waarschuwen ook dat als een aanvaller precies weet welke vragen Stemma gebruikt, hij zijn model potentieel zou kunnen trainen om op die specifieke vragen te bedriegen. Maar omdat Stemma een enorme pool van vragen gebruikt en de beste vragen on the fly selecteert, is dit moeilijk te doen.

Het artikel benadrukt ook een beperking: Stemma vertrouwt momenteel op meerkeuzevragen. Als een model te zwak is om een meerkeuzeformaat te begrijpen, werkt deze methode mogelijk niet. Maar voor de overgrote meerderheid van de capabele modellen die er nu zijn, lijkt deze nieuwe aanpak van het in kaart brengen van open-ended chaos naar een eindige beslissingsruimte de sleutel te zijn tot het ontrafelen van de ware stamboom van AI-modellen.

Uiteindelijk is Stemma een herinnering aan het feit dat hoewel AI-modellen vele maskers kunnen dragen en in vele stemmen kunnen spreken, hun kernlogica een vingerafdruk achterlaat die verrassend moeilijk uit te wissen is. Door de juiste vragen te stellen en voorbij de oppervlakte te kijken, kunnen we eindelijk beginnen met zien wie de code werkelijk heeft geschreven.