💬 NLP

Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test

Dit artikel introduceert een rank-gebaseerde uniformiteitstest die gebruikers in staat stelt om de gedragsgelijkheid van een black-box LLM-API te verifiëren ten opzichte van een lokaal gedeployerd authentiek model, zelfs onder beperkte query-budgetten en tegenover geavanceerde tegenmaatregelen.

Oorspronkelijke auteurs: Xiaoyuan Zhu, Yaowen Ye, Tianyi Qiu, Hanlin Zhu, Sijun Tan, Ajraf Mannan, Jonathan Michala, Raluca Ada Popa, Willie Neiswanger

Gepubliceerd 2026-03-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaoyuan Zhu, Yaowen Ye, Tianyi Qiu, Hanlin Zhu, Sijun Tan, Ajraf Mannan, Jonathan Michala, Raluca Ada Popa, Willie Neiswanger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beroemde, superintelligente robot (een "Large Language Model" of LLM) huurt via een internetdienst. Je betaalt per vraag die je stelt. De verkoper zegt: "Gebruik mijn Gemma-2-9B robot, die is de beste!"

Maar wat als de verkoper in het geheim een goedkopere, langzamere of zelfs gevaarlijkere versie van die robot heeft neergezet? Misschien heeft hij de robot een beetje "opgeknapt" (kwantisatie) om stroom te besparen, of heeft hij er een geheime instructie in gestopt om onzin te praten (jailbreak). Omdat je de robot niet mag openmaken (het is een "black box"), zie je dit niet. Je krijgt gewoon antwoorden, maar je weet niet of het de echte robot is die antwoordt.

Dit artikel introduceert een slimme manier om dit op te sporen, genaamd RUT (Rank-based Uniformity Test). Laten we het uitleggen met een paar alledaagse vergelijkingen.

Het Probleem: De Vals Speelgoedfabriek

Stel je een fabriek voor die poppen maakt. De klant wil de "Premium Pop". De fabriek zegt: "Natuurlijk!" Maar in het geheim sturen ze soms de "Budget Pop" op, of een pop met een gebroken been.
Omdat de klant de poppen niet mag openmaken om te kijken of ze van hetzelfde plastic zijn, moet de klant kijken naar hoe de poppen gedragen zich.

Als de Premium Pop altijd op een specifieke manier lacht, en de Budget Pop doet dat net iets anders, dan is er iets mis.
Het probleem is: de fabriek is slim. Als ze zien dat je poppen test met een heel raar gedrag, kunnen ze zeggen: "Oh, die testpoppen zijn speciaal, die sturen we naar de echte Premium Pop." Ze kunnen ook poppen mixen: 90% Premium, 10% Budget. Dan is het heel lastig om het verschil te zien.

De Oplossing: De "Rangorde-Test" (RUT)

De auteurs van dit paper hebben een nieuwe test bedacht die werkt als een slimme rangschikking. Hier is hoe het werkt, stap voor stap:

1. De Referentie (De "Echte" Pop)

Jij (de auditor) hebt een echte Premium Pop in je eigen huis (je eigen computer). Je kunt deze pop zo vaak als je wilt vragen: "Wat doe je als ik dit zeg?" en je noteert precies hoe hij reageert. Dit is je referentiepunt.

2. De Vraag (De "Test")

Je stelt een vraag aan de fabriek (de API). De fabriek stuurt één antwoord terug.

3. De Rangschikking (Het Slimme Trucje)

In plaats van te kijken of het antwoord exact hetzelfde is als bij jou thuis (wat bijna nooit gebeurt omdat robots soms variëren), kijken we naar de rangorde.

Je vraagt je eigen pop 100 keer: "Wat doe je als ik dit zeg?"
Je noteert hoe vaak hij een bepaalde reactie geeft.
Vervolgens kijk je naar het antwoord van de fabriek.
De Vraag: "Waar in de ranglijst van mijn eigen poppen past het antwoord van de fabriek?"

Als de fabriek de echte pop stuurt, dan zal hun antwoord ergens in het midden van je lijstje vallen, willekeurig verspreid. Het is alsof je een kaart uit een goed gemengd deck trekt; het zou overal kunnen zitten.

Maar als de fabriek de Budget Pop stuurt, zal hun antwoord vaak in de verkeerde hoek van je lijstje vallen. Het past niet in de natuurlijke "willekeurige" verdeling van de echte pop.

4. De Wiskundige Check

De auteurs gebruiken een wiskundige test (de Cramér–von Mises test) om te kijken of de rangnummers van de fabrieks-antwoorden echt willekeurig zijn (zoals een eerlijke dobbelsteen) of dat er een patroon in zit (zoals een valstrik). Als het patroon niet willekeurig is, weten ze: "Aha! Dit is niet de echte pop!"

Waarom is dit zo goed?

De paper vergelijkt hun methode met andere methoden en laat zien dat RUT drie grote voordelen heeft:

Snel en Goedkoop (Efficiënt):
- Andere methoden moeten soms honderden vragen stellen om iets te zien. RUT heeft vaak maar één vraag nodig per test. Het is alsof je met één blik op de pop kunt zien of hij van echt plastic is, in plaats van hem 100 keer te laten dansen.
Onzichtbaar (Robuust):
- Soms proberen fabrieken te detecteren of je aan het testen bent. Als je heel rare vragen stelt, sturen ze de echte pop. RUT gebruikt normale, alledaagse vragen (zoals "Wat is het weer?" of "Vertel een grapje"). De fabriek ziet geen verdachte patronen en stuurt dus per ongeluk de verkeerde pop.
Zelfs bij kleine verschillen:
- Het werkt zelfs als de fabriek de pop alleen een beetje heeft "opgeknapt" (kwantisatie) of als ze een klein beetje van de poppen mixen. RUT is zo gevoelig dat het zelfs ziet als de fabriek een pop met een klein gebrek stuurt.

Wat hebben ze getest?

De auteurs hebben RUT getest in verschillende situaties:

Verkleinde robots: Robots die minder geheugen gebruiken (kwantisatie).
Gemanipuleerde robots: Robots die geheime instructies hebben gekregen om gevaarlijk te zijn (jailbreaks).
Vervanging: Robots die volledig vervangen zijn door een ander model.
Echte wereld: Ze hebben het getest op echte diensten in de lucht, en het werkte daar ook.

Conclusie

Kortom: RUT is een slimme, onopvallende manier om te controleren of een AI-dienst precies doet wat ze belooft. Het is alsof je een onzichtbare "stempel" op de antwoorden van de AI zet. Als de antwoorden niet de juiste stempel hebben, weet je dat de verkoper je aan het bedriegen is.

Dit is belangrijk voor iedereen die AI gebruikt, omdat het zorgt voor vertrouwen. Je wilt zeker weten dat je betaalt voor de beste robot, en niet voor een goedkope imitatie die misschien fouten maakt of onveilig is.

Titel: Auditing Black-Box LLM APIs met een Rang-gebaseerde Uniformiteitstest (RUT)

1. Het Probleem

Met de toenemende populariteit van Large Language Models (LLMs) via API's, verliest de gebruiker de zichtbaarheid op de onderliggende modelimplementatie. API-aanbieders hebben financiële prikkels om kosten te drukken of prestaties te manipuleren door:

Quantisatie: Het vervangen van een origineel model door een gecomprimeerde (bijv. 4-bit of 8-bit) variant.
Fine-tuning: Het ongemerkt aanpassen van het model met schadelijke instructies of "jailbreak"-prompts.
Modelvervanging: Het volledig vervangen van het beloofde model door een ander, goedkoper model.

De uitdaging voor auditors is dat ze slechts black-box toegang hebben: ze kunnen vragen stellen en antwoorden ontvangen, maar hebben geen toegang tot de modelgewichten, logit-waarden of interne metadata. Bestaande methoden om deze vervangingen te detecteren zijn vaak inefficiënt (vereisen te veel API-aanroepen), onnauwkeurig, of kwetsbaar voor tegenmaatregelen waarbij de aanbieder verdachte query-patronen herkent en omleidt.

2. Methodologie: Rank-Based Uniformity Test (RUT)

De auteurs stellen RUT voor, een asymmetrische tweestalen hypothesetest die de gedragsgelijkheid tussen een doel-API en een lokaal gedeployeerd referentiemodel verifieert.

Kernprincipes:

Asymmetrische Sampling: Voor elke prompt $x$ wordt één antwoord opgevraagd bij het doel-API ( $\pi_{tgt}$ ) en $m$ antwoorden bij het lokale referentiemodel ( $\pi_{ref}$ ).
Scorefunctie: Een scalar scorefunctie $f(y, x)$ wordt toegepast op de antwoorden. Na empirische evaluatie van vijf kandidaten (waarschijnlijkheid, token-rang, entropie, etc.), kiezen de auteurs voor Log-Rang (het gemiddelde van de logaritmen van de token-rangen) als de meest discriminerende functie.
Rangstatistiek: De score van het API-antwoord wordt vergeleken met de verdeling van de scores van de referentie-antwoorden. Er wordt een gerandomiseerde rangstatistiek ( $r_{tgt}$ $r_{t g t}$ ) berekend.
- Als de API het juiste model is, zou deze rangstatistiek uniform verdeeld moeten zijn over het interval $[0, 1]$ .
- Als er een afwijking is (bijv. quantisatie), zal de verdeling afwijken van uniformiteit.
Statistische Test: De auteurs gebruiken de Cramér–von Mises (CvM) test om te bepalen of de verzameling van rangstatistiekken significant afwijkt van een uniforme verdeling.

Voordelen van de methode:

Query-efficiëntie: Vereist slechts één API-call per prompt (in tegenstelling tot methoden die honderden samples per prompt nodig hebben).
Robuustheid: Gebruikt natuurlijke, gebruikersachtige query's zonder specifieke patronen die door een kwaadaardige aanbieder kunnen worden gedetecteerd en omgeleid.
Geen Logits nodig: Werkt puur op basis van de gegenereerde tekst, zonder toegang tot interne logit-waarden.

3. Belangrijkste Bijdragen

Nieuwe Audit-methode: Introductie van RUT, een test die tegelijkertijd accuraat, query-efficiënt en robuust is tegen adversarische providers.
Empirische Validatie: Uitgebreide testen onder diverse bedreigingsmodellen, waaronder quantisatie, jailbreaking, supervised fine-tuning (SFT) en volledige modelvervanging.
Real-world Validatie: Toepassing op live commerciële API's (zoals Nebius, Novita, Hugging Face Inference) om te laten zien dat de methode werkt in de praktijk en robuuster is dan string-gebaseerde metrics bij kleine decoding-afwijkingen.

4. Resultaten

De auteurs evalueren RUT tegen bestaande baselines: Maximum Mean Discrepancy (MMD) en de Kolmogorov–Smirnov (KS) test.

Detectiekracht: RUT behaalt consistent een hogere statistische kracht (gemeten als AUC van de power-curve) dan MMD en KS, vooral bij lage substitutiepercentages.
Quantisatie: RUT detecteert 4-bit en 8-bit quantisatie-effectief. Bestaande methoden faalden vaak bij 8-bit quantisatie van modellen zoals Gemma en Mistral.
Jailbreaking & SFT: De methode detecteert verborgen jailbreak-prompts en gedetecteerde gedragsveranderingen door fine-tuning (zelfs binnen het eerste trainingsepoch).
Volledige Vervanging: RUT onderscheidt zich sterk tussen volledig verschillende modellen (bijv. Llama vs. Mistral).
Robuustheid: In tegenstelling tot MMD, dat gevoelig is voor kleine formatteerfouten (zoals ontbrekende spaties in tokenisatie), blijft RUT stabiel omdat het werkt op de rangorde van tokens in plaats van ruwe string-overeenkomst.
Kostenefficiëntie: RUT vereist aanzienlijk minder API-query's om dezelfde detectiekans te bereiken, wat de operationele kosten voor audits verlaagt.

5. Betekenis en Conclusie

Dit paper biedt een cruciale oplossing voor het toenemende vertrouwenprobleem in LLM-API's. Door een methode te bieden die onopvallend is (geen verdachte query-patronen) en kostenefficiënt, maakt het het mogelijk voor gebruikers en regulators om de integriteit van API-aanbieders te verifiëren zonder dat de aanbieder de test kan omzeilen.

De auteurs benadrukken dat RUT een stap is naar veiligere en transparantere AI-systemen, hoewel er nog uitdagingen zijn, zoals de noodzaak van een lokaal referentiemodel (beperkt tot open-weight modellen) en de weerstand tegen zeer geavanceerde tegenstanders die de auditmethode volledig kennen. De code is open-source beschikbaar gesteld om herhaalbaarheid en verdere ontwikkeling te stimuleren.