Technische Samenvatting: KBF – Kennisgrens als Vingerafdruk voor Taalmodellen en Audit van Black-Box API's

1. Probleemformulering

Het artikel behandelt het "vertrouwensprobleem" dat inherent is aan het groeiende ecosysteem van doorstuur- en wederverkoper-API's voor Large Language Models (LLM's). Gebruikers hebben vaak toegang tot LLM's via derde partijen die modellen aggregeren en een uniforme facturatie en schakelmogelijkheden bieden. Echter, deze tussenpersonen kunnen een geadverteerd, duur vlaggenschipmodel stilletjes vervangen door een goedkoper, minder capabel backendmodel om de winstmarges te verhogen.

De kernuitdaging is black-box relay-audit: bepalen of een verdacht relay-eindpunt ($O_{sus}$) het specifieke model bedient dat het claimt ($O_{ref}$), zonder toegang tot:

• Modelgewichten, logits of trainingsdata.
• Server-side routinglogs of verborgen systeemprompts.
• Samenwerking van de provider (bijv. watermerken of verifieerbare inferentie).

De auditor beschikt uitsluitend over publieke API-toegang tot zowel het officiële referentie-eindpunt als het verdachte eindpunt. Het doel is het detecteren van volledige vervanging (het bedienen van een geheel ander model) en gemengde routing (het bedienen van een mix van het geclaimde model en een goedkoper vervanger), terwijl een lage rate van vals-positieven wordt gehandhaafd (het vermijden van valse beschuldigingen tegen eerlijke providers) en robuustheid wordt behouden tegen onschadelijke implementatievariaties (bijv. verschillende systeemprompts, temperaturen of RAG-wrappers).

Bestaande black-box-methoden voldoen niet gelijktijdig aan deze eisen. Gedragsvingerafdrukken (bijv. LLMmap) vertrouwen op vaste probes die eenvoudig kunnen worden ontweken of gevoelig zijn voor wrappers. Distributietests (bijv. MET) lijden onder hoge variantie bij configuratiewijzigingen. Zelf-identificatieprompts zijn onbetrouwbaar omdat modellen hun identiteit vaak verkeerd aangeven.

2. Methodologie: Kennisgrens-Vingerafdrukken (KBF)

De auteurs stellen KBF voor, een protocol dat gebruikmaakt van stabiele numerieke recall nabij de kennisgrens als vingerafdruk.

Kernintuïtie

De auteurs observeren dat modellen, terwijl ze het eens zijn over algemene feiten (laag signaal) en falen bij obscure feiten (onstabiel), een distinct gedrag vertonen nabij de "kennisgrens":

1. Binnen de grens: Modellen herinneren correcte numerieke feiten stabiel.
2. Net buiten de grens: Modellen produceren vaak stabiele maar feitelijk onjuiste numerieke waarden.
   Deze "fout-waar-stabiele" waarden fungeren als persistente, model-specifieke parametrische associaties. Een vervangend model is onwaarschijnlijk om exact dezelfde stabiele fout of de specifieke stabiele correcte waarde van het referentiemodel te reproduceren.

Het KBF-protocol

KBF werkt in drie fasen:

Fase 1: Probe-generatie (Offline)

• Adaptieve Frontier Search: De auditor vraagt het officiële referentie-eindpunt ($O_{ref}$) om kandidaat-numerieke feiten in diverse domeinen (chemie, astronomie, wiskunde, etc.) te benoemen. De zoektocht past zich aan om te bewegen naar steeds obscuurder feiten nabij de grens van stabiele recall.
• Referentie-consistentiecontroles: Kandidaten worden opnieuw opgevraagd onder meerdere onschadelijke configuraties (bijv. variërende systeemprompts, temperaturen). Alleen kandidaten waarbij $O_{ref}$ een stabiele, parseerbare numerieke waarde produceert (zelfs als deze feitelijk fout is), worden behouden.
• Contrastieve screening (Optioneel): Om de efficiëntie te verbeteren, worden kandidaten gescreend tegen een bekende goedkopere vervanger (bijv. een model met 9B parameters). Als de vervanger overeenkomt met de referentie, wordt de probe verworpen om discriminatieve kracht te waarborgen.
• Output: Een compacte set probes $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$, waarbij $a_i$ de consensuswaarde van de referentie is.

Fase 2: Zelf-calibratie

• De auditor vraagt $O_{ref}$ opnieuw af met de ingeschreven probes onder de specifieke auditconfiguratie die bedoeld is voor de verdachte.
• Het systeem telt zelf-afwijkingen ($k_{self}$) om de "gewone eigenruis" van het referentie-eindpunt te schatten.
• Een Clopper-Pearson (CP) bovengrens voor het betrouwbaarheidsinterval ($p_0$) wordt berekend. Dit stelt een conservatieve nul-tolerantie in voor het aantal fouten dat van de referentie zelf wordt verwacht.

Fase 3: Audit van verdacht eindpunt (Online)

• De auditor stuurt de ingeschreven probes naar het verdachte eindpunt ($O_{sus}$).
• Antwoorden worden geparsed en vergeleken met de referentie-consensus $a_i$ aan de hand van domeinspecifieke matchregels.
• Er wordt een binomiale statistische test uitgevoerd: Als het aantal afwijkingen ($k$) de drempel overschrijdt die wordt gedefinieerd door $p_0$ (bij een significantieniveau $\alpha = 0.05$), wordt de nulhypothese ($H_0$: $O_{sus} \approx O_{ref}$) verworpen, en wordt het eindpunt gemarkeerd als VERSCHILLENDE.

Adaptieve Routing-extensie
Voor gemengde routing (waarbij slechts een fractie $\alpha$ van het verkeer wordt vervangen) hanteert KBF een tweerondige audit:

1. Ronde 1: Audit van alle probes.
2. Ronde 2: Her-audit uitsluitend van de probes die in Ronde 1 niet overeenkwamen.
   Dit concentreert de queries op het meest waarschijnlijke vervangende verkeer, waardoor detectie mogelijk is zelfs wanneer het vervangingspercentage laag is (bijv. 5–10%).

3. Belangrijkste Bijdragen

1. Nieuwe Signaalidentificatie: Het artikel identificeert "numerieke recall aan de kennisgrens" (inclusief herhaalbare foutieve antwoorden) als een stabiel, model-differentiaal signaal dat niet afhankelijk is van zelf-identificatie, stijl of bevoorrechte metadata.
2. End-to-End Protocol (KBF): Een black-box auditprotocol dat dit signaal omzet in compacte probe-sets via adaptieve frontier search, configuratie-stabiliteitsfiltering en contrastieve screening.
3. Uitgebreide Evaluatie: Evaluatie over 16 productielLM-eindpunten (8 families, 3 prijsklassen) die hoge discriminatie aantoont tegen economisch relevante vervangingen.
4. Real-world Toepassing: Implementatie op zes "shadow API"-platforms, waarbij statistisch inconsistente eindpunten succesvol werden gemarkeerd in een real-world setting zonder medewerking van de provider.
5. Open Resources: Publicatie van code, data en benchmark probe-sets ter ondersteuning van reproduceerbaarheid.

4. Empirische Resultaten

De auteurs hebben KBF geëvalueerd tegen drie baselines (MET, LLMmap, ZeroPrint) en geconstateerd:

• Hoge Nauwkeurigheid: KBF detecteerde alle 155 economisch relevante vervangingen (inclusief downgrades binnen dezelfde familie) met 0 vals-positieven op controles met dezelfde referentie. Baselines leden onder hoge rates van vals-positieven (tot 37,5% voor LLMmap) of misten vervangingen.
• Robuustheid: Onder zes verschillende implementatieconfiguraties (rolprompts, temperatuurwijzigingen, RAG-wrappers) handhaafde KBF 0 vals-positieven en detecteerde 100% van de vervangingen. Baselines genereerden ofwel excessieve valse alarmen of misten vervangende modellen vanwege gevoeligheid voor wrappers.
• Detectie van Gemengde Routing: KBF detecteerde vervangingen wanneer slechts 5–10% van het verkeer naar een vervanger werd gerouteerd (voor Opus-gebaseerde modellen) en tot 50% voor moeilijkere gevallen (Sonnet-gebaseerd).
• Kostenefficiëntie:
  • Inschrijvingskosten: ~$22 eenmalige kosten om probes te genereren voor een modelversie.
  • Auditkosten: ~$0,39 totaal om alle 16 modellen te auditeren (ongeveer $0,02–$0,24 per model).
• Shadow API Bevindingen: Bij een audit van 27 eindpunten over 6 shadow-platforms:
  • 7 eindpunten werden gemarkeerd als statistisch inconsistent.
  • 6 van de 7 signalen waren geconcentreerd op premium Claude-eindpunten (Opus en Sonnet), in lijn met de economische prikkel om dure modellen te vervangen.
  • Tie-analyse: Op platforms die meerdere prijsklassen aanbieden voor hetzelfde model, waren de lagere prijsklassen significant waarschijnlijker om gemarkeerd te worden dan de hogere prijsklassen, wat wijst op tier-afhankelijke backendvervanging.

5. Betekenis en Claims

Het artikel stelt dat KBF een praktische, goedkope en robuuste oplossing biedt voor derden-audit van LLM relay-API's. De betekenis hiervan ligt in:

• Operationele Haalbaarheid: Het werkt strikt in een black-box setting, zonder enige samenwerking van de modelprovider of de relay.
• Economische Relevantie: Het richt zich specifiek op de economische prikkels van relays (het vervangen van dure modellen door goedkope) in plaats van generieke modelidentificatie.
• Betrouwbaarheid: Door te kalibreren tegen de specifieke eigenruis van het referentie-eindpunt, worden de hoge rates van vals-positieven vermeden die distributie- of gedragsvingerafdrukmethoden teisteren wanneer implementatieconfiguraties variëren.
• Actieerbaarheid: Het stelt gebruikers en onderzoekers in staat serviceclaims te verifiëren en "shadow" API's te identificeren die mogelijk gedegradeerde of inconsistente diensten bieden, met name voor hoogwaardige propriëtaire modellen.

De auteurs houden een bescheiden standpunt, waarbij zij opmerken dat KBF een statistisch triage-instrument is en geen cryptografisch bewijs van backendidentiteit. Zij erkennen dat een inzet in hoog-risico operationele contexten verdere kalibratie vereist (bijv. herhaalde audits over tijd en regio's) en dat het huidige binomiale model onafhankelijkheid van probes veronderstelt, wat mogelijk correctie behoeft voor domein-blok correlaties.