💻 computer science

Behavioral Consistency and Transparency Analysis on Large Language Model API Gateways

Dit paper introduceert GateScope, een framework voor het analyseren van de gedragsconsistentie en transparantie van commerciële LLM-API-gateways, en onthult dat deze platforms vaak afwijken van hun beloofde modellen, prijzen en prestaties.

Oorspronkelijke auteurs: Guanjie Lin, Yinxin Wan, Shichao Pei, Ting Xu, Kuai Xu, Guoliang Xue

Gepubliceerd 2026-04-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guanjie Lin, Yinxin Wan, Shichao Pei, Ting Xu, Kuai Xu, Guoliang Xue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Tussenpersoon" van de AI-wereld: Wat gebeurt er echt?

Stel je voor dat je een beroemde chef-kok wilt uitnodigen om voor je te koken. Je wilt de beste chef (bijvoorbeeld de beroemde "GPT-5" of "Claude"). Maar in plaats van de chef direct te bellen, bel je een groot restaurantreserveringsbureau (een zogenaamde "LLM API Gateway").

Dit bureau zegt: "Geen probleem! Wij hebben toegang tot alle topchefs. Je betaalt één bedrag, en wij regelen alles."

Het probleem? Je ziet niet wat er in de keuken gebeurt.

Bestelt het bureau echt de duurste chef?
Of sturen ze in het geheim een goedkope stagiair die net zo doet alsof hij de chef is?
Krijg je het juiste aantal porties, of snijden ze stukken van je maaltijd af zonder dat je het merkt?
En is de rekening die je krijgt eerlijk, of rekenen ze je dubbel voor dingen die ze niet hebben geleverd?

Dit is precies wat onderzoekers Guanjie Lin en zijn team van de Universiteit van Massachusetts Boston hebben onderzocht. Ze hebben een nieuw hulpmiddel bedacht, genaamd GateScope, om deze "tussenpersonen" (de gateways) te controleren.

Wat is GateScope? De "Onzichtbare Detector"

GateScope is als een super-slimme, onzichtbare inspecteur die zich voordoet als een gewone klant. Hij bestelt eten bij deze tussenpersonen en kijkt heel nauwkeurig naar wat er terugkomt. Hij doet dit op vier manieren:

1. De Identiteitscontrole (Is het wel de juiste chef?)

Soms zegt een gateway: "We sturen je naar de superster-chef." Maar in werkelijkheid sturen ze een goedkopere, minder capabele chef.

De analogie: Het is alsof je een Ferrari huurt, maar de verhuurder geeft je een oude Fiat die is opgesierd met Ferrari-stickers.
Wat GateScope doet: Hij stelt de AI heel specifieke, slimme vragen (zoals lastige wiskundepuzzels of vragen over feiten die pas recent bekend zijn). Elke AI heeft een unieke "handtekening" in hoe hij denkt en antwoordt. GateScope kijkt of het antwoord echt van de beloekte chef komt, of dat het een vermomde stagiair is.
Het resultaat: Ze ontdekten dat sommige gateways vaak de dure chef inruilen voor een goedkopere versie, zonder dat de klant het doorheeft.

2. Het Geheugen-test (Vergeetachtig of scherp?)

In een lang gesprek moet een AI onthouden wat je eerder hebt gezegd.

De analogie: Stel je voor dat je met iemand praat, en halverwege het gesprek vergeet hij plotseling je naam en wat je net hebt gezegd, alsof hij net wakker is geworden.
Wat GateScope doet: Hij voert een gesprek van 25 beurten lang. Halverwege verandert hij zijn voorkeur (bijvoorbeeld: "Ik hou nu van LEGO" wordt "Ik hou nu van Transformers").
Het resultaat: Sommige gateways "vergeten" de eerdere gesprekken of knippen het gesprek er stilletjes uit om tokens (rekenkracht) te besparen. De klant denkt dat het gesprek doorgaat, maar de AI is eigenlijk op een nieuw, korter pad beland.

3. De Rekencontrole (Is de rekening eerlijk?)

Je betaalt per woord dat de AI schrijft of leest.

De analogie: Je gaat naar een restaurant en betaalt per bord. Maar de ober rekent je ook af voor de lucht in het bord, of voor een bord dat hij al eerder voor een ander heeft gebruikt (zonder dat je dat merkt).
Wat GateScope doet: Hij telt precies hoeveel woorden er zijn verwerkt en vergelijkt dit met de rekening die de gateway stuurt.
Het resultaat: Bij de meeste gateways klopt de rekening wel, maar bij een paar bleek dat ze veel meer rekenden dan er daadwerkelijk was verwerkt, of dat ze geen korting gaven voor dingen die ze al eerder hadden berekend (zoals een "hergebruikt" bord).

4. De Snelheidstest (Is het rustig of chaos?)

Soms duurt het heel lang voordat je antwoord krijgt, soms heel kort.

De analogie: Je belt een taxi. Soms komt hij binnen 2 minuten, soms duurt het 20 minuten, en soms krijg je een andere auto dan je bestelde.
Wat GateScope doet: Hij doet heel vaak dezelfde vraag en meet hoe lang het duurt. Als de tijd heel wisselend is, betekent dit vaak dat de gateway in paniek is, van chauffeur wisselt of de verkeerde route neemt.
Het resultaat: Sommige gateways zijn heel onstabiel. De snelheid schommelt enorm, wat aangeeft dat ze misschien wisselen tussen verschillende systemen of overbelast zijn.

Wat hebben ze ontdekt?

Toen ze 10 van deze populaire tussenpersonen (gateways) onderzochten, zagen ze een paar vervelende dingen:

De "Valse Vriend": Sommige gateways zeggen dat ze de beste, duurste AI sturen, maar sturen in het geheim een goedkopere, minder slimme versie. Dit besparen ze op jouw kosten, maar jij krijgt een mindere kwaliteit.
Het "Stille Vergeten": Bij lange gesprekken knippen sommige gateways het begin van je gesprek er stiekem uit, waardoor de AI niet meer weet wat je eerder hebt gezegd.
De "Dubbelrekening": Bij een paar gateways was de rekening hoger dan wat er werkelijk was verwerkt.
De "Onbetrouwbare Taxi": De snelheid van sommige gateways was zo wisselend dat je nooit wist of je snel of langzaam zou worden bediend.

Conclusie: Waarom is dit belangrijk?

Deze studie is als een consumentenorganisatie voor de AI-wereld. Tot nu toe moesten mensen blindelings vertrouwen op deze tussenpersonen. GateScope laat zien dat je niet blindelings kunt vertrouwen.

Het boodschappenbordje voor de wereld is simpel:

"Als je een AI via een tussenpersoon gebruikt, wees dan kritisch. Soms krijg je niet wat je betaalt, en soms krijg je zelfs niet wat je denkt dat je krijgt. GateScope is de tool die helpt om te zien wat er echt in de keuken gebeurt."

De onderzoekers hebben hun gereedschap (de code) gratis beschikbaar gesteld, zodat iedereen in de toekomst zelf kan controleren of zijn of haar AI-leverancier eerlijk is.

Titel: Gedragsconsistentie en Transparantie-analyse van API-gateways voor Grootte Taalmodellen (LLM's)

Auteurs: Guanjie Lin, Yinxin Wan, Shichao Pei, Ting Xu, Kuai Xu, en Guoliang Xue (Universiteit van Massachusetts Boston en Arizona State University).
Publicatie: ACM Internet Measurement Conference (IMC '26), 2026.

1. Het Probleem

Third-party API-gateways voor Large Language Models (LLM's) ontstaan snel als uniforme toegangspunten tot modellen van verschillende leveranciers (zoals OpenAI, Anthropic, Google). Voor ontwikkelaars vereenvoudigen deze gateways de integratie, het beheer van API-sleutels en de facturatie. Echter, deze gateways fungeren als black-box-intermediairs.

De interne logica voor routing, caching en facturatie is voor gebruikers onzichtbaar. Dit leidt tot vier kritieke transparantie- en consistentieproblemen:

Model-downgrading of -wisseling: Gateways kunnen verzoeken sturen naar goedkopere of minder capabele modellen dan die door de gebruiker zijn aangevraagd, zonder dit te melden.
Stille truncatie (Silent Truncation): Gateways kunnen hun eigen contextvenster- of outputlimieten opleggen die kleiner zijn dan die van het onderliggende model. Hierdoor worden delen van de prompt-geschiedenis of het antwoord stilletjes verwijderd.
Onnauwkeurige facturatie: Er kunnen discrepanties ontstaan tussen het gerapporteerde token-gebruik en de daadwerkelijke kosten, bijvoorbeeld door het incorrect toepassen van caching-kortingen of het in rekening brengen van niet-verwerkte tokens.
Latentievariatie: Door interne routing, modelwisselingen of serverbelasting kunnen de responstijden aanzienlijk variëren, wat de betrouwbaarheid van de dienst beïnvloedt.

Bestaand onderzoek richt zich voornamelijk op open-source modellen of eerste-partij platforms, maar mist een systematische audit van deze commerciële third-party gateways.

2. Methodologie: GateScope

De auteurs introduceren GateScope, een lichtgewicht, black-box meetkader om het gedrag van LLM-gateways te evalueren. Het framework werkt uitsluitend via de publieke API's (OpenAI-compatibel /v1/chat/completions) en vereist geen interne toegang tot de gateway.

GateScope analyseert het gedrag langs vier dimensies:

A. Analyse van Response-inhoud (Model Fingerprinting)

Doel: Detecteren of het aangevraagde model daadwerkelijk wordt gebruikt of vervangen door een ander.
Techniek: In plaats van na te denken over vrije tekst (wat onbetrouwbaar is door variatie in generaties), gebruiken de auteurs een gestructureerde prompt-suite (DCC - Discrete Concept Composition).
Prompts: De prompts vragen het model om stap-voor-stap redenering in een specifiek JSON-formaat (knowledge_path en final_answer).
Vier domeinen:
1. AIME: Wiskundige redenering.
2. GPQA: Diepe redenering en deliberatie.
3. Feitelijke recall: Kennisgrenzen (2021-2025).
4. Geografische inferentie: Multi-hop redenering.
Signatuur-extractie: Er worden vector-kenmerken geëxtraheerd (antwoordkwaliteit, redeneerdiepte, lengte, stijl, parsing-succes). Een XGBoost-classificator (One-vs-Rest) wordt getraind om de "vingerafdruk" van een specifiek model te onderscheiden van anderen.

B. Multi-turn Conversatie Performance

Doel: Controleren of context behouden blijft en of er geen stille truncatie optreedt tijdens lange gesprekken.
Opzet: Een gestandaardiseerde 25-turn conversatie-template.
- Turn 1: Identiteit en voorkeur toekennen.
- Turn 2-9: Afleidende discussie.
- Turn 10: Checkpunt (herinnering).
- Turn 11: Voorkeur updaten.
- Turn 12-23: Tweede afleidende discussie.
- Turn 24-25: Eind-checkpunten.
Indicatoren:
- Memory Checkpoint Pass Rate: Hoe vaak wordt de identiteit/voorkeur correct onthouden?
- System Fingerprint Stabiliteit: Verandert de system_fingerprint (wat wijst op modelwisseling)?
- Cached Token Usage Rate: Wordt caching correct gerapporteerd?

C. Facturatie-nauwkeurigheid

Doel: Vergelijken van de verwachte kosten (gebaseerd op publieke prijzen en lokaal berekende tokens) met de daadwerkelijk gefactureerde bedragen.
Formule: $C_{expected} = (n_{in} - n_{cached}) \times p_{in} + n_{cached} \times p_{cached} + n_{out} \times p_{out}$ .
De framework controleert of gateways correct omgaan met caching-kortingen en of de totale kosten overeenkomen met de gerapporteerde token-gebruik.

D. Latentiekenmerken

Doel: Meten van de stabiliteit van responstijden.
Techniek: Herhaalde requests voor dezelfde probe binnen een kort tijdsvenster.
Meting: De Variatiecoëfficiënt (CV) wordt berekend ( $\sigma_T / \mu_T$ ). Een hoge CV of bimodale verdeling suggereert onstabiel backend-gedrag (bijv. wisselen tussen modellen met verschillende verwerkingstijden).

3. Belangrijkste Resultaten

De auteurs hebben GateScope getest op officiële leveranciers-API's (validatie) en vervolgens toegepast op 10 commerciële LLM-gateways.

Validatie: De model-fingerprinting-classificatoren bereikten een gemiddelde F1-score van 0.968, wat aantoont dat het framework modellen zeer nauwkeurig kan onderscheiden, zelfs binnen dezelfde familie (bijv. GPT-4o vs. GPT-4o-mini).
Model-substitutie:
- Voor sommige modellen (zoals gpt-4o) presteren de meeste gateways goed, maar andere (zoals b*ie en a*yi) tonen lage consistentie (<60%).
- Voor geavanceerde modellen zoals gpt-5 en gemini-2.5-pro werd bij meerdere platforms frequent modelsubstitutie waargenomen (antwoorden werden geïdentificeerd als een ander model dan aangevraagd).
Contextverlies en Truncatie:
- Veel gateways faalden bij het onthouden van informatie in de laatste stappen van de 25-turn conversatie.
- Sommige platforms toonden een drastisch verlaagd cache-gebruik of veranderde system_fingerprint, wat wijst op modelwisseling of truncatie om tokenkosten te besparen.
- Platform o*ey toonde een anomalie: hoge onthouding maar 0% cache-gebruik, wat suggereert dat ze een niet-standaard implementatie of een ander model gebruiken.
Facturatie:
- De meeste gateways waren accuraat, maar enkele toonden significante afwijkingen.
- Platform o*ey had een factureringskloof van +62.8% ten opzichte van de verwachte kosten, ondanks vergelijkbaar token-gebruik.
- Platform a*ix had een kloof van +7.6%.
Latentie:
- Er was aanzienlijke variatie in stabiliteit. Platform b*ie toonde extreme variabiliteit (CV > 1.0) en lange "tails" in responstijden, wat wijst op onstabiele backend-routings of overbelasting.

4. Bijdragen en Betekenis

Eerste systematische audit: Dit is een van de eerste studies die specifiek de transparantie van third-party LLM-gateways in kaart brengt vanuit het perspectief van de eindgebruiker.
GateScope Framework: Een open-source, lichtgewicht tool die ontwikkelaars en onderzoekers in staat stelt om black-box gateways te auditen zonder interne toegang.
Empirisch bewijs van misbruik: De studie levert kwantitatief bewijs dat veel gateways niet doen wat ze beloven: ze wisselen modellen, verliezen context, trunceren antwoorden en factureren onnauwkeurig.
Implicaties: De resultaten onderstrepen de noodzaak van betere transparantie, standaardisatie en mogelijk regulering voor LLM-gateways. Gebruikers kunnen niet blindelings vertrouwen op de aangekondigde modellen of prijzen.

Conclusie:
De paper toont aan dat de belofte van LLM-gateways (vereenvoudiging en centralisatie) vaak ten koste gaat van betrouwbaarheid en transparantie. GateScope biedt een essentiële methode om deze "black boxes" te doorgronden en blootlegt dat er aanzienlijke discrepanties bestaan tussen wat gebruikers betalen en wat ze daadwerkelijk ontvangen.