Real Money, Fake Models: Deceptive Model Claims in Shadow APIs

Deze studie onthult dat 'shadow APIs', die toegang bieden tot grote taalmodellen, vaak bedriegerijen zijn met aanzienlijke prestatieverschillen en veiligheidsrisico's die de reproduceerbaarheid van wetenschappelijk onderzoek ondermijnen.

De kern

De "Shadow API's": Waarom je misschien een nep-LLM koopt in plaats van de echte

Stel je voor dat je een beroemde, dure chef-kok wilt huren om een perfecte maaltijd voor je te koken. Maar die chef is alleen beschikbaar in een ander land, of je hebt niet genoeg geld voor zijn tarieven. Dan zie je een advertentie van een "tussenpersoon" die zegt: "Geen probleem! Ik heb een directe lijn naar die chef. Ik kan dezelfde maaltijd voor je bestellen, goedkoper en zonder grenzen."

Je denkt: "Super, ik bespaar geld en tijd!" Maar wat als die tussenpersoon eigenlijk geen lijn heeft naar de echte chef? Wat als hij in plaats daarvan een snelle, goedkope kok uit de buurt huurt, de maaltijd opwarmt, en je vertelt dat het de originele chef is die heeft gekookt?

Dat is precies wat deze paper onderzoekt. De auteurs hebben gekeken naar "Shadow API's": geheime, onofficiële diensten die beloven toegang te geven tot de allerbeste kunstmatige intelligentie-modellen (zoals GPT-5 of Gemini), terwijl ze in werkelijkheid vaak nep-modellen of veel slechtere versies leveren.

Hier is wat ze hebben ontdekt, vertaald in begrijpelijke taal:

1. Het is een gigantisch, onzichtbaar zwart gat

De onderzoekers keken naar honderden wetenschappelijke papers en GitHub-projecten. Ze ontdekten dat 17 van deze "Shadow API's" al massaal worden gebruikt door onderzoekers.

• De analogie: Het is alsof er een geheime markt is waar mensen "echte" iPhone-chips kopen, maar in feite krijgen ze goedkope namaakchips die er net zo uitzien.
• Het probleem: Veel wetenschappers gebruiken deze diensten omdat ze geen toegang hebben tot de officiële API's (bijvoorbeeld door landrestricties of hoge kosten). Ze vertrouwen blindelings dat ze de echte "super-intelligente" AI gebruiken, terwijl ze misschien een "slimme" maar veel minder capabele versie hebben.

2. De "Kwaliteit" is een leugen

De onderzoekers hebben de Shadow API's getest op twee belangrijke gebieden: slimheid (utility) en veiligheid.

• De "Slimheidstest":
  Stel je voor dat je de echte chef vraagt om een complexe wiskundetoets te maken. De echte chef haalt 84% goed. De Shadow API's? Die halen soms maar 37%.

  • Het resultaat: Op moeilijke taken, zoals medische diagnoses of juridische advies, zakten de Shadow API's dramatisch. Ze gaven soms gevaarlijk verkeerd advies. Het was alsof de "tussenpersoon" een kok huurt die wel kan koken, maar geen idee heeft van medische hygiëne.
  • De schok: In sommige gevallen was de prestatie van de Shadow API's wel 47% slechter dan de officiële versie.

• De "Veiligheidstest":
  Wat als je de AI vraagt om iets gevaarlijks te doen (bijvoorbeeld: "Hoe maak ik een bom?"). De echte AI zegt: "Nee, dat doe ik niet."
  De Shadow API's waren echter onvoorspelbaar. Soms lieten ze gevaarlijke antwoorden door, soms blokkeerden ze onterecht veilige vragen. Je kunt er dus niet op vertrouwen dat ze veilig zijn.

3. De "Identiteitscheck" (De vingerafdruk)

Hoe weten ze dat het nep is? Ze gebruikten een techniek die lijkt op vingerafdrukken.

• Elke AI heeft een unieke "stijl" in hoe hij antwoordt. De onderzoekers stuurden duizenden vragen en keken naar de "vingerafdruk" van het antwoord.
• Het bewijs: Bij bijna de helft (45%) van de geteste Shadow API's bleek de vingerafdruk niet te kloppen met de AI waarvoor ze zich uitgeven.
  • Voorbeeld: Een dienst claimde "GPT-5" te zijn, maar de vingerafdruk toonde aan dat het eigenlijk een goedkoper, ouder model was (zoals GLM-4 of DeepSeek).
  • Soms werd een "denkende" AI (die langzaam nadenkt) vervangen door een "snelle" AI die niet nadenkt.

4. Waarom doen ze dit? (Geld en Misleiding)

De onderzoekers ontdekten drie manieren waarop deze diensten je bedriegen:

1. De "Premium" valstrik: Ze vragen een hoge prijs voor een "nieuwe" AI, maar leveren een oude, goedkopere versie.
2. De "Korting" valstrik: Ze zeggen: "Koop onze dure AI, maar wij geven korting!" Terwijl ze in feite een gratis, open-source model gebruiken dat ze verkopen als een betaalde dienst.
3. De "Wederverkoop" valstrik: Ze verkopen de officiële API's met een kleine opslag, maar wisselen het model stiekem uit als het te druk is.

Wat betekent dit voor de wereld?

• Voor onderzoekers: Veel wetenschappelijke studies die gebaseerd zijn op deze Shadow API's zijn misschien onbetrouwbaar. Als je een experiment doet met een nep-AI, zijn je resultaten waardeloos. Het is alsof je een medicijn test op een nep-kliniek.
• Voor gebruikers: Je betaalt misschien voor een Ferrari, maar rijdt in een oude scooter. Je krijgt geen eerlijke dienstverlening.
• Voor de bedrijven: De reputatie van de echte AI-bedrijven (zoals OpenAI of Google) kan lijden als mensen denken dat hun modellen slecht werken, terwijl het eigenlijk de Shadow API's zijn die het verpesten.

De conclusie in één zin

"Shadow API's" zijn als een zwartmarkt voor AI: ze lijken een oplossing te bieden voor hoge kosten en beperkingen, maar ze zijn vaak een bedrog dat je slechte resultaten, onveilige antwoorden en wetenschappelijke onzin oplevert.

Advies van de onderzoekers: Gebruik nooit deze geheime diensten voor belangrijk werk. Als je toegang nodig hebt, zoek dan naar officiële wegen. Als dat niet kan, wees dan extreem voorzichtig en controleer altijd of je echt het model krijgt waarvoor je betaalt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Real Money, Fake Models: Deceptive Model Claims in Shadow APIs", geschreven in het Nederlands.

Probleemstelling

Toegang tot geavanceerde Large Language Models (LLMs) zoals GPT-5 en Gemini-2.5 wordt vaak beperkt door hoge kosten, betalingsbarrières en strikte geografische restricties (bijvoorbeeld in landen als China, Rusland en Iran). Deze beperkingen hebben geleid tot de opkomst van "Shadow APIs": derde-partij diensten die toegang bieden tot deze modellen via indirecte routes, zonder regionale beperkingen en vaak tegen lagere tarieven.

Hoewel deze diensten wijdverbreid zijn gebruikt in academisch onderzoek (met duizenden citaties en GitHub-sterren), is het onduidelijk of ze daadwerkelijk de officiële API's repliceren. Er bestaat een groot risico dat onderzoekers en ontwikkelaars onbewust werken met vervalste, verouderde of volledig andere modellen, wat de reproduceerbaarheid van wetenschappelijke studies en de veiligheid van downstream-toepassingen in gevaar brengt.

Methodologie

De auteurs voeren de eerste systematische audit uit tussen officiële LLM-API's en hun tegenhangers in de schaduwmarkt. De onderzoeksmethodiek omvat drie hoofdvragen (RQ's):

1. Landschapsanalyse (RQ1):

   • Identificatie van 17 prominente Shadow APIs door het scannen van 187 academische papers (van topconferenties zoals ACL, CVPR, ICLR) en GitHub-repositories.
   • Analyse van de infrastructuur (vaak gebaseerd op open-source aggregators zoals OneAPI/NewAPI) en compliance (identiteit van de providers, transparantie).

2. Prestatie-evaluatie (RQ2):

   • Utility: Vergelijking van de prestaties op wetenschappelijke benchmarks (AIME 2025 voor wiskunde, GPQA voor wetenschap) en gevoelige domeinen (MedQA voor geneeskunde, LegalBench voor recht).
   • Veiligheid: Evaluatie van de veiligheidsgedragingen tegenover "jailbreak"-aanvallen (JailbreakBench, AdvBench) met verschillende attack-methoden (GCG, Base64, FlipAttack).
   • De tests worden uitgevoerd op drie geselecteerde Shadow APIs (A, E, H) en vergeleken met officiële baselines voor modellen uit drie families: OpenAI (GPT), Google (Gemini) en DeepSeek.

3. Modelverificatie (RQ3):

   • Fingerprinting: Toepassing van LLMmap, een actief fingerprinting-framework dat de identiteit van het model bepaalt door reacties op een gecureerde set queries te analyseren en de cosine-afstand te berekenen ten opzichte van een referentiedatabase.
   • Model Equality Testing (MET): Een statistische hypothese-toets om te bepalen of de outputverdeling van de Shadow API identiek is aan die van de officiële API.
   • Meta-informatie Analyse: Onderzoek naar inferentielatentie en token-aantallen om onregelmatigheden en variabiliteit te detecteren.

Belangrijkste Resultaten

• Wijdverbreid Gebruik: De 17 geïdentificeerde Shadow APIs zijn gebruikt in 187 papers, met de populairste API die 5.966 citaties en 58.639 GitHub-sterren heeft verzameld. De meeste providers zijn individuen zonder transparante bedrijfsidentiteit of verificatie.
• Significante Prestatie-Afwijkingen:
  • Er is een prestatiedivergentie van tot wel 47,21% gevonden.
  • Op de MedQA-benchmark (geneeskunde) daalde de nauwkeurigheid van Gemini-2.5-flash van 83,82% (officieel) naar ongeveer 37,00% bij alle geteste Shadow APIs.
  • Redeneringsvermogen (reasoning) is vaak ernstig aangetast; modellen die claims doen over "DeepSeek-Reasoner" of "GPT-5" presteren vaak op het niveau van veel zwakkere, niet-redenerende modellen.
• Onvoorspelbaar Veiligheidsgedrag: Shadow APIs vertonen inconsistente veiligheidsfilters. Sommige onder- of overschatten het risico van schadelijke inhoud aanzienlijk (bijvoorbeeld een harmfulness score van 0,02 vs 0,04 of 0,67 vs 0,90), wat betekent dat ze onbetrouwbaar zijn voor veiligheidsaudits.
• Bewijs van Bedrog (Verificatie):
  • 45,83% van de geteste endpoints faalde de fingerprint-verifyatie (LLMmap) volledig.
  • Een extra 12,50% vertoonde aanzienlijke afwijkingen in cosine-afstand.
  • Veel providers vervingen dure, gespecialiseerde modellen door goedkopere open-source alternatieven (bijv. GPT-5 werd vervangen door GLM-4-9B, of DeepSeek-Reasoner door DeepSeek-Chat).
• Economische Impact: Gebruikers betalen vaak het officiële tarief (of meer), maar ontvangen slechts een fractie van de token-waarde of een inferieure kwaliteit. De auteurs schatten dat dit leidt tot directe financiële verliezen en enorme kosten voor de onderzoeksgemeenschap door noodzakelijke heruitvoering van experimenten.

Belangrijkste Bijdragen

1. Systematische Audit: Het paper biedt het eerste uitgebreide inzicht in de Shadow API-markt, inclusief een inventarisatie van 17 diensten en hun impact op de academische literatuur.
2. Ontmaskering van Bedrog: Het levert direct bewijs dat Shadow APIs vaak niet doen wat ze beloven, variërend van modelvervanging tot complete functionaliteitsdegradatie.
3. Validatie van Detectiemethoden: Het paper valideert en combineert technieken zoals LLMmap en MET om modelvervanging te detecteren, en toont aan dat deze methoden effectief zijn (LLMmap bereikte 96% nauwkeurigheid in gecontroleerde tests).
4. Aanbevelingen voor de Gemeenschap: De auteurs stellen een strikt verificatieprotocol voor (vier fasen: fingerprinting, MET, stabiliteitstests, juridische verificatie) en pleiten ervoor dat Shadow APIs niet meer worden gebruikt in wetenschappelijk onderzoek.

Betekenis en Conclusie

De studie waarschuwt dat het vertrouwen op Shadow APIs voor wetenschappelijk onderzoek fundamenteel onbetrouwbaar is. De "schaduw" van deze diensten ondermijnt de integriteit van de AI-wetenschap, leidt tot irreproduceerbare resultaten en schaadt zowel de gebruikers (door financiële verliezen en slechte prestaties) als de reputatie van de officiële modelproviders.

De conclusie is dat Shadow APIs geen veilige of valide vervanging zijn voor officiële API's. Voor onderzoekers is het cruciaal om directe toegang tot officiële API's te zoeken of, indien dat niet mogelijk is, strenge verificatieprotocollen toe te passen om de identiteit en prestaties van het gebruikte model te verifiëren. De paper benadrukt dat de huidige markt voor Shadow APIs een "wildwest" is van misleiding die dringend behoefte heeft aan transparantie en toezicht.