Silent Updates: Measuring and Closing the Post-Deployment Disclosure Gap
Dit artikel onderzoekt de "post-deployment disclosure gap" in AI-systemen, waarbij wordt onthuld dat hoewel aanbieders veiligheidsdocumentatie publiceren, zij geen mechanismen hebben om extern te verifiëren dat de ingezette modellen overeenkomen met hun gerapporteerde versies, wat de auteurs ertoe aanzet een "Silent Updates Scorecard" en een "Three-Part Behavioral Trigger System" voor te stellen om transparantie en verantwoording af te dwingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je bij een enorme, magische buffet bent waar de chefs superintelligente robots zijn. Je bestelt een specifiek gerecht, laten we zeggen "De GPT-5 Burger", en de menukaart vertelt je precies wat erin zit, hoe veilig het is om te eten en hoe het smaakt op basis van een recensie van een beroemde voedselcriticus. Je voelt je veilig omdat je de menukaart vertrouwt. Maar hier komt de twist: de chefs kunnen in het geheim de burgerpatty verwisselen, de geheime saus veranderen, of zelfs het hele broodje vervangen door iets totaal anders terwijl je nog aan het eten bent, zonder dit te melden, zonder de naam op het bord te veranderen, of de menukaart bij te werken. In de wereld van Kunstmatige Intelligentie is dit wat er gebeurt met "fundatiemodellen". Dit zijn de gigantische AI-hersenen die chatbots en tools aandrijven. Een kernconcept hierbij is de "chain of custody" (keten van bewaring), wat een soort bonnetje is dat bewijst dat de burger die jij eet exact dezelfde is als die welke de criticus proefde. Een ander concept is "silent updates" (stille updates), wat die geheime wissels zijn die de chefs maken. Mensen geven erom omdat als de menukaart zegt dat de burger veilig is, maar de chef er stiekem pittig gif aan heeft toegevoegd, de recensie nutteloos is en je ziek kunt worden. We moeten weten of het ding dat we gebruiken ook echt het ding is dat getest is.
Kijk nu naar wat de onderzoekers Sophia Abraham en Ben Bucknall hebben gedaan. Zij gedroegen zich als voedselinspecteurs, maar in plaats van restaurants te controleren, controleerden zij negen grote AI-bedrijven en zeven plaatsen die deze AI-tools hosten. Ze creëerden een speciale checklist genaamd de "Silent Updates Scorecard" om te zien of deze bedrijven eerlijk zijn over hun geheime ingrediëntenwissels. Ze zoch evenar naar bewijs dat de AI waar je vandaag mee praat, exact dezelfde is als degene die is getest in hun veiligheidsrapporten.
De resultaten waren een beetje alsof je ontdekt dat het buffet een "ghost kitchen" (geestkeuken) heeft. De onderzoekers ontdekten dat hoewel de chefs (de AI-bedrijven) erg goed zijn in het schrijven van gedetailleerde menukaarten en veiligheidsrapporten (het publiceren van veiligheidsdocumenten en evaluaties), ze er vreselijk slecht in zijn om te bewijzen dat het eten op jouw bord overeenkomt met de menukaart. Sterker nog, van de negen belangrijkste AI-aanbieders die ze controleerden, gaf nul van hen een manier voor een buitenstaander om te verifiëren dat het specifieke AI-model dat geserveerd werd, exact hetzelfde was als degene die beschreven werd in hun veiligheidsrapporten. Het is alsof de chef zegt: "Vertrouw mij, dit is de burger van de menukaart," maar vervolgens weigert te laten zien wat er in de keuken gebeurt of je een bonnetje te geven.
Het paper suggereert dat dit gebeurt omdat AI-systemen niet statisch zijn; ze veranderen voortdurend op de achtergrond. De onderzoekers identificeerden vier belangrijke manieren waarop dit "silent update"-spelletje wordt gespeeld:
- De Vormveranderende Naam: Bedrijven gebruiken stabiele namen zoals "GPT-5" of "Claude", maar deze namen zijn als magische labels die aan verschillende burgers blijven plakken door de tijd heen. De ene dag is "GPT-5" een runderburger, en de volgende maand is het een vegetarische burger, maar de naam blijft hetzelfde.
- Het Ontbrekende Logboek: Terwijl bedrijven erg goed zijn in het aankondigen wanneer ze een nieuwe burger lanceren, schrijven ze zelden op wanneer ze de ingrediënten van een oude burger die al op de menukaart staat, stiekem veranderen.
- De Twee Gezichten: Soms is de burger die je krijgt op de website (de chatbot) anders dan de burger die je krijgt als je er via een computerprogramma om vraagt (de API), en vertelt het bedrijf je niet dat ze verschillend zijn.
- Het Niet-Gekoppelde Bonnetje: De veiligheidsrapporten praten vaak over een "familie" van modellen (zoals "de GPT-5 familie") in plaats van over een specifieke, onveranderlijke versie. Dit betekent dat het veiligheidsrapport misschien gaat over een burger van vorig jaar, terwijl jij vandaag een burger eet.
De onderzoekers ontdekten ook dat sommige bedrijven regels in hun contracten hebben die mensen er zelfs van weerhouden om het eten te controleren. Bijvoorbeeld: zes van de negen bedrijven waarnaar ze keken, hebben voorwaarden die zeggen dat je niet je eigen tests mag uitvoeren om te zien of de AI anders gedraagt dan de menukaart aangeeft. Het is alsof een restaurant zegt: "Je mag onze menukaart lezen, maar als je probeert het eten te proef te maken om te zien of het overeenkomt, dan zetten we je eruit."
Om dit op te lossen, stellen de auteurs een nieuw systeem voor genaamd het "Three-Part Behavioral Trigger System" (Driepartjes Gedrags-Trigger Systeem). Denk aan dit als een nieuwe set keukenregels. In plaats van te wachten tot een chef toegeeft dat hij het recept heeft veranderd, zouden de regels zeggen:
- Als de AI anders begint te doen (zoals het weigeren van vragen die het voorheen wel beantwoordde), dan is dat een "Drift Trigger" (drift-trigger), en moeten ze de menukaart bijwerken.
- Als ze een specifiek onderdeel van de machine veranderen (zo zoals de sausdispenser of de grill), dan is dat een "Component Trigger" (component-trigger), en moeten ze dit onmiddellijk loggen.
- Als de AI plotseling veel slimmer of veel gevaarlijker wordt, dan is dat een "Capability Trigger" (capaciteits-trigger), en moeten ze het hele ding opnieuw testen.
Ze stellen ook een "safe harbor" (veilige haven) regel voor, wat een soort wet zou zijn die zegt: "Als jij een voedselcriticus bent die de veiligheid van de burger controleert voor het publieke belang, mag het restaurant jou niet aanklagen of eruit gooien omdat je dat doet."
Het paper beweert niet dat deze bedrijven liegen of dat de AI op dit moment gevaarlijk is. In plaats daarvan suggereert het dat het huidige systeem kapot is omdat er geen manier is om de link te bewijzen tussen het veiligheidsrapport en de werkelijke AI die je gebruikt. De auteurs hebben dit gemeten met behulp van publieke informatie en vonden dat hoewel de papierwinkel bestaat, de "chain of custody" (keten van bewaring) verbroken is. Ze suggereren dat totdat we kunnen verifiëren dat de AI die we gebruiken dezelfde is als die getest is, we in het donker eten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.