Silent Updates: Measuring and Closing the Post-Deployment Disclosure Gap
Diese Arbeit untersucht die „Post-Deployment-Offenlegungslücke“ bei KI-Systemen und zeigt auf, dass Anbieter zwar Sicherheitsdokumentationen veröffentlichen, es jedoch an Mechanismen mangelt, um extern zu verifizieren, dass die eingesetzten Modelle mit den gemeldeten Versionen übereinstimmen, was die Autoren dazu veranlasst, eine „Silent Updates Scorecard“ und ein „Three-Part Behavioral Trigger System“ vorzuschlagen, um Transparenz und Rechenschaftspflicht durchzusetzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie befinden sich an einem riesigen, magischen Buffet, bei dem die Köche superintelligente Roboter sind. Sie bestellen ein bestimmtes Gericht, sagen wir den „GPT-5 Burger“, und die Speisekarte verrät Ihnen genau, was darin enthalten ist, wie sicher er zu essen ist und wie er schmeckt, basierend auf der Bewertung eines berühmten Food-Kritikers. Sie fühlen sich sicher, weil Sie der Speisekarte vertrauen. Aber hier kommt der Clou: Die Köche können heimlich das Burger-Patty austauschen, die Geheimsauce ändern oder sogar das ganze Brötchen durch etwas völlig anderes ersetzen, während Sie noch am Essen sind, ohne es Ihnen zu sagen, den Namen auf dem Teller zu ändern oder die Speisekarte zu aktualisieren. In der Welt der Künstlichen Intelligenz ist das das, was mit „Foundation Models“ passiert. Dies sind die riesigen KI-Gehirne, die Chatbots und Werkzeuge antreiben. Ein Schlüsselkonzept hierbei ist die „Chain of Custody“ (Verkettung der Beweiskette), was wie ein Beleg ist, der beweist, dass der Burger, den Sie gerade essen, exakt derselbe ist, den der Kritiker probiert hat. Ein weiteres Konzept sind „Silent Updates“ (stille Aktualisierungen), also jene geheimen Austauschvorgänge, die die Köche vornehmen. Menschen kümmern sich darum, denn wenn in der Speisekarte steht, dass der Burger sicher ist, der Koch aber heimlich giftig scharfes Gewürz hinzugefügt hat, ist die Bewertung nutzlos und Sie könnten krank werden. Wir müssen wissen, ob das, was wir benutzen, tatsächlich das ist, was getestet wurde.
Schauen wir uns nun an, was die Forscher Sophia Abraham und Ben Bucknall getan haben. Sie agierten wie Lebensmittelinspektoren, aber anstatt Restaurants zu kontrollieren, kontrollierten sie neun große KI-Unternehmen und sieben Orte, die diese KI-Tools hosten. Sie erstellten eine spezielle Checkliste namens „Silent Updates Scorecard“, um zu sehen, ob diese Unternehmen ehrlich bei ihren geheimen Zutatenwechseln sind. Sie suchten nach einem Beweis dafür, dass die KI, mit der Sie heute sprechen, exakt dieselbe ist, die in ihren Sicherheitsberichten getestet wurde.
Die Ergebnisse waren ein wenig so, als fände man heraus, dass das Buffet eine „Ghost Kitchen“ (Geisterküche) betreibt. Die Forscher fanden heraus, dass die Köche (die KI-Unternehmen) zwar sehr gut darin sind, detaillierte Menüs und Sicherheitsberichte zu schreiben (das Veröffentlichen von Sicherheitsdokumenten und Evaluierungen), aber schrecklich darin, zu beweisen, dass das Essen auf Ihrem Teller mit der Speisekarte übereinstimmt. Tatsächlich gab es unter den neun untersuchten Haupt-KI-Anbietern keinen einzigen, der einen Weg bot, für Außenstehende zu verifizieren, dass das spezifische KI-Modell, das serviert wurde, exakt dasselbe war, das in ihren Sicherheitsberichten beschrieben wurde. Es ist, als würde der Koch sagen: „Vertrau mir, das ist der Burger aus der Speisekarte“, aber sich dann weigern, Sie die Küche kontrollieren zu lassen oder den Beleg zu sehen.
Das Paper legt nahe, dass dies geschieht, weil KI-Systeme nicht statisch sind; sie verändern sich ständig im Hintergrund. Die Forscher identifizierten vier Hauptwege, wie dieses „Silent Update“-Spiel gespielt wird:
- Der shapeshiftende Name: Unternehmen verwenden stabile Namen wie „GPT-5“ oder „Claude“, aber diese Namen sind wie magische Etiketten, die über die Zeit an verschiedene Burger kleben. Eines Tages ist „GPT-5“ ein Rinderpatty, und im nächsten Monat ist es ein Veggie-Patty, aber der Name bleibt gleich.
- Das fehlende Logbuch: Während Unternehmen sehr gut darin sind, den Launch eines neuen Burgers anzukündigen, halten sie es selten schriftlich fest, wenn sie die Zutaten eines alten Burgers, der bereits auf der Speisekarte steht, heimlich ändern.
- Die zwei Gesichter: Manchmal ist der Burger, den Sie auf der Website bekommen (der Chatbot), ein anderer als der, den Sie erhalten, wenn Sie ihn über ein Computerprogramm (die API) abrufen, und das Unternehmen sagt Ihnen nicht, dass sie unterschiedlich sind.
- Der unverbundene Beleg: Die Sicherheitsberichte beziehen sich oft auf eine „Familie“ von Modellen (wie „die GPT-5 Familie“) statt auf eine spezifische, unveränderliche Version. Das bedeutet, dass der Sicherheitsbericht vielleicht von einem Burger aus dem letzten Jahr handelt, Sie aber heute einen von heute essen.
Die Forscher fanden auch heraus, dass einige Unternehmen Klauseln in ihren Verträgen haben, die Menschen faktisch daran hindern, das Essen zu kontrollieren. Zum Beispiel haben sechs der neun untersuchten Unternehmen Bedingungen, die besagen, dass Sie keine eigenen Tests durchführen dürfen, um zu sehen, ob sich die KI anders verhält, als es die Speisekarte vorgibt. Es ist, als würde ein Restaurant sagen: „Sie können unsere Speisekarte lesen, aber wenn Sie versuchen, das Essen zu verkosten, um zu prüfen, ob es zum Menü passt, werden wir Sie rauswerfen.“
Um dies zu beheben, schlagen die Autoren ein neues System vor, das „Three-Part Behavioral Trigger System“ (Dreiteiliges Verhaltenstrigger-System). Denken Sie an dies als ein neues Set an Küchenregeln. Anstatt darauf zu warten, dass ein Koch zugibt, dass er das Rezept geändert hat, würden die Regeln besagen:
- Wenn die KI anfängt, sich anders zu verhalten (wie z. B. Fragen zu verweigern, die sie früher beantwortet hat), ist das ein „Drift Trigger“ (Drift-Auslöser), und sie muss das Menü aktualisieren.
- Wenn sie einen spezifischen Teil der Maschine ändern (wie den Saucenspender oder den Grill), ist das ein „Component Trigger“ (Komponenten-Auslöser), und sie müssen dies sofort protokollieren.
- Wenn die KI plötzlich viel klüger oder viel gefährlicher wird, ist das ein „Capability Trigger“ (Fähigkeits-Auslöser), und sie müssen das gesamte Ding neu testen.
Sie schlagen auch eine „Safe Harbor“-Regel (Sicherer Hafen) vor, was wie ein Gesetz wäre, das besagt: „Wenn Sie ein Food-Kritiker sind, der die Sicherheit des Burgers zum Wohle der Öffentlichkeit prüfen will, kann das Restaurant Sie nicht verklagen oder rauswerfen, weil Sie das tun.“
Das Paper behauptet nicht, dass diese Unternehmen lügen oder dass die KI im Moment gefährlich ist. Stattdessen deutet es darauf hin, dass das aktuelle System kaputt ist, weil es keine Möglichkeit gibt, die Verbindung zwischen dem Sicherheitsbericht und der tatsächlichen KI, die Sie verwenden, zu beweisen. Die Autoren haben dies anhand öffentlicher Informationen gemessen und festgestellt, dass zwar die Dokumentation existiert, die „Chain of Custody“ (Verkettung der Beweiskette) jedoch unterbrochen ist. Sie legen nahe, dass wir im Dunkeln essen, solange wir nicht verifizieren können, dass die KI, die wir nutzen, dieselbe ist, die getestet wurde.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.