Registry Descriptions Go Stale Unevenly: An 89-Day Measurement of Model Context Protocol Drift, and Why Drift-Ranked Re-Auditing Under-Covers It

Stellen Sie sich das Internet als einen riesigen, geschäftigen Marktplatz vor, auf dem Computer (genannt „Agenten“) hingehen, um Werkzeuge zu finden, die ihnen bei ihrer Arbeit helfen. Um dies zu erleichtern, gibt es ein öffentliches „Telefonbuch“, das Model Context Protocol (MCP) Registry. In diesem Telefonbuch hat jedes Werkzeug eine kleine Karte mit einer Beschreibung, die erklärt, was es tut. Vor kurzem begannen Sicherheitsexperten, diese Karten zu überprüfen, um sicherzustellen, dass sie nicht lügen oder gefährlich sind. Sie machen eine Momentaufnahme des Telefonbuchs, lesen die Karten und sagen: „Dieses hier ist sicher“ oder „Dieses hier ist zwielichtig“.

Aber hier liegt der Haken: Telefonbücher werden in der realen Welt ständig aktualisiert. Wenn Sie heute eine Beschreibung lesen, ist sie dann morgen noch dieselbe? Oder hat der Besitzer heimlich den Text geändert, während Sie nicht hingesehen haben? Dieses Paper stellt eine einfache, aber lebenswichtige Frage: Wie lange bleibt eine Sicherheitsprüfung einer Beschreibung tatsächlich gültig, bevor sich die Beschreibung selbst ändert? Es geht nicht darum, ob das Werkzeug im Inneren gefährlich ist (das ist eine andere Geschichte); es geht darum, ob der Text, den der Sicherheitswächter gelesen hat, noch derselbe Text ist, den das Werkzeug gerade anzeigt. Wenn sich der Text ändert, blickt die alte Sicherheitsprüfung vielleicht auf ein Gespenst, nicht auf das reale Ding.

---

Das 89-Tage-Rätsel: Wenn Telefonbücher veralten

Stellen Sie sich die MCP-Registry wie eine riesige, lebendige Bibliothek vor, in der alle paar Stunden neue Bücher hinzugefügt werden und bestehende Bücher ständig neu umgestaltet werden. Ein Forscher beschloss, ein Spiel namens „Finde den Unterschied“ mit dieser Bibliothek zu spielen. Er machte nicht nur ein Foto; er machte 120 Momentaufnahmen über 88,6 Tage (etwa drei Monate) und beobachtete, wie die Bibliothek von etwa 3.500 Büchern auf fast 19.000 anwuchs. Sein Ziel war es zu sehen, wie schnell der „Blur“ (die Unschärfe) der Veränderung eintritt und ob Sicherheitswächter vorhersagen könnten, wer als Nächstes sein Cover ändern würde.

Die große Überraschanz: Die „geschäftige Minderheit“ und die „stille Mehrheit“

Der Forscher fand etwas Faszinierendes darüber heraus, wer seine Beschreibungen ändert. Stellen Sie sich ein Klassenzimmer mit 19.000 Schülern vor. Wenn Sie fragen würden: „Wer hat heute sein Outfit gewechselt?“, würden Sie vielleicht erwarten, dass die Hälfte der Klasse es getan hat. Aber in dieser Bibliothek änderten 75 % der Server (die „Schüler“) ihre Beschreibung während der gesamten 89 Tage überhaupt nicht. Sie waren so stabil wie ein Fels.

Die Änderungen, die stattfanden, waren jedoch extrem konzentriert. Es war nicht ein wenig Veränderung von jedem; es war eine massive Menge an Veränderung von nur wenigen. Die top 5 % der aktivsten Server waren für 61 % aller Änderungen verantwortlich. Es ist, als ob 5 % der Schüler in einer Schule für 61 % der Graffiti an den Wänden verantwortlich wären. Der Rest der Schule saß einfach nur da, unverändert.

Die „Kristallkugel“, die zerbrach

Sicherheitsteams versuchen oft Zeit zu sparen, indem sie nur die Server überprüfen, die eine Historie von Änderungen haben. Die Logik dahinter lautet: „Wenn du deine Beschreibung gestern geändert hast, ist es wahrscheinlich, dass du sie heute wieder änderst. Lass uns einfach die ‚Stammgäste‘ prüfen.“

Der Forscher testete diese Idee. Er versuchte, die Zukunft vorherzusagen, indem er die Server basierend auf ihren vergangenen Änderungen rankte. Er fand heraus, dass diese Methode zwar etwas besser war als bloßes Raten, aber eine schreckliche Strategie war, um Beschreibungsänderungen zu erfassen.

• Wenn sie ihr Budget darauf verwendeten, die top 5 % der Server mit der meisten Historie zu prüfen, erfassten sie nur etwa 20 % der Server, die im nächsten Zeitraum tatsächlich ihre Beschreibungen geändert hatten.
• Schlimmer noch, diese Methode war völlig blind für Neuankömmlinge. Da neue Server keine Historie haben, können sie nicht gerankt werden. Doch der Forscher fand heraus, dass neue Server genau dort sind, wo die meisten Beschreibungsänderungen stattfinden. Indem sie nur auf die „alten Hasen“ schauten, übersahen die Sicherheitswächter die brandneuen Kids auf dem Block, die ihre Cover am häufigsten änderten.

Das Paper argumentt, dass der Versuch, vorherzusagen, wer aufgrund dessen ändert, wer schon einmal geändert hat, so ist, als würde man versuchen, das Wetter vorherzusagen, indem man nur die Wolken betrachtet, die gestern da waren. Man übersieht die neuen Gewitterwolken, die gerade aufziehen.

Die „einfache Mathematik“-Falle

Es gab eine weitere Falle, die der Forscher aufdeckte. Wenn man betrachtet, wie viele Änderungen an einem einzelnen Tag passieren, und diese Zahl einfach mit 30 multipliziert (um zu erraten, was in einem Monat passiert), erhält man ein völlig falsches Ergebnis.

• Die einfache Vermutung: Wenn 1,5 % der Server jeden Tag ihre Beschreibung ändern, könnte man denken, dass bis zum 30. Tag etwa 36 % der Server geändert haben.
• Die Realität: Als sie es tatsächlich maßen, hatten sich bis zum 30. Tag nur etwa 12 % der Server geändert.

Warum der Unterschied? Die einfache Mathematik geht davon aus, dass jede Änderung einen anderen Server trifft. In der Realität ändern aber dieselben wenigen Server immer wieder ihre Beschreibung. Es ist, als würde eine einzige Person zehnmal am Tag ihr Hemd wechseln; wenn man die Hemden zählt, bedeutet das nicht, dass zehn verschiedene Personen ihre Kleidung gewechselt haben. Die „Lebensdauer“ einer Beschreibung ist eigentlich viel länger, als die einfache Mathematik vermuten lässt, aber die „Lebensdauer“ eines spezifischen Sicherheitsbefunds ist knifflig, weil der Text verschwinden und wieder auftauchen kann.

Die echte Lösung: Prüfen Sie den Fingerabdruck, nicht die Historie

Wenn wir also nicht vorhersagen können, wer sich ändern wird, wie halten wir die Bibliothek sicher? Der Forscher schlägt eine einfache, zweiteilige Regel vor, die viel besser funktioniert als Raten:

1. Die Fingerabdruck-Regel (Content-Binding): Anstatt zu raten, wer sich ändern wird, prüfen Sie einfach den „Fingerabdruck“ (einen digitalen Hash) der Beschreibung. Wenn sich der Fingerabdruck auch nur minimal ändert, ist die Sicherheitsprüfung sofort ungültig. Sie müssen nicht wissen, wer es geändert hat; Sie müssen nur wissen, dass der Text anders ist. Dies erfasst automatisch etwa 20 Änderungen pro Tag.
2. Der Durchlauf (The Sweep): Für die neuen Server und diejenigen, die sich nicht oft ändern, führen Sie einfach jede Woche oder jeden Monat eine vollständige Bestandsaufnahme der gesamten Bibliothek durch.

Dieser Ansatz ist wie ein Sicherheitsmann, der nicht versucht zu erraten, welcher Dieb als Nächstes zuschlagen wird. Stattdessen hat er einen Scanner, der piept, sobald ein Buchcover ausgetauscht wird, und er macht einmal pro Woche einen kompletten Rundgang durch die Gänge, um sicherzustellen, dass keine neuen Bücher hineingeschmuggelt wurden.

Ein verborgener Fehler: Das „Born-Stale“-Urteil

Schließlich warf der Forscher einen Blick hinter die Kulissen seines eigenen Sicherheits-Scanners. Er fand ein tückisches Problem: Manchmal prüfte der Scanner eine Beschreibung, nachdem die Bibliothek sie bereits aktualisiert hatte, aber der Scanner wusste es nicht. Es war, als würde ein Wächter eine Speisekarte von vor 10 Minuten lesen, während der Koch bereits die Suppe geändert hat. Etwa die Hälfte der „veralteten“ (stale) Checks, die er fand, lag daran, dass der Scanner auf alten Daten basierte, bevor er seine Aufgabe überhaupt begonnen hatte. Diese „Verzögerung“ (Lag) bedeutete, dass einige Urteile schon in dem Moment falsch waren, in dem sie entstanden, und nicht erst, weil sie später veralteten.

Das Fazit

Die wichtigste Lektion hier ist nicht, dass die Bibliothek chaotisch ist; sondern dass die Bibliothek konzentriert ist. Die meisten Dinge bleiben gleich, aber ein paar Dinge ändern sich sehr viel, und neue Dinge ändern sich am meisten. Die Zukunft anhand der Vergangenheit vorherzusagen, ist ein Sackgassen-Szenario, weil man die Neuankömmlinge dabei übersieht. Der beste Weg, sicher zu bleiben, besteht nicht darin, eine Kristallkugel zu bauen, sondern ein System zu entwickeln, das sofort erkennt, wenn sich der Text ändert, und einen Plan hat, das neue Zeug regelmäßig zu überprüfen. Es ist eine Erinnerung daran, dass im digitalen Raum „einmal prüfen“ niemals genug ist; man muss seine Augen auf den Text richten, nicht nur auf die Historie.