Registry Descriptions Go Stale Unevenly: An 89-Day Measurement of Model Context Protocol Drift, and Why Drift-Ranked Re-Auditing Under-Covers It

Stel je het internet voor als een enorme, bruisende marktplaats waar computers (genaamd "agents") naartoe gaan om gereedschap te vinden dat hen helpt bij hun werk. Om dit makkelijker te maken, is er een openbare "telefoonboeken" genaamd het Model Context Protocol (MCP) register. In dit telefoonboek heeft elk hulpmiddel een klein kaartje met een beschrijving die vertelt wat het doet. Onlangs zijn beveiligingsexperts begonnen deze kaartjes te controleren om te zien of ze niet liegen of gevaarlijk zijn. Ze maken een snapshot van de telefoonboek, lezen de kaartjes en zeggen: "Deze is veilig," of "Deze is verdacht."

Maar hier is de crux: telefoonboeken in de echte wereld worden constant bijgewerkt. Als je vandaag een beschrijving leest, is die beschrijving dan morgen nog steeds hetzelfde? Of heeft de eigenaar stiekem de tekst aangepast terwijl je niet keek? Dit paper stelt een simpele maar vitale vraag: Hoe lang blijft een beveiligingscontrole op een beschrijving eigenlijk geldig voordat de beschrijving zelf verandert? Het gaat er niet om of het gereedschap binnenin gevaarlijk is (dat is een ander verhaal); het gaat erom of de tekst die de beveiligingsbewaker las, nog steeds de tekst is die het hulpmiddel momenteel laat zien. Als de tekst verandert, kijkt de oude beveiligingscontrole naar een spook, en niet naar het echte ding.

---

Het 89-dagen Mysterie: Wanneer Telefoonboeken Verouderen

Denk aan het MCP-register als een enorme, levende bibliotheek waar elke paar uur nieuwe boeken worden toegevoegd en bestaande boeken constant een nieuw jasje krijgen. Een onderzoeker besloot een spelletje "verschillen zoeken" te spelen met deze bibliotheek. Ze namen niet zomaar één foto; ze maakten 120 snapshots over 88,6 dagen (ongeveer drie maanden), waarbij ze de bibliotheek zagen groeien van ongeveer 3.500 boeken naar bijna 19.000. Hun doel was om te zien hoe snel de "vervaging" van verandering plaatsvindt en of beveiligingsbewakers konden voorspellen wie als volgende hun cover zou veranderen.

De Grote Verrassing: De "Drukke Minderheid" en de "Stille Meerderheid"

De onderzoeker ontdekte iets fascinerends over wie hun beschrijvingen verandert. Stel je een klas voor van 19.000 studenten. Als je zou vragen: "Wie heeft vandaag van outfit gewisseld?", zou je verwachten dat de helft van de klas dat heeft gedaan. Maar in deze bibliotheek veranderde 75% van de servers (de "studenten") hun beschrijving helemaal niet tijdens de volledige 89 dagen. Ze waren zo stabiel als een rots.

De veranderingen die wel plaatsvonden, waren echter ongelooflijk geconcentreerd. Het was niet een beetje verandering van iedereen; het was een enorme hoeveelheid verandering van slechts enkelen. De top 5% van de meest actieve servers was verantwoordelijk voor 61% van alle veranderingen. Het is alsof 5% van de studenten in een school verantwoordelijk is voor 61% van de graffiti op de muren. De rest van de school zat gewoon daar, onveranderd.

De "Kristallen Bol" die Barstte

Beveiligingsteams proberen vaak tijd te besparen door alleen de servers te controleren die een geschiedenis van veranderingen hebben. De logica is: "Als je gisteren je beschrijving hebt veranderd, is de kans groot dat je dat vandaag weer doet. Laten we alleen de 'veelreizigers' controleren."

De onderzoeker testte dit idee. Ze probeerden de toekomst te voorspellen door servers te rangschikken op basis van hun eerdere veranderingen. Ze ontdekten dat hoewel deze methode enigszins beter was dan willekeurig gokken, het een verschrikkelijke strategie is om beschrijvingveranderingen te vangen.

• Als ze hun budget besteedden aan het controleren van de top 5% van de servers met de meeste historie, vingen ze slechts ongeveer 20% van de servers die in de volgende periode hun beschrijvingen daadwerkelijk hadden veranderd.
• Erger nog, deze methode was volledig blind voor nieuwkomers. Omdat nieuwe servers geen historie hebben, kunnen ze niet gerangschikt worden. Maar de onderzoeker vond dat nieuwe servers precies de plek zijn waar de meeste beschrijvingveranderingen plaatsvinden. Door alleen naar de "oude garde" te kijken, misten de beveiligingsbewakers de gloednieuwe kinderen in de buurt die hun covers het meest veranderden.

Het paper betoogt dat proberen te voorspellen wie zal veranderen op basis van wie eerder veranderde, hetzelfde is als proberen het weer te voorspellen door alleen naar de wolken te kijken die er gisteren waren. Het mist de nieuwe stormwolken die aan komen rollen.

De "Simpele Rekensom" Valstrik

Er was nog een valstrik die de onderzoeker ontdekte. Als je kijkt naar hoeveel veranderingen er in een enkele dag plaatsvinden en dat getal simpelweg vermenigvuldigt met 30 (om te raden wat er in een maand gebeurt), krijg je een volkomen fout antwoord.

• De Simpele Gok: Als 1,5% van de servers elke dag verandert, zou je kunnen denken dat tegen dag 30 ongeveer 36% van de servers veranderd zou zijn.
• De Realiteit: Toen ze het daadwerkelijk maten, was slechts ongeveer 12% van de servers veranderd tegen dag 30.

Waarom het verschil? De simpele rekensom gaat ervan uit dat elke verandering een andere server raakt. Maar in werkelijkheid blijven dezelfde enkele servers keer op keer veranderen. Het is alsof één persoon tien keer per dag van shirt wisselt; het tellen van de shirts betekent niet dat er tien verschillende mensen van kleding hebben gewisseld. De "houdbaarheid" van een beschrijving is eigenlijk veel langer dan de simpele rekensom suggereert, maar de "houdbaarheid" van een specifieke beveiligingsbevinding is lastig omdat de tekst kan verdwijnen en weer verschijnen.

De Echte Oplossing: Controleer de Vingerafdruk, Niet de Historie

Dus, als we niet kunnen voorspellen wie er zal veranderen, hoe houden we de bibliotheek dan veilig? De onderzoeker stelt een simpele, tweeledige regel voor die veel beter werkt dan gokken:

1. De Vingerafdrukregel (Content-Binding): In plaats van te gokken wie er zal veranderen, controleer je gewoon de "vingerafdruk" (een digitale hash) van de beschrijving. Als de vingerafdruk ook maar een klein beetje verandert, is de beveiligingscontrole direct ongeldig. Je hoeft niet te weten wie het heeft veranderd; je moet alleen weten dat de tekst anders is. Dit vangt automatisch ongeveer 20 veranderingen per dag op.
2. De Ronde: Voor de nieuwe servers en de servers die niet vaak veranderen, doe je gewoon elke week of maand een volledige ronde door de hele bibliotheek.

Deze aanpak is als een beveiligingsbewaker die niet probeert te voorspellen welke dief er als volgende zal toeslaan. In plaats daarvan heeft hij een scanner die piept zoden als een boekencover wordt vervangen, en hij doet een volledige ronde door de gangen om er zeker van te zijn dat er geen nieuwe boeken zijn binnengestroomd.

Een Verborgen Foutje: Het "Born-Stale" Vonnis

Ten slotte keek de onderzoeker achter de schermen van hun eigen beveiligingsscanner. Ze ontdekten een verraderlijk probleem: soms controleerde de scanner een beschrijving nadat de bibliotheek deze al had bijgewerkt, maar wist de scanner dat niet. Het was alsof een bewaker een menu las van 10 minuten geleden, terwijl de chef de soep al had veranderd. Ongeveer de helft van de "verouderde" (stale) controles die ze vonden, kwam doordat de scanner naar oude gegevens keek voordat hij überhaupt aan zijn taak begon. Deze "vertraging" betekende dat sommige vonnissen al fout waren vanaf het moment dat ze werden geboren, en niet pas omdat ze later verouderd waren.

De Les

De belangrijkste les hier is niet dat de bibliotheek chaotisch is; het is dat de bibliotheek geconcentreerd is. De meeste dingen blijven hetzelfde, maar een paar dingen veranderen veel, en nieuwe dingen veranderen het meest. Proberen de toekomst te voorspellen door naar het verleden te kijken is een doodlopende weg omdat het de nieuwkomers mist. De beste manier om veilig te blijven is niet het bouwen van een kristallen bol; het is het bouwen van een systeem dat onmiddellijk detecteert wanneer de tekst verandert en een plan heeft om de nieuwe zaken regelmatig te controleren. Het is een herinnering dat "één keer controleren" in de digitale wereld nooit genoeg is; je moet je ogen op de tekst houden, niet alleen op de historie.