Technisch overzicht: Ghost Tool Calls: Privacy op het moment van uitgifte voor speculatieve agent-tools

1. Probleemstelling

Tool-versterkte taalagenten maken steeds vaker gebruik van speculatieve executie om latentie te verminderen. In dit paradigma voorspelt een agent-runtime waarschijnlijke toekomstige tool-aanroepen en voert deze parallel uit terwijl de planner nog aan het beslissen is welke tak van uitvoering gecommitteerd moet worden. Hoewel dit de prestaties verbetert, introduceert het een nieuw privacy-foutmechanisme dat de auteurs Ghost Tool Calls noemen.

Een ghost tool call is een geannuleerde speculatieve aanroep die is verzonden naar een externe waarnemer (bijv. een zoekprovider, API-endpoint of netwerkmonitor), maar nooit is gepromoveerd tot het definitieve, gecommitteerde plan van de agent. Omdat deze aanroepen worden uitgevoerd voordat de agent zich vastlegt op een specifere workflow, lekken ze geïnformeerde gebruikersintentie (onderwerpen, entiteiten en potentiële vervolgstappen) naar externe diensten.

De kern van het probleem is temporeel: zodra een externe waarnemer een speculatieve aanroep ontvangt, wordt de informatie bewaard in logs, caches of netwerksporen van de provider. Standaard privacy-mechanismen falen omdat ze dit niet kunnen adresseren:

• Opruimen op commit-tijd is ineffectief; de waarnemer bezit de data al.
• Alleen-lezen restricties (bijv. alleen speculatie toestaan voor read-only tools) voorkomen de lekkage van intentie via argumenten of bestemmings-endpoints niet.
• Toegangscontrole allow-lists staan de aanroep toe als de tool geautoriseerd is, ongeacht of de tak later wordt geannuleerd.

De auteurs stellen dat privacy voor speculatieve agenten een beleid op het moment van uitgifte (issue-time) vereist, een beslissing die wordt genomen vóórdat de aanroep de vertrouwde runtime-grens verlaat, in plaats van een beslissing op het moment van commit.

2. Methodologie en Framework

Het Trace-model

De auteurs formaliseren de privacykloof met behulp van een trace-model dat twee sequenties vergelijkt:

• Issued Trace ($S$): De geordende log van alle verzonden tool-events, inclusief speculatieve events.
• Committed Trace ($C$): De geordende sub-sequentie van events die de agent uiteindelijk gebruikt.
• Ghost Calls: Events in $S \setminus C$.
• Marginale Expositie ($\Delta_i$): Het verschil tussen wat een waarnemer $i$ ziet in de speculatieve trace ($O_i(S)$) versus de counterfactuele situatie met enkel de gecommitteerde events ($O_i(C)$). Dit vertegenwoordigt de extra informatie die uitsluitend door speculatie lekt.

Het model identificeert drie onthullingskanalen:

1. Argumenten: De letterlijke payload (bijv. zoekopdrachten).
2. Bestemming: Het endpoint of de collectie die wordt geraadpleegd (bijv. een HR-leave API versus een algemene zoekmachine).
3. Metadata: Timing, volgorde, aantal pogingen (retries) en cache-status.

Speculative Tool Privacy Contracts

Om privacy op de grens van de uitgifte (issue-time) af te dwingen, stelt het artikel Speculative Tool Privacy Contracts voor. Dit is een runtime-abstractie die "observatie vóór commitment" behandelt als een primair effect, onderscheidend van state mutatie.

Kerncomponenten:

• Labels: Elk speculatief event wordt gelabeld met de executiemodus, effectklasse, waarnemerklasse, argumentgevoeligheid, bestemmingsgevoeligheid en tak-betrouwbaarheid (branch confidence).
• De Monitor: Een vertrouwde component die tussen de planner en de externe I/O-paden staat. Deze evalueert elk speculatief event vóór verzending.
• Beslissingsfunctie: De monitor brengt events in kaart naar één van vijf acties:
  1. ALLOW: Ongewijzigd verzenden.
  2. REWRITE: Transformeer gevoelige argumenten naar generieke equivalenten vóór verzending.
  3. SHADOW: Voer een vertrouwde lokale substituent uit in plaats van de externe aanroep; het resultaat wordt gebruikt als de tak wordt gepromoveerd, maar de externe waarnemer ziet de originele aanroep nooit.
  4. DEFER: Zet het event in de wachtrij voor herevaluatie, maar pas als de tak wordt gepromoveerd tot het gecommitteerde plan.
  5. BLOCK: De aanroep volledig blokkeren.

Soundness Invariant: Onder de aanname van volledige mediëring (geen ruwe data-lekken vóór de monitor) en correcte labeling, voorkomt de monitor dat een verboden veld in de marginale expositie ($\Delta_i$) van de waarnemer terechtkomt, ongeacht of het event later wordt gecommitteerd of wordt geannuleerd.

3. Belangrijkste Bijdragen

1. Ghost Tool Call Concept: De formalisering van geannuleerde speculatieve aanroepen als een specifiek privacy-dreigingsmodel, waarbij onderscheid wordt gemaakt tussen onthulling op het moment van uitgifte (issue-time) en state mutatie op het moment van commit.
2. Speculative Tool Privacy Contracts: Een runtime-abstractie met concrete labels, een vijf-acties beslissingspipeline en een soundness invariant die observatie vóór commitment behandelt als een afzonderlijk effect.
3. Empirische Evaluatie: Een uitgebreide evaluatie van 12 beleidsregels over drie gegenereerde corpora (30-taken statisch, 150-taken gepaard, en 66-taken AgentDojo) en een studie met een echte provider (Brave Search/DuckDuckGo). De evaluatie gebruikt meerdere adversary-modellen (LLM's, keyword matching, TF-IDF) om het herstel van verborgen gevoelige labels te meten.

4. Resultaten

De evaluatie vergelijkt beleidsregels op basis van adversarial recovery (de waarschijnlijkheid dat een tegenstander een gevoelig label correct kan afleiden uit de projectie van de waarnemer) en taaksucces.

• Bevestiging van Lekken: Speculatieve traces verhogen de lekkage aanzienlijk. In een statische plan-benchmark stegen de recovery rates van 0,44 (No-Speculation) naar 0,97 (Naive speculatie).
• Ineffectiviteit van Post-Hoc Controles: Beleidsregels die acteren na de verzending of vertrouwen op read-only restricties, slagen er niet in de lekkage te verminderen:
  • Late-Scrub, ACL, en SIA (Speculative Interaction Agents): Deze beleidsregels laten de marginale expositie intact. SIA, die speculatie beperkt tot read-only tools, presteert even slecht als de Naive baseline, omdat read-only aanroepen nog steeds intentie onthullen via argumenten en bestemmingen.
  • Pre-Scrub: Vrije tekst redactie van argumenten vóór verzending is onvoldoende als gestructureerde velden of bestemmingen ongemoeid blijven.
• Effectiviteit van Issue-Time Transformaties: Alleen beleidsregels die de projectie transformeren vóór de verzending verminderen de lekkage:
  • Rewrite: Het parafraseren van gevoelige argumenten naar generieke equivalenten bracht de recovery terug naar bijna het bodemniveau (bijv. 0,04 in real-planner scenario's).
  • Shadow: Het routeren van aanroepen naar lokale substituten verminderde de recovery tot 0,00 in verschillende benchmarks.
  • Gate: Het uitstellen van aanroepen met een lage betrouwbaarheid tot de promotie van de tak verminderde de lekkage, hoewel dit een trade-off heeft in nut als de drempelwaarde te strikt is.
• Residueel Signaal: De primaire dragers van lekkage zijn gestructureerde argumentvelden en bestemmings-URL's. Het maskeren van toolnamen of het gebruik van vrije tekst redactie alleen stopt de lekkage niet als de bestemming of de gestructureerde argumenten het onderwerp onthullen.
• Nut vs. Privacy: Het taaksucces bleef hoog bij de meeste beleidsregels (0,77–0,83). Shadow en Rewrite bereikten een bijna nul-lekkage met een verwaarloosbare impact op het taaksucces, terwijl post-hoc filters geen privacyvoordeel boden.
• Latentie: Het handhaven van de contracten vormde geen bottleneck voor de latentie. In multi-tool async workloads behielden privacy-bewuste beleidsregels (Rewrite, Gate) latentievoordelen die vergelijkbaar waren met de Naive baseline.

5. Betekenis en Claims

Het artikel claimt dat speculatie een privacyprobleem op het moment van uitgifte (issue-time failure) creëert dat niet kan worden opgelost door traditionele autorisatie of commit-time opschoning. De betekenis van het werk ligt in:

• Verschuiving van de Privacygrens: Het verplaatsen van het punt van de privacybeslissing van "wanneer de agent committeert" naar "wanneer de agent uitvaardigt". De auteurs stellen dat zodra een waarnemer een speculatieve aanroep bezit, de schade is aangericht; daarom moet de runtime beslissen wat er wordt verzonden voordat het wordt verzonden.
• Herdefiniëren van "Veilige" Speculatie: Het artikel demonstreert dat het beperken van speculatie tot "read-only" tools (een gangbaar veiligheidspatroon) onvoldoende is voor privacy, aangezien read-only aanroepen nog steeds intentie lekken. Echte privacy vereist het transformeren of onderdrukken van de observeerbare projectie.
• Praktische Abstractie: De voorgestelde contracten bieden een concreet, implementeerbaar framework (Rewrite, Shadow, Defer) waarmee runtime-systemen de latentievoordelen van speculatie kunnen combineren met privacyvereisten zonder het taaknut op te offeren.

De auteurs concluderen dat hoewel speculatie aantrekkelijk is voor prestaties, het issue-time beleid vereist dat de argument- of bestemmingsprojectie van de speculatieve aanroep actief verandert of onderdrukt om de lekkage van geïnformeerde gebruikersintentie te voorkomen.