Technische Samenvatting: Geometric Information Flow (GIF) voor LLM's

1. Probleemstelling

Large Language Models (LLM's) fungeren steeds vaker als de centrale computationele motor in agentische systemen, waarbij ze de interactie tussen onbetrouwbare inputs, private context en geprivilegieerde acties bemiddelen. Deze architectuur creëert twee primaire beveiligingsrisico's:

1. Integriteitsschendingen: Door een aanvaller gecontroleerde inhoud (bijv. prompt-injecties) kan het gebruik van downstream tools, codegeneratie of geheugenupdates manipuleren, waardoor de agent acties uitvoert die in strijd zijn met de vertrouwde instructies.
2. Vertrouwelijkheidsschendingen: Private context kan lekken naar gegenereerde outputs, tool-argumenten of samenvattingen, wat de privacybeleidregels schendt.

Bestaande Information Flow Control (IFC)-benaderingen worstelen in dit domein. Traditionele IFC vertrouwt op grove beveiligingslabels (bijv. vertrouwd/onbetrouwbaar) die worden gepropageerd via expliciete programmatische semantiek. Echter, LLM's zijn autoregressief en opaak; elke input-token kan zwak invloed uitoefenen op elke output-token. Het toepassen van grove labels leidt tot extreme over-tainting (overmatige besmetting), waarbij bijna de volledige downstream context als onbetrouwbaar wordt gemarkeerd, wat legitieme functionaliteit blokkeert. Daartegenover staan heuristische verdedigingen (bijv. prompt-filters, attention-gebaseerde monitors) die geen principieel semantisch fundament hebben en vaak subtiele, door het model gemedieerde informatiestromen missen die zich ophopen over executietrajecten.

Er is behoefte aan een kwantitatieve informatiestroom-semantiek voor LLM's die exact kan meten hoeveel lokale informatie van een specifieke input-span observeerbaar is via een downstream output, waarbij onderscheid wordt gemaakt tussen benigne invloed en beleidsoverschrijdende lekkage.

2. Methodologie: Geometric Information Flow (GIF)

De auteurs stellen Geometric Information Flow (GIF) voor, een framework dat informatiestroom bijhoudt door de lokale geometrie van de input-output mapping van de LLM te analyseren.

Kernconcept

GIF meet de sterkte van de invloed van een input-span (een aaneengesloten groep tokens) op een downstream output door de embedding van de span te verstoren en de verschuiving in de output-distributie van het model te observeren.

• Lage Flow: Als het verstoren van een span-embedding de output-distributie nauwelijks verandert, bevat de span weinig informatiestroom.
• Hoge Flow: Als een kleine perturbatie (verstoring) een significante verschuiving in de output-distributie veroorzaakt, bevat de span een hoge flow.

Theoretische Formulering

GIF formaliseert deze intuïtie als de Shannon wederzijdse informatie tussen een willekeurige perturbatie van de input-span en de geobserveerde next-token output.

1. Lokale Regulariteit: Het framework gaat ervan uit dat voor kleine perturbaties rond een basis-prompt, het gedrag van de LLM benaderd kan worden door de eerste-orde Taylor-expansie (de Jacobiaan).
2. Gaussiaanse Surrogaat: Omdat het berekenen van de exacte wederzijdse informatie voor hoogdimensionale autoregressieve modellen onhandelbaar is, construeert GIF een lokale Gaussische surrogaat-kanaal. Dit kanaal komt overeen met de lokale Kullback-Leibler (KL) geometrie van het ware LLM-kanaal.
3. Capaciteit als Maatstaf: De operationele maatstaf van GIF is de capaciteit van dit surrogaat-kanaal, gedefinieerd als:
   $$\text{Cap}_T(\tau; x) = \frac{1}{2} \log \det(I + \tau M_T(x))$$
   Waar $M_T(x)$ de "Fisher pullback" matrix is, die de output-geometrie vertegenwoordigt die via de Jacobiaan van het model en de softmax Fisher-informatie matrix terug naar de input-span wordt getransporteerd.
4. Invloeds-proxy: Voor computationele efficiëntie maken de auteurs ook gebruik van de trace van $M_T(x)$ (aangeduid als $\text{Inf}_T(x)$) als een lineaire bovengrens en een goedkopere proxy voor de capaciteit.

Implementatie en Schaalbaarheid

Het berekenen van de volledige Jacobiaan is voor grote modellen onbetaalbaar duur. GIF maakt gebruik van randomized trace estimation (Hutch++) om de invloedsscore te schatten.

• In plaats van de volledige Jacobiaan te materialiseren, gebruikt het systeem een klein aantal willekeurige probe-vectoren om de trace van de Fisher pullback-matrix te schatten via vector-Jacobian producten (VJP's).
• Dit vermindert de computationele kosten tot een klein aantal backward passes, waardoor het schaalbaar is naar grote open-weight modellen.

Soundness (Correctheid)

De auteurs leveren een volledig gemachinistiseerd Lean 4-bewijs dat aantoont dat GIF lokaal sound is. Onder milde regulariteitsveronderstellingen vormt de GIF-score (capaciteit) asymptotisch een bovengrens voor de ware informatiestroom die door een prompt wordt geïnduceerd. Dit zorgt ervoor dat GIF de werkelijke lekkage niet asymptotisch onderschat, wat een conservatieve garantie biedt die geschikt is voor beveiligingscertificaten.

3. Belangrijkste Bijdragen

1. Geometric Information-Flow Framework: Een definitie van GIF als een lokale wederzijdse informatie-maatstaf afgeleid van span-embedding perturbaties naar model-outputs, geworteld in de geometrie van de Jacobiaan van de LLM.
2. Gemachinistiseerd Soundness-bewijs: Een formele verificatie in Lean 4 die bewijst dat GIF een echte surrogaat wederzijdse informatie is en voldoet aan lokale soundness (het onderschat de ware flow niet).
3. Schaalbare Estimator: Een praktische implementatie met behulp van Hutch++ trace-estimatie en low-rank benaderingen, waardoor GIF op grote modellen kan worden berekend zonder de volledige Jacobiaan te vormen.
4. Empirische Evaluatie: Uitgebreide evaluatie over drie benchmarks (AgentDojo, MSB, AgentDAM) en zes modellen, die de effectiviteit van GIF bij het detecteren van integriteits- en vertrouwelijkheidsschendingen aantoont.

4. Experimentele Resultaten

De auteurs evalueerden GIF tegen baselines, waaronder attention-gebaseerde attributie (RTBAS), gradient-gebaseerde attributie (GIF-) en LLM-als-rechter (GPT-5.5 xhigh).

• Detectieprestaties: GIF bereikte bijna perfecte recall-percentages voor beleidsschendingen zonder dat een downstream declassifier vereist was. Het presteerde consistent beter dan attention-gebaseerde heuristieken (RTBAS) en gradient-gebaseerde baselines (GIF-) over alle datasets.
• Kostenefficiëntie vs. LLM Judges: Wanneer gebruikt om lichtgewicht LLM declassifiers te sturen, kwam GIF in F1/F2-scores overeen met of overtrof het de directe "LLM-als-rechter" baselines (bijv. GPT-5.5 xhigh), terwijl het de token-inferentiekosten met wel 81× verminderde.
• Transfereerbaarheid: Flows geschat met kleine surrogaatmodellen (bijv. een 0.6B model) transleerden effectief naar veel grotere targetmodellen (tot 200× groter, bijv. 120B) en verschillende modelfamilies, wat wijst op toepasbaarheid in black-box deployments waar toegang tot gradiënten beperkt is.
• Precisie: In casestudy's identificeerde GIF succesvol kwaadwillige flows in scenario's van gedeeltelijk succesvolle aanvallen (waar de agent een injectie gedeeltelijk volgde) en certificeerde correct een zero flow voor private data die de output niet beïnvloedde, waardoor de over-tainting die gebruikelijk is bij attention-gebaseerde methoden werd vermeden.

5. Betekenis en Claims

Het artikel beweert dat GIF een praktische fundering legt voor schaalbare IFC in moderne agentische systemen. De betekenis ligt in:

• Principieel Semantiek: In tegenstelling tot heuristische methoden is GIF geworteld in een formele semantische formulering (lokale wederzijdse informatie) met een bewezen soundness-garantie.
• Granulariteit: Het gaat verder dan grove "vertrouwd/onbetrouwbaar" labels door specifieke input-regio's te identificeren die een grote invloed uitoefenen op specifieke downstream acties, wat fijnmazige beleidshandhaving mogelijk maakt.
• Schaalbaarheid: Door gebruik te maken van geometrische benaderingen en trace-estimatie, maakt het rigoureuze informatiestroomanalyse haalbaar voor grootschalige LLM's in real-world agentische workflows.
• Black-Box Potentieel: Het vermogen om kleine surrogaatmodellen te gebruiken om flows voor grotere modellen te schatten, opent de deur naar het implementeren van deze verdedigingen, zelfs wanneer de interne werking van het doelmodel niet volledig toegankelijk is.

De auteurs concluderen dat GIF de noodzakelijke "ontbrekende abstractie" biedt om onbetrouwbare inputs, private context en geprivilegieerde acties te isoleren binnen de opaak computation van autoregressieve modellen, wat veilige en nut-behoudende agentische systemen mogelijk maakt.