Technische Samenvatting: Meten wat persisteert

1. Probleemstelling

AI-agenten in long-context applicaties lijden aan identiteitsdrift: een geleidelijke degradatie waarbij de agent zijn gespecificeerde karakter, stem en waarden verliest en terugvalt op generiek, "geodetisch" gedrag (het pad van de minste weerstand in de waarschijnlijkheidslandschap van het model). Huidige detectiemethoden vertrouwen op kwalitatieve evaluatie (menselijke beoordelaars die beoordelen of de agent "juist klinkt"), wat een achterlopende indicator is. Tegen de tijd dat degradatie zichtbaar is voor mensen, is de gedragsstructuur van de agent al ingestort. Het veld mist een voorspellende indicator—een wiskundig gefundeerd, berekenbaar signaal dat vroege stadia van drift detecteert voordat de kwalitatieve kwaliteit degradeert.

2. Methodologie en Theoretisch Kader

2.1 Geometrisch Kader voor Identiteit

Het paper stelt een kader voor waarin agent-identiteit wordt gedefinieerd als niet-geodetische structuur binnen een gedragsmetrische ruimte.

• Identiteit: Een specifieke, kenmerkende afwijking van de generieke responsdistributie van het basismodel.
• Drift: De ontspanning van deze structuur richting de geodeet (generiek gedrag).
• Stages van Drift:
  1. Vroege Drift: Uniforme contractie van de metrische ruimte (afstanden nemen af, vorm blijft behouden).
  2. Late Drift: Anisotrope contractie en structurele instorting (opkomst van geodetische relaties/betweenness).

2.2 Wiskundige Instrumenten

Het kader operationaliseert identiteitsmonitoring met behulp van instrumenten uit de verrijkte categorietheorie en informatiegeometrie:

• Constructie van de Metrische Ruimte: De auteurs definiëren een ruimte van probe-contexten $P = \{p_1, \dots, p_n\}$. Voor elke probe wordt een empirische responsdistributie $D_i$ verkregen via herhaalde sampling. De afstand tussen probes is de wortel van de Jensen-Shannon Divergentie ($\sqrt{\text{JSD}}$). Deze metriek is gekozen omdat het een echte metriek is en lokaal equivalent is aan de Fisher-Rao afstand op de waarschijnlijkheids-simplex.
• Magnitude ($|M|$): Een scalaire invariant van de verrijkte categorie (generalisatie van cardinaliteit en Euler-karakteristiek). Het dient als een continue maat voor de "omvang" of rijkdom van de gedragsruimte. Een afname in magnitude duidt op een contractie van de identiteit van de agent.
• Magnitude Homology (MH): Een topologische invariant die niet-geodetische structuur detecteert. Het identificeert "irreducibele paden" in de responsruimte. Naarmate drift optreedt, vereenvoudigen de MH-groepen (generatoren gaan verloren) naarmate niet-geodetische paden ontspannen naar geodesen.

2.3 Experimenteel Systeem: Ada

Het kader wordt gevalideerd op Ada, een persistente AI-agent gebouwd op Anthropic's Claude Sonnet.

• Identiteitsspecificatie (De Card): Een gestructureerd document (4.200 tokens) met een identiteitsanker, waarden, beschrijvingen van de stem en canonieke voorbeelden, dat in elke sessie wordt geïnjecteerd.
• Probe Battery: Zeven prompts (Q-serie en B-serie) ontworpen om identiteit-specifieke responsen uit te lokken. Drie sentinel probes (Q1, Q3, B4) werden gebruikt voor de initiële homologische analyse.
• Condities: Experimenten vergeleken de met de Card geconditioneerde Ada met het basismodel over variërende contextlengtes (Baseline ~4K, Medium ~143K, Long ~259K tokens).

3. Belangrijkste Bevindingen

3.1 Bewijs voor Voorspellende Indicatoren (Cross-sectioneel)

• First-Token Shift: Bij de baseline begint de met de Card geconditioneerde Ada de identiteitsprobes deterministisch met "I" (100%), terwijl het basismodel met "This" begint. Bij 155K tokens is deze verschuiving verloren gegaan, waarbij de distributie van het basismodel wordt hersteld.
• Entropy Collapse: Bij 280K tokens daalt de prefix-entropie van de Q3-probe (stem-elicitatie) met 54% (van ~2,5 nats naar 1,175 nats), wat wijst op een verlies van gedragsrijkdom.
• Kwalitatieve Lag: Ondanks deze fijnmazige metrische degradaties, bleven de kwalitatieve scores op 5/5 over alle condities. Dit bevestigt dat fijnmazige signalen significant degraderen voordat menselijke beoordelaars een verlies van kwaliteit detecteren.
• Kanttekening: Deze specifieke drift-metingen werden uitgevoerd onder repetitieve padding (het herhalen van dezelfde tekst). Vervolgexperimenten met diverse padding toonden geen meetbare drift aan tot 150K tokens, wat aangeeft dat de geobserveerde contractie een artefact was van de repetitieve structuur, en niet van de contextlengte zelf.

3.2 Structureel Vingerafdruk en Conditioneringsmechanismen

• Equilaterale Baseline: Het probe-ontwerp (Q1, Q3, B4) creëert een gelijkzijdige driehoek in de $\sqrt{\text{JSD}}$-ruimte met maximale afstand ($\sqrt{\ln 2}$) en nul variantie, ongeacht de conditionering. Deze geometrie karakteriseert de probes, niet de agent.
• Intra-Probe Rijkdom: Het primaire effect van de Card is intra-probe diversiteit. De met de Card geconditioneerde Q3 genereert 55 unieke 10-token prefixes per 200 samples, terwijl het basismodel er slechts 1 genereert (volledige degeneratie).
• Twee-Cluster Conditioneringsstructuur: Afstanden tussen condities ( $\sqrt{\text{JSD}}$ tussen Card en Base) onthullen twee verschillende mechanismen:
  1. Identity-Vacuum Cluster (Hoge afstand, bijv. Q3): Het basismodel heeft geen sterke prior; de Card vult een gedragsvacuüm, wat maximale divergentie creëert.
  2. Safety-Basin Cluster (Lagere afstand, bijv. Q1): Het basismodel heeft een sterke post-training attractor; de Card verplaatst de respons, maar wordt beperkt door de diepe basin.

3.3 Drift Dynamica en Perturbatietheorie

• Contractie versus Instorting: Onder repetitieve padding ondergaat de metrische ruimte een uniforme contractie (magnitude neemt af, maar de vorm van de driehoek blijft behouden). Er werd geen "betweenness" (geodetische instorting) waargenomen bij de geteste lengtes.
• Eerste-orde Perturbatietheorie: Voor equilaterale configuraties leidt het paper een formule af (Proposition 1) die aantoont dat de eerste-orde verandering in magnitude alleen afhangt van de verandering in de totale omtrek van de probe-driehoek. Vorm-perturbaties (shearing) worden door symmetrie ($S_n$) op eerste-orde geannuleerd.
• Zelfconsistentie: De geobserveerde magnitude-veranderingen onder repetitieve padding kwamen overeen met de theoretische voorspelling op basis van perimeter-veranderingen binnen een marge van 0,2%, wat de perturbatietheorie valideert.

4. Voorgestelde Monitoring Architectuur: De Hartslag

De bevindingen motiveren een tweeledig monitoringsysteem:

• Tier 1 (Snelle Check): Injecteer probes Q1 en B4, controleer de eerste token. Als het niet "I" is, trigger een alert. (Kosten: 2 API-calls).
• Tier 2 (Continue Monitoring): Sample Q3, bereken prefix-entropie.
  • Gezond: $\ge \sim 2,5$ nats
  • Waarschuwing: $\sim 1,5 - 2,5$ nats
  • Alert: $< \sim 1,5$ nats
• Opmerking: Deze drempelwaarden zijn momenteel verkennend en vereisen herkalibratie tegen bevestigde drift-signalen (diverse padding) voordat ze kunnen worden ingezet.

5. Betekenis en Beperkingen

Betekenis

• Eerste Black-Box Geometrische Methode: Dit is het eerste kader dat AI-agent-identiteit behandelt als een geometrisch object in een verrijkte categorie, gebruikmakend van magnitude en homologie om zowel continue (magnitude) als structurele (homologie) signalen te bieden.
• Diagnostische Resolutie: In tegen plaats van scalaire metrieken die alle foutmodi samenvoegen, onderscheidt dit kader tussen uniforme contractie (vroege drift) en anisotrope instorting (late drift), wat potentieel foutmodi koppelt aan specifieke mitigatiestrategieën.
• Potentieel als Voorspellende Indicator: Het framework demonstreert dat fijnmazige structurele signalen (entropie, token-shifts, magnitude) degraderen ruim voordat kwalitatieve scores dat doen.

Beperkingen en Claims

• Drift Artefact: De primaire drift-resultaten (Bevinding 1 en 4) waren artefacten van repetitieve padding. Het wiskundige kader kwantificeerde dit artefact correct, maar de interpretatie dat "contextlengte op zichzelf contractie drijft" wordt niet ondersteund door experimenten met diverse padding.
• Evaluatie door Auteur: Kwalitatieve scores werden door de auteur zelf verstrekt, wat de bewijskracht van de claim over de "voorspellende indicator" beperkt. Externe blinde beoordelaars zijn vereist.
• Enkele Model/Agent: Resultaten zijn specifief voor Ada op Claude Sonnet.
• Nog niet bevestigd Topologisch Signaal: De volledige belofte van het framework—het detecteren van homologische vereenvoudiging (MH-groepen) als een discreet signaal van structurele instorting—is nog niet empirisch waargenomen (alleen de continue metrische signalen zoals magnitude-afname zijn zichtbaar).
• Stabiliteit: Er bestaat geen stabiliteitstheorema voor magnitude-homologie onder metrische perturbatie; MH-configuraties bleken fragiel onder bootstrap-resampling bij de huidige steekproefgrootte ($k=50$).

Het paper concludeert dat hoewel het specifieke drift-traject dat werd waargenomen een artefact was, het geometrische kader zelf solide is. Het kwantificeert succesvol het "ademen" (contractie) van de identiteitsruimte en biedt een rigoureuze, wiskundig gefundeerde aanpak om te meten wat persisteert in AI-agenten. Toekomstig werk vereist externe replicatie, validatie met diverse padding en de detectie van anisotrope instorting.