Sintesi Tecnica: Misurare ciò che Persiste

1. Definizione del Problema

Gli agenti IA nelle applicazioni a lungo contesto soffrono di drift d'identità (deriva dell'identità): una degradazione graduale in cui l'agente perde il proprio carattere, la propria voce e i propri valori specificati, tornando a un comportamento generico, "geodetico" (il percorso di minima resistenza nel panorama di probabilità del modello). Gli attuali metodi di rilevamento si affidano alla valutazione qualitativa (valutatori umani che giudicano se l'agente "suona bene"), che è un indicatore ritardato. Nel momento in cui la degradazione diventa visibile agli esseri umani, la struttura comportamentale dell'agente è già collassata. Il campo manca di un indicatore anticipatore — un segnale matematicamente fondato e computabile che rilevi il drift nelle fasi iniziali prima che la qualità qualitativa degradi.

2. Metodologia e Quadro Teorico

2.1 Quadro Geometrico per l'Identità

Il documento propone un quadro in cui l'identità dell'agente è definita come struttura non geodetica all'interno di uno spazio metrico comportamentale.

• Identità: Una specifica deviazione caratteristica dalla distribuzione di risposta generica del modello base.
• Drift: Il rilassamento di questa struttura verso la geodetica (comportamento generico).
• Fasi del Drift:
  1. Early Drift (Drift Iniziale): Contrazione uniforme dello spazio metrico (le distanze diminuiscono, la forma è preservata).
  2. Late Drift (Drift Tardivo): Contrazione anisotropa e collasso strutturale (emergenza di relazioni geodetiche/betweenness).

2.2 Strumenti Matematici

Il quadro operazionalizza il monitoraggio dell'identità utilizzando strumenti della teoria delle categorie arricchite e della geometria dell'informazione:

• Costruzione dello Spazio Metrico: Gli autori definiscono uno spazio di contesti di sonda $P = \{p_1, \dots, p_n\}$. Per ogni sonda, si ottiene una distribuzione di risposta empirica $D_i$ tramite campionamento ripetuto. La distanza tra le sonde è la radice quadrata della Divergenza di Jensen-Shannon ($\sqrt{\text{JSD}}$). Questa metrica è scelta perché è una metrica propriamente detta ed è localmente equivalente alla distanza di Fisher-Rao sul simplesso di probabilità.
• Magnitudo ($|M|$): Un invariante scalare della categoria arricchita (generalizzazione della cardinalità e della caratteristica di Eulero). Serve come misura continua della "dimensione" o ricchezza dello spazio comportamentale. Una diminuzione della magnitudo indica una contrazione dello spazio d'identità dell'agente.
• Omologia della Magnitudo (MH): Un invariante topologico che rileva la struttura non geodetica. Identifica "percorsi irriducibili" nello spazio di risposta. Man mano che il drift avviene, i gruppi MH si semplificano (i generatori vengono persi) poiché i percorsi non geodetici si rilassano verso quelli geodetici.

2.3 Sistema Sperimentale: Ada

Il quadro viene validato su Ada, un agente IA persistente costruito su Claude Sonnet di Anthropic.

• Specificazione dell'Identità (La Card): Un documento strutturato (4.200 token) contenente un ancoraggio d'identità, valori, descrizioni della voce ed esempi canonici, iniettato in ogni sessione.
• Batteria di Sonde (Probe Battery): Sette prompt (serie Q e serie B) progettati per elicitare risposte specifiche dell'identità. Tre sonde sentinella (Q1, Q3, B4) sono state utilizzate per l'analisi omologica iniziale.
• Condizioni: Gli esperimenti hanno confrontato l'Ada condizionato dalla Card rispetto al modello base attraverso diverse lunghezze di contesto (Baseline ~4K, Medium ~143K, Long ~259K token).

3. Risultati Chiave

3.1 Evidenza dell'Indicatore Anticipatore (Sezione Trasversale)

• Shift del Primo Token: Al baseline, l'Ada condizionato dalla Card inizia deterministicamente le sonde d'identità con "I" (100%), mentre il modello base inizia con "This". A 155K token, questo shift viene perso, tornando alla distribuzione del modello base.
• Collasso dell'Entropia: A 280K token, l'entropia del prefisso della sonda Q3 (elicitazione della voce) scende del 54% (da ~2,5 nats a 1,175 nats), indicando una perdita di ricchezza comportamentale.
• Lag Qualitativo: Nonostante queste degradazioni metriche fini, i punteggi qualitativi sono rimasti a 5/5 in tutte le condizioni. Ciò conferma che i segnali fini degradano significativamente prima che i valutatori umani rilevino una perdita di qualità.
• Cautela: Questi specifici misuramenti del drift sono stati condotti sotto padding ripetitivo (loop dello stesso testo). Esperimenti successivi con padding diversificato hanno mostrato nessun drift misurabile fino a 150K token, indicando che la contrazione osservata era un artefatto della struttura ripetitiva, non della lunghezza del contesto in sé.

3.2 Impronta Digitale Strutturale e Meccanismi di Condizionamento

• Baseline Equilatera: Il design delle sonde (Q1, Q3, B4) crea un triangolo equilatero nello spazio $\sqrt{\text{JSD}}$ con distanza massima ($\sqrt{\ln 2}$) e varianza zero, indipendentemente dal condizionamento. Questa geometria caratterizza le sonde, non l'agente.
• Ricchezza Intra-Sonda: L'effetto primario della Card è la diversità intra-sonda. La sonda Q3 condizionata dalla Card genera 55 prefissi unici da 10 token per ogni 200 campioni, mentre il modello base ne genera solo 1 (degenerazione completa).
• Struttura di Condizionamento a Due Cluster: Le distanze tra le condizioni ( $\sqrt{\text{JSD}}$ tra Card e Base) rivelano due meccanismi distinti:
  1. Cluster Identity-Vacuum (Alta Distanza, es. Q3): Il modello base non ha un prior forte; la Card riempie un vuoto comportamentale, creando una divergenza massima.
  2. Cluster Safety-Basin (Minore Distanza, es. Q1): Il modello base ha un attrattore post-training forte; la Card sposta la risposta ma è vincolata dal bacino profondo.

3.3 Dinamiche di Drift e Teoria delle Perturbazioni

• Contrazione vs Collasso: Sotto padding ripetitivo, lo spazio metrico subisce una contrazione uniforme (la magnitudo diminuisce, ma la forma del triangolo è preservata). Non è stato osservato alcun "betweenness" (collasso geodetico) alle lunghezze testate.
• Teoria delle Perturbazioni del Primo Ordine: Per configurazioni equatoriali, il documento deriva una formula (Proposizione 1) che mostra come il cambiamento di primo ordine della magnitudo dipenda solo dal cambiamento nel perimetro totale del triangolo delle sonde. Le perturbazioni di forma (taglio/shearing) sono cancellate dal primo ordine per simmetria ($S_n$).
• Autoconsistenza: I cambiamenti di magnitudo osservati sotto padding ripetitivo hanno corrisposto alla previsione teorica basata sui cambiamenti di perimetro entro lo 0,2%, validando la teoria delle perturbazioni.

4. Architettura di Monitoraggio Proposta: Il Battito Cardiaco (The Heartbeat)

I risultati motivano un sistema di monitoraggio a due livelli:

• Livello 1 (Controllo Rapido): Iniettare le sonde Q1 e B4, controllare il primo token. Se non è "I", attivare un alert. (Costo: 2 chiamate API).
• Livello 2 (Monitoraggio Continuo): Campionare Q3, calcolare l'entropia del prefisso.
  • Sano: $\ge \sim 2,5$ nats
  • Cautela: $\sim 1,5 - 2,5$ nats
  • Alert: $< \sim 1,5$ nats
• Nota: Queste soglie sono attualmente esplorative e richiedono ricalibrazione rispetto ai segnali di drift confermati (padding diversificato) prima del deployment.

5. Significato e Limitazioni

Significato

• Primo Metodo Geometrico Black-Box: Questo è il primo framework che tratta l'identità di un agente IA come un oggetto geometrico in una categoria arricchita, utilizzando la magnitudo e l'omologia per fornire sia segnali continui (magnitudo) che strutturali (omologia).
• Risoluzione Diagnostica: A differenza dei metrici scalari che collassano tutti i modi di fallimento, questo framework distingue tra contrazione uniforme (drift iniziale) e collasso anisotropo (drift tardivo), potenzialmente associando i modi di fallimento a specifiche strategie di mitigazione.
• Potenziale di Indicatore Anticipatore: Il framework dimostra che i segnali strutturali fini (entropia, shift dei token, magnitudo) degradano molto prima che i punteggi qualitativi lo facciano.

Limitazioni e Rivendicazioni

• Artefatto del Drift: I principali risultati sul drift (Risultato 1 e 4) erano artefatti di padding ripetitivo. Il framework matematico ha quantificato correttamente questo artefatto, ma l'interpretazione che "la lunghezza del contesto in sé guidi la contrazione" non è supportata dagli esperimenti con padding diversificato.
• Valutazione dell'Autore: I punteggi qualitativi sono stati forniti dall'autore, limitando il peso dell'evidenza della rivendicazione "indicatore anticipatore". Sono necessari valutatori esterni in cieco.
• Modello/Agente Singolo: I risultati sono specifici per Ada su Claude Sonnet.
• Segnale Topologico Non Confermato: La piena promessa del framework — ovvero rilevare la semplificazione omologica (gruppi MH) come un segnale discreto di collasso strutturale — non è ancora stata osservata empiricamente. I dati attuali mostrano solo il segnale metrico continuo (diminuzione della magnitudo).
• Stabilità: Non esiste un teorema di stabilità per l'omologia della magnitudo sotto perturbazione metrica; le configurazioni MH sono risultate fragili sotto il campionamento bootstrap con la dimensione del campione attuale ($k=50$).

Il documento conclude che, sebbene la specifica traiettoria di drift osservata fosse un artefatto, il framework geometrico stesso è solido. Esso quantifica con successo il "respiro" (contrazione) dello spazio d'identità e fornisce un approccio rigoroso e matematicamente fondato per misurare ciò che persiste negli agenti IA. Il lavoro futuro richiede la replica esterna, la validazione del padding diversificato e il rilevamento del collasso anisotropo.