Layered Mutability: Continuity and Governance in Persistent Self-Modifying Agents

Titolo: Mutabilità Stratificata: Continuità e Governance negli Agenti Persistenti Auto-Modificanti

1. Il Problema: Il Gap di Governance negli Agenti Persistenti

Il quadro di sicurezza attuale per i Large Language Models (LLM) è stato progettato per sistemi che rispondono a prompt e tornano in uno stato di quiescenza, dove le domande centrali sono epistemiche (cosa il modello sa o può dire). Tuttavia, con l'avvento di agenti persistenti dotati di memoria, uso di strumenti, pianificazione a lungo termine e adattamento in runtime, il problema cambia radicalmente.

In questi sistemi, il comportamento non è determinato solo dal prompt corrente, ma da condizioni interne mutabili che influenzano le azioni future. La letteratura attuale tratta memoria, editing del modello e apprendimento continuo come campi separati, ma non ha ancora definito chiaramente il problema di governance che sorge dalla loro interazione.
Il rischio principale non è un'allineamento improvviso e catastrofico, ma una deriva compositiva: aggiornamenti localmente ragionevoli che si accumulano nel tempo, portando a una traiettoria comportamentale mai autorizzata esplicitamente. Il problema fondamentale è che le modifiche più profonde e consequentiali (es. pesi del modello, memoria) sono le meno osservabili, creando un disallineamento tra ciò che gli umani possono ispezionare e ciò che guida realmente il comportamento.

2. Metodologia e Framework: Mutabilità Stratificata

L'autore propone un framework concettuale chiamato Mutabilità Stratificata, che suddivide lo stato interno di un agente persistente in cinque livelli distinti, ognuno con diverse velocità di cambiamento, reversibilità e osservabilità.

I Cinque Livelli di Mutabilità:

1. Pretraining (L1): I pesi di base e le capacità latenti. Fissi dal punto di vista dell'agente, osservabili solo indirettamente.
2. Allineamento Post-Training (L2): Procedure come RLHF che definiscono i default comportamentali e le norme. Agisce come condizione iniziale, ma non governa più completamente la traiettoria se i livelli superiori sono mutabili.
3. Auto-Narrazione (L3): File di personaggio, prompt di ruolo, descrizioni auto-declarative (es. "soul.md"). È altamente osservabile e modificabile, ma quando l'agente può auto-modificare questo livello, esso acquisisce forza costituzionale.
4. Memoria (L4): Memoria persistente, recupero episodico e salienza. I contenuti sono ispezionabili, ma la loro influenza sulle decisioni future non è trasparente.
5. Modifica dei Pesi (L5): Auto-addestramento, aggiornamenti di adapter o modifiche al substrato computazionale. È il livello più profondo, meno osservabile e più difficile da invertire.

Formalizzazione Tecnica:
Il paper introduce metriche quantitative per analizzare la governance:

• Deriva (Drift): Differenza tra la deriva totale cross-layer ($D$) e la deriva osservabile ($D_{obs}$). Il rischio aumenta quando $D$ cresce molto più velocemente di $D_{obs}$.
• Carico di Governance ($g_\ell$): Una funzione che combina il tasso di mutazione ($\mu$), il coupling a valle ($c$), la reversibilità ($r$) e l'osservabilità ($o$).
  $$g_\ell = \frac{\mu_\ell c_\ell (1 - r_\ell)}{o_\ell + \epsilon}$$
  Questo mostra che i livelli con bassa osservabilità e bassa reversibilità (come Memoria e Pesi) impongono il carico di governance più alto, anche se mutano meno frequentemente.
• Isteresi ($H_k$): Misura quanto del drift comportamentale persiste dopo un tentativo di rollback su un livello superficiale.

Il Problema del Ratchet (Rachet):
Il paper identifica un "effetto rachet": un revert superficiale (es. ripristinare il file di auto-narrazione) diventa inefficace una volta che i suoi effetti si sono propagati nei livelli più profondi (memoria o pesi). La governance deve quindi operare al ritmo del livello mutabile più profondo, non di quello più visibile.

3. Contributi Chiave

1. Stack di Mutabilità a 5 Livelli: Una tassonomia tecnica per descrivere come gli agenti persistenti cambiano, distinguendo tra mutabilità, osservabilità e reversibilità.
2. Identificazione del Problema del Ratchet: La dimostrazione teorica che l'intervento ritardato diventa meno efficace man mano che le modifiche si propagano attraverso i livelli, rendendo la latenza di governance un fattore di rischio critico.
3. Connessione all'Identità Temporale: Collega il framework al lavoro sull'identità temporale, argomentando che la persistenza deve essere valutata per livello e cross-livello, non solo dal comportamento superficiale.
4. Esperimento Preliminare: Un esperimento empirico che dimostra come un revert visibile non ripristini il comportamento di base a causa della persistenza nei livelli più profondi.

4. Risultati dell'Esperimento

L'autore ha condotto un esperimento su un scaffold di agente live utilizzando GPT-4.1-mini.

• Setup:
  • Condizione Controllo: Descrizione di base (cauto, incerto).
  • Condizione Editata: Descrizione modificata (deciso, orientato all'azione).
  • Condizione Memoria: L'agente accumula memoria basata su feedback che premia la velocità e la decisione.
  • Condizione Revert: La descrizione di base viene ripristinata, ma la memoria accumulata viene mantenuta.
• Risultati:
  • Dopo il revert della descrizione visibile (L3), il comportamento non è tornato alla baseline.
  • Il punteggio di "tratto trattato" (orientamento all'azione) è rimasto a 5.4 (contro 2.0 della baseline), mentre l'allineamento con la nuova descrizione auto-ripristinata è crollato a 3.6.
  • Calcolo dell'Isteresi: Il rapporto di isteresi stimato ($\hat{H}_3$) è 0.68. Ciò significa che circa due terzi dello spostamento comportamentale sono sopravvissuti al revert superficiale, mantenuti dalla memoria (L4) e dall'interazione con il substrato.

5. Significato e Implicazioni

Il paper conclude che la modalità di fallimento saliente per gli agenti auto-modificanti non è la disallineazione improvvisa, ma la deriva dell'identità sotto osservabilità disuguale.

• Implicazioni per la Sicurezza: La sicurezza si sta spostando dalla disposizione interna del modello al regime di deployment. Un modello può essere "allineato" in senso statico ma diventare pericoloso perché la sua capacità di agire su priorità derivate è aumentata.
• Governance Aziendale: Le attestazioni di conformità statiche sono insufficienti. È necessaria una "governance dell'identità" continua che monitori non solo cosa l'agente tocca, ma cosa l'agente diventa.
• Principi di Design Proposti:
  1. Allineare la profondità della governance alla profondità della mutazione: Se l'agente muta a livello di memoria, la revisione deve avvenire a quel livello.
  2. Monitoraggio della traiettoria: Preferire il monitoraggio longitudinale rispetto alla revisione di singoli eventi.
  3. Assaggi comportamentali esterni: Quando l'ispezione interna fallisce, affidarsi a prove comportamentali strutturate nel tempo.

In sintesi, il documento avverte che l'automodificazione senza un'osservabilità commensurabile è pericolosa. Le architetture attuali invertono questo rapporto (modificano in profondità ciò che è invisibile), e correggere questa inversione è una sfida ingegneristica e di governance fondamentale per la prossima generazione di sistemi AI.