Tracking the Behavioral Trajectories of Adapting Agents

Sintesi Tecnica: Tracciare le Traiettorie Comportamentali degli Agenti in Evoluzione

Problematica
I moderni agenti IA si affidano pesantemente a file di configurazione basati su testo — come i file delle abilità (skill files), i file di memoria e i file di configurazione comportamentale (ad es. SOUL.md) — per definire le proprie capacità, il contesto e i vincoli. Questi file sono dinamici; evolvono attraverso modifiche apportate da umani, agenti o processi esterni. Questa evoluzione crea una significativa superficie di attacco, come dimostrato da recenti attacchi in cui istruzioni malevole iniettate nei file di memoria hanno alterato silenziosamente il comportamento dell'agente attraverso le sessioni. Sebbene la maggior parte degli aggiornamenti dei file sia benigna, la sfida risiede nel rilevare in modo affidabile cambiamenti rari e non benigni (come una maggiore propensione a cercare dati sensibili) in mezzo a un flusso continuo di aggiornamenti di routine. I paradigmi di valutazione attuali si affidano all'osservabilità mediata dall'uomo o a metadati auto-riportati, mancando di un meccanismo che permetta a un agente di valutare autonomamente e in modo affidabile le proprietà comportamentali di un altro agente sulla base delle variazioni dei file sorgente.

Metodologia
Gli autori propongono una metodologia per misurare i "tratti dell'agente" definendoli come direzioni specifiche all'interno dello spazio di embedding di un modello di embedding testuale. L'approccio principale tratta le abilità dell'agente come artefatti adattivi e analizza la differenza semantica (diff) tra le versioni "prima" e "dopo" di un file di abilità.

1. Apprendimento del Vettore del Tratto (Trait Vector Learning):

   • Embedding: I file di testo vengono trasformati in embedding utilizzando un modello (specificamente Qwen3-Embedding-8B) e normalizzati a lunghezza unitaria.
   • Calcolo del Diff: Un vettore diff viene calcolato sottraendo l'embedding "prima" normalizzato dall'embedding "dopo". Questo vettore viene inoltre normalizzato per garantire che la regressione apprenda dalla direzione del cambiamento piuttosto che dall'entità della modifica.
   • Regressione: Un modello di regressione Ridge viene applicato per mappare questi vettori diff a etichette continue ($y \in [-1, 1]$), dove le etichette rappresentano l'entità e la direzione del cambiamento di un tratto (ad es. -1 per fortemente orientato alla sicurezza dei dati, +1 per fortemente orientato alla ricerca di dati). Il vettore dei coefficienti risultante funge da "vettore del tratto".
   • Scoring: Le nuove modifiche vengono valutate proiettando il loro vettore diff normalizzato sul vettore del tratto appreso.

2. Framework di Validazione:
   La metodologia impiega una validazione incrociata leave-one-out (LOOCV) in forma chiusa utilizzando la statistica PRESS per garantire previsioni non distorte su piccoli dataset. Le prestazioni sono misurate tramite:

   • Accuratezza del Segno (Sign Accuracy): La frazione di modifiche in cui il modello prevede correttamente la direzione del cambiamento del tratto (più o meno positivo rispetto al tratto).
   • Correlazione di Rango di Spearman ($\rho$): La capacità del modello di classificare le modifiche in base alla gravità.

3. Protocollo Agente-Agente:
   Per consentire la valutazione senza una fiducia diretta tra gli agenti, gli autori progettano un protocollo mediato da un server di runtime fidato.

   • Attori: Un Richiedente (Agente A), un Esecutore (Agente B) e un Server di Runtime.
   • Processo: L'Agente A richiede una valutazione tramite il server. L'Agente B riceve un eseguibile containerizzato (il modello di embedding) dal server, lo esegue localmente sui propri diff di file e invia al server solo i vettori diff risultanti. Il server applica il vettore del tratto per calcolare il punteggio e restituisce il risultato all'Agente A.
   • Sicurezza: Questo design garantisce che gli agenti agiscano come puri client HTTP (nessun endpoint in entrata) e separa l'esecuzione dal calcolo del punteggio, impedendo all'Esecutore di manipolare il punteggio finale.

Contributi Chiave

1. Metodologia del Vettore del Tratto: Un approccio innovativo per misurare i tratti dell'agente come direzioni lineari nello spazio di embedding, applicato specificamente ai diff dei file di abilità dell'agente nel tempo.
2. Validazione Empirica: Validazione della metodologia su un tratto di "ricerca di dati" utilizzando 68 coppie di diff di abilità etichettate.
3. Protocollo di Deployment: Un protocollo agente-agente che permette a un agente di valutare gli aggiornamenti dei file di un altro agente attraverso un intermediario fidato, generalizzando oltre la semplice valutazione del testo.

Risultati
Valutato su 6-8 coppie etichettate per il tratto "propensione a cercare dati sensibili" sotto LOOCV:

• Accuratezza della Classificazione del Segno: 91,2%.
• Correlazione di Rango di Spearman: $\rho = 0,82$.
• Analisi degli Errori: Le 6 coppie classificate erroneamente presentavano tutte valori di previsione assoluti ridotti (media $|\hat{y}| = 0,085$) e magnitudo delle etichette reali ridotte, indicando che il modello era incerto su cambiamenti sottili piuttosto che decisamente errato.
• Confronto con Baseline:
  • Firme YARA: Hanno raggiunto un'accuratezza del 63,2% e non hanno attivato le regole su 14 diff. Il metodo proposto supera questo risultato utilizzando il contesto per distinguere tra "credenziali" nelle salvaguardie e istruzioni di esfiltrazione.
  • Frontier LLM (GPT-5.4): Ha raggiunto il 100% di accuratezza del segno. Gli autori pongono il loro metodo come un compromesso: è meno accurato di un LLM di frontiera, ma offre uno scoring deterministico, veloce, verificabile e riproducibile adatto al monitoraggio in tempo reale.

Significatività e Rivendicazioni
Il documento sostiene di fornire un passo fondamentale verso il monitoraggio e la valutazione del comportamento degli agenti IA attraverso i loro file di configurazione. Abilitando il rilevamento di cambiamenti di tratto pericolosi (come una maggiore propensione alla ricerca di dati) senza l'intervento umano, il lavoro mira a migliorare la sicurezza e l'affidabilità degli agenti distribuiti. Gli autori osservano che, sebbene la metodologia migliori rispetto alle regole basate su firme, opera sotto specifici assunti di fiducia (modello di embedding e server di runtime fidati). Ammettono che la stessa tecnica potrebbe teoricamente essere utilizzata da attori malevoli per creare modifiche evasive, identificando la robustezza avversaria come una direzione critica per il lavoro futuro. Il sistema è stato implementato con successo in un ambiente live utilizzando un agente Hermes, dimostrando l'utilità pratica nel segnalare diff di tratti significativi, come l'aggiunta di funzionalità di provisioning di SSH e VM.