🤖 AI

ChronoState: Hidden Elapsed-Time Conditioning for Temporal-State Action Selection in Frozen-Backbone Language Models

Il paper ChronoState dimostra che un modello linguistico congelato può comporre efficacemente il tempo trascorso, nascosto e non rappresentato da token, con lo stato simbolico del compito per selezionare azioni temporali sotto supervisione diretta, raggiungendo un'elevata accuratezza su benchmark specifici pur fallendo nel generalizzare su famiglie non viste o nel superare i semplici baseline di timestamp iniettati tramite prompt.

Autori originali: Sam Siavoshian, Omar Ramadan, Amir K. Saeed, Benjamin A. Johnson, Amin Mohamed El-Amin Diab, Benjamin M. Rodriguez

Pubblicato 2026-08-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sam Siavoshian, Omar Ramadan, Amir K. Saeed, Benjamin A. Johnson, Amin Mohamed El-Amin Diab, Benjamin M. Rodriguez

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di parlare con un robot molto intelligente che ha letto quasi tutto ciò che è scritto su internet. Questo robot è bravo a seguire le istruzioni, ma ha un bizzarro punto cieco: non sa effettivamente che ore sono. Per il robot, un minuto sembra esattamente uguale a un anno a meno che tu non scriva esplicitamente "Sono le 15:00" nella chat. Questo è un problema per i compiti del mondo reale. Se un robot sta gestendo una biblioteca, deve sapere quando un libro è in ritardo. Se sta gestendo un sistema di sicurezza, deve sapere se una password è scaduta. Di solito, diciamo al robot l'ora scrivendola nella chat, come un essere umano che dà un suggerimento. Ma cosa succederebbe se potessimo sussurrare l'ora direttamente nel cervello del robot senza che lui legga le parole? Questa è la grande domanda che questo articolo esplora. Chiede: è possibile alimentare un segnale temporale "nascosto" direttamente nel cervello di un robot congelato affinché possa prendere decisioni migliori, anche se il robot non è in grado di leggere l'ora come testo?

I ricercatori dietro questo studio, guidati da Sam Siavoshian e dai colleghi della Johns Hopkins University, hanno costruito un test speciale chiamato ChronoState per rispondere a questo quesito. Volevano vedere se potevano iniettare un segnale temporale "nascosto" in un modello linguistico (il cervello del robot) che non faceva parte del testo visibile. Pensalo in questo modo: di solito, se vuoi che un robot sappia quanto tempo è passato, devi scrivere: "Stai aspettando da 5 minuti". In questo esperimento, i ricercatori hanno provato un trucco diverso. Hanno mantenuto il testo esattamente lo stesso, ma hanno inserito segretamente un numero che rappresentava "5 minuti" direttamente nei circuiti interni del robot. Lo hanno chiamato Iniezione Cronométrica. È come dare al robot un auricolare segreto che solo lui può sentire, dicendogli esattamente quanto tempo è passato da un evento specifico, come l'inizio di un lavoro o il riempimento di una cache.

Il team ha utilizzato un tipo specifico di cervello robotico chiamato Qwen2.5-3B-Instruct. Hanno "congelato" la parte principale del suo cervello, il che significa che non l'hanno lasciato apprendere nuovi fatti o cambiare la sua conoscenza fondamentale. Invece, hanno aggiunto un piccolo "adapter" addestinabile (una piccola patch di nuovi circuiti) che potesse ascoltare questo segnale temporale segreto. Hanno testato il robot su sei diversi scenari, come decidere se una cache del computer è ancora fresca, se un lavoro in background è terminato o se la sessione di un utente è troppo vecchia per essere affidata. Il robot doveva scegliere tra azioni come "Riutilizza", "Aspetta", "Aggiorna" o "Chiedi conferma".

I risultati sono stati un mix di successo impressionante e limiti evidenti. Quando il robot riceveva il corretto segnale temporale nascosto, dava la risposta giusta circa il 93% delle volte. Questo è un salto enorme rispetto al 55% ottenuto quando il segnale temporale mancava o era impostato su zero. Ancora più interessante, quando i ricercatori hanno rimescolato i segnali temporali (dando al robot l'ora sbagliata, come dire che sono passati 5 minuti quando in realtà sono passate 2 ore), l'accuratezza del robot è scesa a circa il 33%. Fondamentalmente, il robot non ha ignorato l'ora errata; ha seguito l'errore e ha preso la decisione sbagliata basandosi su di esso. Questo dimostra che il robot stava davvero "ascoltando" il segnale nascosto e lo stava usando per calcolare la sua risposta, invece di tirare a indovinare.

Tuttamente, l'articolo è molto attento a non presentare questo come una soluzione magica. I ricercatori hanno scoperto che, sebbene il trucco del segnale nascosto funzionasse bene, non era il modo migliore per dare il tempo al robot. Quando scrivevano semplicemente l'ora nella chat (come un normale prompt) e addestravano il robot su di essa, il robot la indovinava il 99% delle volte. Pertanto, il segnale nascosto non è una "vittoria" in termini di pura accuratezza. Al contrario, il suo valore risiede nel fatto di essere un canale separato e controllabile. Permette a un sistema di testare la reazione del robot al tempo senza che il tempo sia visibile nel testo, il che potrebbe essere utile per la sicurezza o per testare come il robot gestisce le informazioni contrastanti.

Lo studio ha anche scoperto dove il cervello del robot incontra un limite. Sebbene fosse diventato molto bravo a gestire nuovi template e diverse durate temporali, ha faticato quando gli è stato chiesto di applicare ciò che aveva imparato a un tipo di compito completamente nuovo (nello specifico, un compito di reset della "quota"); in questo caso, ha avuto successo solo circa il 50% delle volte, il che è essenzialmente un lancio di moneta. Ciò suggerisce che il robot ha imparato a seguire le regole per i compiti specifici che ha visto, ma non ha compreso pienamente il concetto astratto di "limiti temporali" abbastanza bene da applicarlo a situazioni totalmente nuove.

In conclusione, l'articolo afferma che sì, è possibile sussurrare il tempo nel cervello di un robot congelato, e lui userà quel sussurro per prendere decisioni. È un'interfaccia funzionante e controllabile. Ma questo non significa che il robot abbia sviluppato un proprio senso del tempo, né significa che questo metodo nascosto sia migliore del semplice atto di scrivere il tempo nel prompt. È un trucco interessante per i ricercatori per studiare come i robot elaborano il tempo, ma per costruire sistemi del mondo reale, il vecchio metodo di scrivere semplicemente il tempo nel prompt rimane il campione più affidabile. Gli autori suggeriscono che questo metodo sia uno strumento eccellente per l'IA di difesa e sicurezza, dove si potrebbe voler controllare la tempistica di un robot senza esporre tale tempistica nei log testuali, ma avvertono che è comunque necessario prestare attenzione e doppiare le fonti temporali, perché se il segnale segreto è errato, il robot prenderà con decisione la scelta sbagliata.

Riepilogo Tecnico: ChronoState – Condizionamento del Tempo Trascorso Nascosto per la Selezione di Azioni basata sullo Stato Temporale

1. Definizione del Problema

I sistemi di modelli linguistici (LM) implementati interagiscono spesso con stati esterni dove le decisioni dipendono sia dallo stato simbolico del task (ad es., "cache piena", "job avviato") sia dal tempo trascorso reale (wall-clock time) (ad es., "5 minuti fa", "reset della quota domani"). In molti scenari, come i flussi di lavoro della difesa e della sicurezza, scrivere timestamp espliciti nel prompt visibile all'utente è subottimale o rischioso: può rivelare i tempi di sistema, mescolarsi con testo non attendibile o finire sepolto in contesti molto lunghi.

La domanda di ricerca centrale è se un modello linguistico con backbone congelato possa utilizzare uno scalare non-token, lato sistema rappresentante il tempo trascorso ( $\tau$ ) per comporsi con lo stato simbolico visibile ( $s$ ) per la selezione di azioni temporali. Il documento indaga se questo tempo "nascosto" (nascosto al flusso di token ma accessibile al calcolo del modello) possa guidare causalmente decisioni deterministiche senza richiedere al modello di tracciare autonomamente il tempo o sostituire i controller simbolici.

2. Metodologia

2.1 Interfaccia di Iniezione Cronomitrica (CI)

L'interfaccia proposta, l'Iniezione Cronomitrica, codifica i secondi trascorsi in un vettore di caratteristiche continuo e lo inietta nel residual stream di un backbone LM congelato.

Codifica del Tempo: Il tempo trascorso $\tau$ è mappato in un vettore di caratteristiche fisso a 31 dimensioni $\chi(\tau)$ utilizzando una codifica sinusoidale più logaritmica:
$\chi(\tau) = [\sin(\tau/T_1), \cos(\tau/T_1), \dots, \sin(\tau/T_{15}), \cos(\tau/T_{15}), \log(1 + \tau)]^\top$
dove $T_k$ sono divisori specifici che variano da 2 a 604.800 secondi.
Modulazione: Il vettore del tempo codificato modula gli stati nascosti residuali $h_\ell$ al livello transformer $\ell$ tramite gated FiLM (Feature-wise Linear Modulation):
$h'_\ell = h_\ell + \alpha_\ell \odot (\gamma_\ell \odot h_\ell + \beta_\ell)$
Qui, $\gamma_\ell$ e $\beta_\ell$ sono trasformazioni affini di $\chi(\tau)$ , e $\alpha_\ell$ è un gate appreso per canale.
Inizializzazione: I proiettori di condizionamento sono inizializzati a zero ( $\alpha_\ell=0$ , pesi=0, bias=1 per la scala) in modo che all'inizio dell'addestramento il modello si comporti esattamente come il backbone congelato, evitando bruschi cambiamenti nella distribuzione.
Adattamento: Una superficie LoRA Rank-8 viene applicata alle proiezioni dell'attenzione e alla testa del modello linguistico per apprendere la politica di selezione delle azioni sopra gli stati modulati. I parametri del backbone rimangono congelati.

2.2 Il Benchmark ChronoState

ChronoState è un benchmark a scelta forzata progettato per valutare il ragionamento dello stato temporale.

Task: Dato un prompt visibile che descrive lo stato simbolico $s$ e uno scalare nascosto $\tau$ , il modello deve selezionare un'azione da un insieme finito: $\{ \text{REUSE, WAIT, RETRIEVE, REFRESH, WAIT QUOTA, DEADLINE MISSED, ASK CONFIRM} \}$ .
Famiglie: Il benchmark copre sei famiglie: Cache (TTL), Job (durata), Deadline (slack), Quota (reset), Staleness (età della sessione) e Multi-constraint (composizione di priorità).
Oracolo: Una politica deterministica $\pi(s, \tau)$ genera l'etichetta corretta basandosi su regole rigide (ad es., se $\tau \ge \text{TTL}$ , allora REFRESH).
Split: Il dataset include set di test standard e split tenuti fuori (held-out) per template, durate (interpolazione), composizioni (multi-vincolo) e famiglie (quota pura, che è esclusa dall'addestramento).

2.3 Controlli Sperimentali

Per stabilire la dipendenza causale dallo scalare nascosto, lo studio impiega diversi controlli:

No-time (Nessun tempo): $\tau$ è impostato a zero.
Shuffled-time (Tempo rimescolato): $\tau$ è sostituito dallo scalare di un esempio diverso (mantenendo l'etichetta originale).
Prompt Timestamp: Il tempo è scritto come testo nel prompt (hidden $\tau=0$ ).
Conflict (Conflitto): Il testo visibile e lo scalare nascosto sono in disaccordo.
Baseline: Include LoRA-only (senza canale temporale), Vanilla (senza LoRA) e Prompt+LoRA (addestrato su timestamp testuali).

3. Risultati Chiave

3.1 Prestazioni sui Task Standard

Utilizzando Qwen2.5-3B-Instruct come backbone congelato:

Hidden-time CI: Ha raggiunto un'accuratezza di 0.9305 ± 0.0134 e un'accuratezza bilanciata di 0.9410 ± 0.0103 sul test standard.
Baseline Prompt+LoRA: Ha superato l'approccio hidden-time con un'accuratezza di 0.9893 ± 0.0052.
Controllo No-Time: L'accuratezza è scesa a 0.5511, indicando che il modello si affida allo scalare temporale.
Controllo Shuffled-Time: L'accuratezza è scesa a 0.3323, con un'alta Wrong-State Consistency (WSC) (~0.91). Ciò conferma che il modello ricalcola causalmente le azioni basandosi sullo scalare iniettato, anche quando lo scalare è errato.

3.2 Generalizzazione e Limitazioni

Forte Generalizzazione: Il modello si è generalizzato bene a template tenuti fuori (0.9357), durate (0.8375) e composizioni multi-vincolo (0.8652).
Debole Trasferimento: Le prestazioni sono crollate sulla famiglia pure quota tenuta fuori (0.5065). Sebbene la logica della quota apparisse negli esempi di addestramento multi-vincolo, il modello non è riuscito ad astrarre il predicato di quota pura quando isolato.
Gestione del Conflitto: Nei casi di conflitto, il modello ha seguito fortemente lo scalare nascosto (scalar-follow ~0.90) piuttosto che il testo visibile, dimostrando la dominanza del canale nascosto ma una mancanza di gestione sicura del disaccordo.

3.3 Diagnostica Lineare

Modelli lineari utilizzando le caratteristiche dello stato ingegnerizzate più la codifica temporale ( $\chi(\tau) + s$ ) hanno raggiunto alte prestazioni (ad es., 0.9230 sui test standard), provando che il task è risolvibile con caratteristiche esplicite. Il modello neurale ha catturato gran parte di questa struttura ma non è riuscito a eguagliare le prestazioni del baseline lineare sullo split della quota pura.

4. Claim e Significato

Il documento esprime un claim ristretto e intenzionale:

Fattibilità: Uno scalare del tempo trascorso nascosto e non-token può essere composto causalmente con uno stato simbolico visibile in un LM con backbone congelato per selezionare azioni temporali sotto supervisione diretta.
Utilità dell'Interfaccia: L'interfaccia di Iniezione Cronomitrica fornisce un canale controllabile, lato sistema, che può essere azzerato, rimescolato o messo in conflitto con il testo visibile, rendendolo un oggetto di ricerca prezioso per lo studio delle interfacce dello stato di sistema.
Assenza di Superiorità: Il documento non afferma esplicitamente che il condizionamento del tempo nascosto sia superiore ai timestamp nel prompt (la baseline Prompt+LoRA è più forte).
Nessuna Tracciamento Autonomo: Il modello non possiede una percezione autonoma del tempo; dipende interamente dallo scalare fornito esternamente. Se lo scalare è errato, il modello produce azioni errate.
Nessuna Astrazione Ampia: Il fallimento sulla famiglia "pure quota" tenuta fuori indica che il modello non raggiunge un'astrazione ampia per tutti i tipi di predicati non visti.

Conclusione: ChronoState valida un particolare pattern architettonico per il supporto decisionale consapevole del tempo in ambienti sicuri o vincolati, dove il tempo deve influenzare il routing senza entrare nel flusso di token visibile. Serve come benchmark e protocollo di valutazione per il condizionamento del tempo nascosto, piuttosto che come dimostrazione di intelligenza temporale generale o come sostituto dei controller simbolici deterministici.