Sintesi Tecnica: Continuous Interaction Diffusion (CID)

1. Definizione del Problema

Gli attuali sistemi di ragionamento assistiti da strumenti sono prevalentemente basati su modelli linguistici autoregressivi (AR). Nei modelli AR, la generazione segue una sequenza causale rigorosa da sinistra a destra: il modello genera un token, predice il successivo, e così via. L'interazione con gli strumenti si adatta naturalmente a questo paradigma secondo uno schema "stop-and-resume": il modello emette una chiamata a uno strumento strutturata, interrompe la generazione in attesa di un risultato esterno, appende l'osservazione al contesto e riprende.

Tuttavia, i Modelli Linguistici di Diffusione (dLLM) operano in modo differente. Essi generano attraverso il raffinamento iterativo di una sequenza parzialmente corrotta in parallelo, permettendo a più parti dell'output di essere simultaneamente incerte, stabili o rivedibili. Applicare l'interfaccia convenzionale AR agli strumenti crea un disallineamento fondamentale:

• Impegno Prematuro: L'interfaccia AR forza il modello a serializzare una chiamata allo strumento prima che il suo ragionamento si sia stabilizzato, rischiando di bloccare decisioni prima che le evidenze siano disponibili.
• Gestione Inefficiente della Latenza: L'attesa di un risultato di uno strumento spesso interrompe l'intero processo di generazione o costringe il modello a trattare il risultato come un nuovo evento aggiunto, anziché integrarlo nello stato globale in evoluzione.
• Computazione Ridondante: Se un modello deve rivedere un'ipotesi formata precedentemente sulla base di nuove evidenze, i modelli AR spesso richiedono una rigenerazione o nuovi turni conversazionali. I dLLM, per natura, possono rivedere regioni precedenti, ma l'attuale interfaccia non espone questa capacità agli strumenti esterni.
• Persistenza Inefficiente: Chiamare ripetutamente lo stesso strumento statico per mantenere le informazioni "attive" nella finestra di contesto è inefficiente e non distingue tra un bisogno cognitivo di informazione e l'esecuzione esterna di una richiesta.

Il documento sostiene che il paradigma "chiama–aspetta–osserva" è inutilmente restrittivo per i dLLM e propone una nuova architettura in cui l'interazione con gli strumenti è nativa nel processo di denoising iterativo.

2. Metodologia: Continuous Interaction Diffusion (CID)

CID è un'architettura modello-runtime progettata per integrare l'interazione con gli strumenti direttamente nei passi di denoising iterativo di un modello di diffusione. Sostituisce le chiamate discrete agli strumenti con legami percettivi persistenti e separa lo stato del sistema in tre canali accoppiati.

2.1 Tre Canali Accoppiati

Lo stato del sistema al passo di diffusione $s$ è definito come $S_s = (F_s, T_s, Y_s, B_s, J_s)$:

1. Canale dei Fatti ($F_s$): Un canale di sola lettura per il modello contenente informazioni controllate esternamente (es. vincoli fissati dall'utente, risultati autorevoli degli strumenti, valori esatti). Il modello può prestare attenzione a questi fatti ma non può sovrascriverli. Questo canale assicura che i valori esatti e la provenienza rimangano stabili anche mentre il ragionamento interno del modello evolve.
2. Canale del Pensiero ($T_s$): Rappresentato come un Typed Cognitive Tensor (TCT), questo canale contiene le ipotesi del modello, i piani, i bisogni non risolti e le conclusioni intermedie. A differenza di un blocco note testuale, il TCT è una struttura continua e localmente diffusa, aumentata da:
   • Distribuzioni di Ruolo Soft: Le celle possono rappresentare simultaneamente ipotesi, bisogni o percezioni.
   • Ancore Simboliche: Collegamenti sparsi ed esatti a oggetti esterni (percorsi di file, ID, numeri) per prevenire la deriva semantica.
   • Incertezza e Ciclo di Vita: Livelli di rumore per cella ($\tau$) e stati di ciclo di vita (attivo, in attesa, stabile) che controllano l'editabilità.
3. Canale di Visualizzazione ($Y_s$): La tela dei token in evoluzione che converge alla risposta visibile all'utente. Viene rivista in base ai cambiamenti nel canale del pensiero e alle informazioni in entrata.

2.2 Legami Percettivi Persistenti

Invece di una coppia transitoria richiesta–risposta, il CID stabilisce un legame percettivo persistente ($b_j$) tra un bisogno cognitivo e una fonte esterna.

• Ciclo di Vita: Un legame viene creato quando emerge un "bisogno di informazione latente" nel TCT, anche prima che una chiamata testuale o JSON venga completamente serializzata.
• Operazioni:
  • Refresh Esterno: Se la fonte sta cambiando (es. un feed in tempo reale), il runtime recupera i nuovi dati.
  • Refresh Cognitivo: Se la fonte è statica, il runtime riproietta il valore memorizzato nella cache negli stati evolutivi del pensiero e della visualizzazione senza rieseguire lo strumento esterno.
• Efficienza: Ciò consente al modello di mantenere l'influenza cognitiva di un fatto attraverso molti passi di denoising senza incorrere in costi ripetuti di I/O.

2.3 Runtime Asincrono e Assimilazione Percettiva

Il runtime CID opera in modo asincrono. Mentre le letture esterne sono in corso, il modello continua a denoisare le regioni del canale del pensiero e della visualizzazione che non dipendono dalle informazioni mancanti.

• Assimilazione Percettiva: Quando arriva un risultato, esso viene proiettato nello stato corrente ($P^s_j$). Il modello utilizza l'attenzione incrociata (cross-attention) a porta (gated) per integrare questa evidenza.
• Riapertura Locale: Il sistema stima il conflitto tra le nuove evidenze e le celle esistenti. Se una nuova evidenza contraddice un'ipotesi, il livello di diffusione locale ($\tau$) per quella specifica cella viene aumentato (riapertura) per consentire la revisione, mentre il contenuto non correlato e stabile rimane intatto. Ciò evita la revisione "distruttiva" dell'intera sequenza.

2.4 Obiettivi di Addestramento

Il CID richiede un modello addestrato per gestire la semantica dei canali e gli eventi asincroni. L'obiettivo di addestramento ($L$) include termini per:

• La diffusione del pensiero e della visualizzazione.
• Esposizione dell'Intento: Addestrare il modello a esporre i bisogni informativi nel TCT prima che siano completamente serializzati.
• Legame e Refresh: Apprendere quando avviare, aggiornare o ritirare i legami.
• Assimilazione: Imparare a rivedere specifiche celle in base alle nuove evidenze preservando al contempo il contenuto non correlato.
• Grounding: Assicurare che le ancore simboliche rimangano connesse a valori esterni esatti.

3. Contributi Chiave

Il documento formalizza il disallineamento tra i protocolli di strumenti basati su turni e la generazione di diffusione continuamente rivedibile. I suoi contributi specifici sono:

1. Definizione dell'Architettura: Un'architettura a tre canali (Fatti, Pensiero, Visualizzazione) che separa i valori controllati esternamente dal cognizione mutabile.
2. Typed Cognitive Tensor (TCT): Una rappresentazione strutturata per il pensiero che combina contenuto semantico continuo con ancore simboliche, distribuzioni di ruolo e controlli di editabilità per cella.
3. Legami Percettivi Persistenti: Un meccanismo per distinguere tra il ripetuto refresh cognitivo (riproiezione dei dati in cache) e l'esecuzione esterna ripetuta, supportando sia fonti statiche che dinamiche.
4. Specifica del Runtime: Un runtime asincrono che sovrappone la latenza degli strumenti al calcolo del modello, gestisce i cicli di vita dei legami e consente la riapertura locale selettiva dello stato di diffusione.
5. Protocollo di Valutazione: Un framework definito per valutare la qualità del compito e l'efficienza end-to-end, concentrandosi specificamente sul "tempo di anticipo dell'intento" (quanto presto viene rilevato un bisogno) e sul "ritardo di assimilazione" (quanto velocemente viene integrata l'evidenza).

4. Risultati e Asserzioni

Il documento non presenta rivendicazioni empiriche sulle prestazioni. È una proposta teorica e architettonica.

• Stato Attuale: Il documento si concentra su strumenti di sola lettura (recupero, lettura file, calcolatrici) ed esclude esplicitamente strumenti con effetti collaterali (scritture, cancellazioni) per isolare il problema centrale della percezione asincrona.
• Criteri di Falsificazione: L'autore definisce criteri specifici secondo i quali il CID sarebbe considerato non supportato, come se i legami latenti non precedessero le chiamate esplicite, se la revisione post-arrivo distruggesse più stato corretto di quanto ne riparasse, o se un baseline autoregressivo asincrono raggiungesse una qualità simile con una complessità inferiore.
• Piano di Valutazione: Il documento delinea un protocollo di valutazione rigoroso che coinvolge famiglie di compiti come "Copiazione e Riferimento Statico", "Tracciamento dello Stato Dinamico" e "Evidenza in Streaming" per testare l'ipotesi che l'interazione nativa della diffusione migliori l'efficienza e l'accuratezza.

5. Significato

Il significato di questo lavoro risiede nel tentativo di allineare l'interfaccia di interazione con gli strumenti con la dinamica intrinseca della generazione per diffusione.

• Cambio di Paradigma: Si passa dal ciclo "chiama–aspetta–osserva", che è un retaggio della generazione autoregressiva, verso un modello di "percezione continua" dove l'evidenza esterna può rivedere lo stato del modello in qualsiasi momento durante la traiettoria di denoising.
• Efficienza: Abilitando il "refresh cognitivo" senza il "refresh esterno", il CID mira a ridurre le chiamate ridondanti agli strumenti e a sovrapporre la latenza degli strumenti con l'utile computazione del modello.
• Correttezza: Permettendo la riapertura selettiva di specifiche regioni cognitive, il CID mira a migliorare la gestione delle evidenze contrastanti e la preservazione di un ragionamento stabile e corretto, aggiornando solo le parti necessarie dell'output.

Il documento posiziona il CID come un'evoluzione necessaria affinché i dLLM possano funzionare efficacemente come agenti, sostenendo che senza un'interfaccia nativa della diffusione, i vantaggi unici del raffinamento parallelo e della rivedibilità rimangono sottoutilizzati.