State-Dependent Observation Noise Reintroduces Epistemic Value in Linear-Gaussian Active Inference

Sintesi Tecnica: Il rumore di osservazione dipendente dallo stato reintroduce il valore epistemico nell'inferenza attiva lineare-gaussiana

Enunciato del problema
La letteratura recente (specificamente Koudahl, Kouw e de Vries [1]) ha stabilito che nei modelli a spazio di stato lineare-gaussiano sotto inferenza attiva, la spinta epistemica — l'incentivo ad agire per acquisire informazioni — è assente "in qualsiasi circostanza". In questi modelli standard, il termine epistemico dell'Energia Libera Attesa (EFE) diventa costante indipendentemente dalla politica scelta. Di conseguenza, l'agente si comporta in modo indistinguibile da un filtro di Kalman accoppiato a un controllore KL: cerca esiti preferiti ma non ha alcuna motivazione intrinseca per ridurre l'incertezza. Le rotte note per ripristinare questa spinta coinvolgono il controllo moltiplicativo (dove le azioni alterano la dinamica delle transizioni) o la riespressione dell'obiettivo tramite grafi a fattori vincolati. Tuttavia, il "lato dell'osservazione" di questo confine — specificamente, se la modifica del solo modello di osservazione potesse ripristinare il valore epistemico — rimaneva inesplorato.

Metodologia e Modello
Il documento investiga una minima deviazione dal regime lineare-gaussiano standard: il rumore di osservazione dipendente dallo stato. Gli autori propongono un modello generativo in cui:

1. Dinamiche: Lo stato evolve linearmente con controllo additivo ($x_{k+1} = Ax_k + Bu_k + w_k$).
2. Osservazioni: La mappa di osservazione è lineare ($o_k = Cx_k + v_k$), ma la covarianza del rumore di osservazione $R$ è una funzione dello stato, $R(x_k)$.
3. Regola di Inferenza: L'agente impiega un filtro gaussiano del primo ordine in cui la covarianza del rumore è valutata sulla media predetta, $R_k = R(\mu_k^-)$.

Il meccanismo centrale risiede nel fatto che, mentre il controllo additivo sposta la media dello stato, non sposta la covarianza dello stato nei modelli standard. Tuttavia, se $R$ dipende dallo stato, l'azione $u_k$ sposta la media predetta $\mu_k^-$, che a sua volta cambia il valore di $R$ utilizzato nell'aggiornamento. Questo accoppiamento rende la covarianza a posteriori (e quindi il guadagno di Kalman) dipendente dall'azione intrapresa.

Gli autori definiscono due concetti di "appiattimento" (riduzione dell'agente a un filtro lineare-gaussiano fisso):

• Riduzione Lineare-Gaussiana Fissa: Una sequenza di covarianze di rumore indipendente dalla politica che riproduce le credenze dell'agente per tutte le sequenze di osservazione.
• Riduzione della Pianificazione: Una sequenza indipendente dalla politica che riproduce le covarianze di pianificazione open-loop dell'agente.

Contributi Chiave

1. Teorema di Non-Riducibilità: Il documento dimostra che accoppiando il rumore dipendente dallo stato $R(x)$ a un centro latente controllabile, l'agente impedisce l'ammissione di qualsiasi riduzione lineare-gaussiana fissa. Nessuna sequenza pre-specificata di covarianze di rumore può riprodurre le credenze dell'agente perché il valore di rumore richiesto in ogni passaggio è unicamente "fissato" dalla media predetta dipendente dalla politica.
2. Ripristino del Valore Epistemico: Sotto deboli condizioni di rango e non degenerazione (specificamente, che $R$ sia non costante sull'insieme raggiungibile delle medie predette e che tale variazione sia visibile all'funzionale epistemico), il valore epistemico per passo non è più costante tra le politiche. L'agente può distinguere tra le politiche in base al guadagno di informazione che promettono.
3. Ponte verso il Controllo Duale: Il risultato è inquadrato come un caso costruttivo minimale dell'effetto duale di Bar-Shalom–Tse. Il documento dimostra che il rumore di osservazione dipendente dallo stato è una fonte distinta dell'effetto duale (dove il controllo influenza la covarianza dell'errore condizionale), separata dalle mappe di osservazione non lineari o dalle dinamiche moltiplicative solitamente associate ad esso. Ciò stabilisce un'equivalenza: reintrodurre il valore epistemico in questo contesto gaussiano è matematicamente identico all'introdurre un effetto duale del secondo ordine.
4. Testimone Eseguibile ($cpomdp$): Gli autori forniscono una libreria open-source, cpomdp, che implementa la classe di modello. La libreria include un controllo strutturale che solleva un errore IncompatibleLinearizationError se un utente tenta di "appiattire" un modello con rumore dipendente dallo stato e accoppiamenti di spostamento della media. Questo funge da testimone di runtime del teorema, rifiutandosi di generare un filtro di Kalman fisso errato.

Risultati

• Teorici: Il Teorema 1 stabilisce che, sotto ipotesi di definitività positiva, pieno rango di osservazione e raggiungibilità della non-costanza di $R$, la covarianza a posteriori e il guadagno di Kalman diventano dipendenti dalla politica. Di conseguenza, il termine epistemico dell'EFE varia con la politica, permettendo alla curiosità di riemergere.
• Caso Scalare: Per osservazioni scalari, la condizione per un valore epistemico non costante è incondizionata; qualsiasi dipendenza dallo stato in $R(x)$ che sia raggiungibile dal controllo è sufficiente.
• Controesempio (Esempio 1): Gli autori identificano un caso "sul filo del rasoio" in dimensioni superiori in cui la covarianza a posteriori varia con la politica (effetto duale esiste), ma il valore epistemico (un determinante scalare) rimane costante perché le politiche muovono la covarianza lungo un insieme di livello della funzione determinante. Ciò evidenzia che il movimento della covarianza è necessario ma non sufficiente per il valore epistemico; il movimento deve essere "visibile" al funzionale epistemico.
• Empirici/Simulazione: Utilizzando un compito di T-maze continuo, gli autori dimostrano che un agente con rumore dipendente dallo stato (Agente B) esibisce un comportamento diverso rispetto a un agente collassato con rumore fisso (Agente A). L'Agente B si muove attivamente verso una posizione dove il sensore è più affidabile (il "segnale") per risolvere l'incertezza, mentre l'Agente A si impegna in una credenza a priori senza cercare informazioni. Il valore epistemico per l'Agente B varia con l'azione, mentre per l'Agente A rimane piatto.

Significatività e Rivendicazioni
Il documento sostiene di fornire una caratterizzazione precisa, dal lato dell'osservazione, della curiosità negli agenti gaussiani. La sua principale significatività risiede nell'identificare che la curiosità nel mondo lineare-gaussiano è una proprietà dell'eteroschedasticità raggiungibile, non una modifica della funzione obiettivo o delle dinamiche.

• "Agire è Prestare Attenzione": Il documento formalizza l'intuizione che agire per migliorare l'affidabilità del sensore (ad esempio, avvicinarsi per leggere un cartello) è il meccanismo che ripristina la spinta epistemica.
• Partenza Minima: Dimostra che il "collasso" dell'inferenza attiva al controllo KL è fragile; si rompe con l'aggiunta minima di rumore dipendente dallo stato, senza richiedere un controllo moltiplicativo o vincoli complessi dell'obiettivo.
• Modestia: Gli autori sono espliciti riguardo ai limiti. Il teorema si applica a modelli a dimensione finita e a catena singola (sebbene la dimostrazione utilizzi alberi accoppiati). La loro rivendicazione riguardo al valore epistemico richiede la condizione più forte (H3') che la variazione del rumore sia visibile al determinante; sebbene ciò sia automatico per le osservazioni scalari, non è garantito per tutti i casi ad alta dimensione. Inoltre, la regola di inferenza è un'approssimazione del primo ordine (valutando $R$ sulla media), e il documento non quantifica la distanza dalla distribuzione a posteriori esatta non-gaussiana.

In sintesi, il documento argomenta che il "termine epistemico" nell'inferenza attiva non è intrinsecamente rotto nei modelli lineari-gaussiani, ma è reso inerte dall'assunzione di rumore di osservazione costante. Consentendo al rumore di dipendere dallo stato, l'agente recupera la capacità di influenzare la qualità delle sue stime future, reintroducendo così l'effetto duale e la spinta verso la curiosità.