State-Dependent Observation Noise Reintroduces Epistemic Value in Linear-Gaussian Active Inference

Resumo Técnico: O Ruído de Observação Dependente do Estado Reintroduz o Valor Epistêmico na Inferência Ativa Gaussiana Linear

Definição do Problema
A literatura recente (especificamente Koudahl, Kouw e de Vries [1]) estabeleceu que, em modelos de espaço de estados gaussianos lineares sob inferência ativa, o drive epistêmico — o incentivo para agir a fim de obter informação — está ausente "sob quaisquer circunstâncias". Nesses modelos padrão, o termo epistêmico da Energia Livre Esperada (EFE) torna-se constante, independentemente da política escolhida. Consequentemente, o agente comporta-se de forma indistinguível de um filtro de Kalman acoplado a um controlador KL: ele busca resultados preferidos, mas não possui uma motivação intrínseca para reduzir a incerteza. As rotas conhecidas para restaurar esse drive envolvem controle multiplicativo (onde as ações alteram a dinâmica de transição) ou a reexpressão do objetivo via grafos de fatores restritos. No entanto, o "lado da observação" dessa fronteira — especificamente, se a modificação apenas do modelo de observação poderia restaurar o valor epistêmico — permanecia inexplorado.

Metodologia e Modelo
O artigo investiga um desvio mínimo do regime gaussiano linear padrão: ruído de observação dependente do estado. Os autores propõem um modelo generativo onde:

1. Dinâmica: O estado evolui linearmente com controle aditivo ($x_{k+1} = Ax_k + Bu_k + w_k$).
2. Observações: O mapa de observação é linear ($o_k = Cx_k + v_k$), mas a covariância do ruído de observação $R$ é uma função do estado, $R(x_k)$.
3. Regra de Inferência: O agente emprega um filtro Gaussiano de primeira ordem, onde a covariância do ruído é avaliada na média prevista, $R_k = R(\mu_k^-)$.

O mecanismo central baseia-se no fato de que, enquanto o controle aditivo desloca a média do estado, ele não desloca a covariância do estado nos modelos padrão. No entanto, se $R$ depende do estado, a ação $u_k$ desloca a média prevista $\mu_k^-$, que por sua vez altera o valor de $R$ utilizado na atualização. Esse acoplamento faz com que a covariância posterior (e, portanto, o ganho de Kalman) seja dependente da ação tomada.

Os autores definem dois conceitos de "achatamento" (reduzindo o agente a um filtro Gaussiano linear fixo):

• Redução Gaussiana Linear Fixa: Uma sequência de covariâncias de ruído independente de política que reproduz as crenças do agente para todas as sequências de observação.
• Redução de Planejamento: Uma sequência independente de política que reproduz as covariâncias de planejamento de malha aberta do agente.

Principais Contribuições

1. Teorema de Não-Redutibilidade: O artigo prova que, ao acoplar o ruído dependente do estado $R(x)$ a uma média latente controlável, o agente impede a admissão de qualquer redução Gaussiana linear fixa. Nenhuma sequência pré-especificada de covariâncias de ruído pode reproduzir as crenças do agente porque o valor de ruído necessário em qualquer etapa está unicamente "preso" pela média prevista dependente da política.
2. Restauração do Valor Epistêmico: Sob condições de posto e não-degenerescência suaves (especificamente, que $R$ não é constante no conjunto alcançável das médias previstas e que essa variação é visível para o funcional epistêmico), o valor epistêmico por etapa não é mais constante entre as políticas. O agente consegue distinguir entre políticas com base no ganho de informação que elas prometem.
3. Ponte para o Controle Dual: O resultado é enquadrado como um exemplo construtivo mínimo do efeito dual de Bar-Shalom–Tse. O artigo demonstra que o ruído de observação dependente do estado é uma fonte distinta do efeito dual (onde o controle influencia a covariância do erro condicional), separada dos mapas de observação não lineares ou das dinâmicas multiplicativas usualmente associadas a ele. Isso estabelece uma equivalência: reintroduzir o valor epistêmico neste cenário Gaussiano é matematicamente idêntico a introduzir um efeito dual de segunda ordem.
4. Testemunha Executável ($cpomdp$): Os autores fornecem uma biblioteca de código aberto, cpomdp, que implementa a classe de modelo. A biblioteca inclui uma verificação estrutural que levanta um erro IncompatibleLinearizationError se o usuário tentar "achatar" um modelo com ruído dependente do estado e acoplamentos de deslocamento de média. Isso serve como uma testemunha de tempo de execução do teorema, recusando-se a gerar um filtro de Kalman fixo incorreto.

Resultos

• Teóricos: O Teorema 1 estabelece que, sob suposições de definição positiva, posto completo de observação e não-constância alcançável de $R(x)$, a covariância posterior e o ganho de Kalman tornam-se dependentes da política. Consequentemente, o termo epistêmico da EFE varia com a política, permitindo que a curiosidade reemerja.
• Caso Escalar: Para observações escalares, a condição para valor epistêmico não constante é incondicional; qualquer dependência do estado em $R(x)$ que seja alcançável pelo controle é suficiente.
• Contra-exemplo (Exemplo 1): Os autores identificam um caso de "fio da navalha" em dimensões superiores onde a covariância posterior varia com a política (efeito dual existe), mas o valor epistêmico (um determinante escalar) permanece constante porque as políticas movem a covariância ao longo de um nível de contorno da função determinante. Isso destaca que o movimento da covariância é necessário, mas não suficiente para o valor epistêmico; o movimento deve ser "visível" para o funcional epistêmico.
• Empíricos/Simulação: Usando uma tarefa de labirinto (T-maze) contínua, os autores demonstram que um agente com ruído dependente do estado (Agente B) exibe comportamento diferente de um agente colapsado com ruído fixo (Agente A). O Agente B move-se ativamente para um local onde o sensor é mais confiável (a "pista") para resolver a incerteza, enquanto o Agente A compromete-se com uma crença a priori sem buscar informação. O valor epistêmico para o Agente B varia com a ação, enquanto permanece plano para o Agente A.

Significância e Alegações
O artigo afirma fornecer uma caracterização precisa, do lado da observação, da curiosidade em agentes Gaussianos. Sua principal significância reside em identificar que a curiosidade no mundo Gaussiano linear é uma propriedade da heterocedasticidade alcançável, e não uma modificação da função objetivo ou da dinâmica.

• "Agir é Atentar": O artigo formaliza a intuição de que agir para melhorar a confiabilidade do sensor (por exemplo, aproximar-se para ler uma placa) é o mecanismo que restaura o drive epistêmico.
• Desvio Mínimo: Mostra que o "colapso" da inferência ativa para o controle KL é frágil; ele quebra com a adição mínima de ruído dependente do estado, sem exigir controle multiplicativo ou restrições de objetivo complexas.
• Modéstia: Os autores são explícitos quanto às limitações. O teorema aplica-se a modelos de cadeia única e dimensão finita (embora a demonstração utilize árvores acopladas). A alegação sobre o valor epistêmico requer a condição mais forte (H3') de que a variação do ruído seja visível ao determinante; isso é automático para observações escalares, mas não é garantido para todos os casos de alta dimensão. Além disso, a regra de inferência é uma aproximação de primeira ordem (avaliando $R$ na média), e o artigo não quantifica a distância para a posterior não-Gaussiana exata.

Em suma, o artigo argumenta que o "termo epistêmico" na inferência ativa não está inerentemente quebrado em modelos Gaussianos lineares, mas é tornado inerte pela suposição de ruído de observação constante. Ao permitir que a covariância do ruído dependa do estado, o agente recupera a capacidade de influenciar a qualidade de suas estimativas futuras, reintroduzindo assim o efeito dual e o drive para a curiosidade.