Resumo Técnico: Inferência Variacional Entrópica Recursiva para Modelos de Espaço de Estados Não Lineares

Declaração do Problema

O artigo aborda o desafio da estimativa de estado precisa em modelos de espaço de estados (SSMs) não lineares e não gaussianos. Embora a inferência bayesiana forneça um arcabouço principado para tais problemas, soluções recursivas exatas (como o suavizador de Rauch–Tung–Striebel) são geralmente indisponíveis para sistemas não conjugados e não lineares. Métodos aproximados existentes, como o Monte Carlo sequencial, sofrem com alta complexidade computacional e baixa escalabilidade em espaços de alta dimensão. Por outro lado, muitas abordagens de inferência variacional (VI) e propagação de expectativa (EP) para SSMs estendem esses arcabouços de maneira ad hoc, frequentemente incorporando princípios variacionais ao template de Rauch–Tung–Striebel em vez de derivá-los de um problema de otimização dinâmica rigoroso. Isso limita sua capacidade de aproveitar plenamente abordagens sistemáticas de estimativa de estado.

Metodologia

Os autores propõem um arcabouço unificado que trata a inferência bayesiana aproximada em SSMs como um problema de otimização dinâmica iterativo sobre o espaço de distribuições candidatas. A metodologia central baseia-se na Otimização Variacional Proximal Entrópica.

1. Formulação Variacional Lagrangiana

O problema de inferência é formulado como uma sequência de atualizações de região de confiança entrópica. Em vez de maximizar diretamente o Limite Inferior de Evidência (ELBO), o método resolve um problema de otimização restrito onde cada atualização está sujeita a uma restrição de divergência de Kullback–Leibler (KL) em relação à iteração anterior. Isso introduz um mecanismo de "amortecimento" controlado por um multiplicador de Lagrange (ou parâmetro de tamanho de passo $\beta$).

• Otimização Dinâmica: O problema é decomposto usando fatorizações de Markov para frente e para trás do posterior variacional.
• Distribuições Inclinadas (Tilted Distributions): A solução para a otimização restrita resulta em distribuições "inclinadas", que são interpolações geométricas entre o posterior exato e a iteração anterior. O parâmetro de interpolação $\beta$ é determinado pela minimização de um objetivo dual relacionado à divergência de Rényi.

2. Algoritmos Recursivos via Aproximações de Gauss–Markov

Para tornar as recursões abstratas tratáveis, os autores restringem a família variacional a aproximações de Gauss–Markov. Isso leva a três algoritmos recursivos distintos:

• Suavizador Variacional Entrópico para Frente (FEVS - Forward Entropic Variational Smoother): Utiliza uma fatorização de Markov para frente, realizando uma recursão para trás para acumular potenciais de medição futuros, seguida por uma propagação para frente das marginais.
• Suavizador Entrópico Variacional para Trás (REVS - Reverse Entropic Variational Smoother): Utiliza uma fatorização de Markov para trás, realizando uma recursão para frente para potenciais de medição passados, seguida por uma propagação para trás.
• Suavizador Entrópico Variacional Híbrido (HEVS - Hybrid Entropic Variational Smoother): Combina ambas as recursões direcionais, permitindo que as marginais intermediárias recebam informações de ambas as direções temporais simultaneamente.

3. Realização Prática

Como os potenciais exatos em modelos não lineares são intratáveis, o arcabouço emprega duas estratégias para aproximar as densidades de log dos modelos de dinâmica e de medição:

• Regressão Linear Estatística Generalizada (GSLR): Constrói modelos substitutos afim-gaussianos através do ajuste de momentos condicionais.
• Correspondência de Momentos de Fourier–Hermite: Utiliza expansões de série de Fourier–Hermite de segunda ordem para capturar informações de curvatura de ordem superior sem assumir ruído gaussiano aditivo.

Essas aproximações permitem que as funções de potencial e os normalizadores de log sejam representados como formas quadráticas, possibilitando atualizações recursivas em forma fechada para os parâmetros de média e covariância.

4. Tamanho de Passo Adaptativo

Um componente crítico do método é a seleção adaptativa do parâmetro de amortecimento $\beta$. O artigo propõe o uso de um método de bisseção no multiplicador de Lagrange para satisfazer a restrição de região de confiança KL ($\varepsilon$). Isso garante que as atualizações permaneçam dentro de uma região onde as aproximações locais são válidas, fornecendo um mecanismo principado de controle de tamanho de passo que evita a divergência em regimes altamente não lineares.

Principais Contribuições

1. Formulação de Otimização Dinâmica: O artigo introduz um arcabouço variacional principado que formula a inferência como uma sequência de atualizações de região de confiança entrópica, indo além de extensões ad hoc de suavizadores existentes.
2. Algoritmos Recursivos Unificados: Deriva uma família de esquemas de recursão para frente e para trás (FEVS, REVS, HEVS) cuja estrutura é inteiramente determinada pela fatoração do posterior variacional.
3. Tamanho de Passo Adaptativo: Os autores demonstram que o tamanho de passo corresponde a um multiplicador de Lagrange determinado por um objetivo de divergência de Rényi dual, permitindo a aplicação automática de regiões de confiança.
4. Generalização de Suavizadores Clássicos: A abordagem generaliza suavizadores lineares-gaussianos clássicos (como o RTS) e conecta-os a técnicas modernas de inferência aproximada.
5. Aproximações Flexíveis: O arcabouço suporta realizações práticas usando GSLR e expansões de Fourier–Hermite, facilitando a inferência eficiente em modelos não lineares e não gaussianos.

Resultados

O artigo fornece avaliações numéricas em três benchmarks:

• Modelos Lineares-Gaussianos: Os algoritmos mostram convergir para a solução exata de Rauch–Tung–Striebel (RTS), validando a correção das recursões. O parâmetro de amortecimento $\beta$ controla a velocidade de convergência, com raios de região de confiança maiores permitindo uma convergência mais rápida.
• Volatilidade Estocástica (Não Linear/Não Gaussiana): Em um modelo onde a observação depende da variância do estado, a variante Fourier–Hermite (FH) supera significativamente a variante Generalized Statistical Linear Regression (GSLR). A abordagem GSLR falha em capturar a informação na variância (colapsando para o prior), enquanto a variante FH rastreia com sucesso a log-volatilidade latente.
• Problema do Sensor Cúbico: Em um cenário com uma não linearidade de medição cúbica, os suavizadores entrópicos propostos (HEVS) exibem convergência estável do Limite Inferior de Evidência (ELBO). Em contraste, um baseline de suavizador de linearização de posterior iterada (IPLS) não amortecido falha em convergir, oscilando entre soluções.

Significância e Alegações

O artigo afirma fornecer uma ponte principada entre inferência variacional, otimização proximal e inferência bayesiana recursiva. Ao enquadrar a inferência como um problema de otimização dinâmica com regularização entrópica, o método oferece:

• Estabilidade: A restrição de região de confiança baseada em KL regulariza as atualizações, reduzindo a sensibilidade a erros de aproximação local e prevenindo a divergência em configurações não lineares.
• Escalabilidade: Os algoritmos resultantes possuem complexidade de tempo linear em relação ao horizonte de tempo $T$, tornando-os adequados para sequências longas.
• Fundamentação Teórica: Diferente das extensões heurísticas do suavizador RTS, as recursões propostas surgem como condições de otimalidade de um problema variacional bem posto, oferecendo um caminho mais claro para análise de convergência e extensão para famílias variacionais mais ricas.

Os autores posicionam este trabalho como uma generalização dos métodos existentes de linearização de posterior e propagação de expectativa, resolvendo questões de controle de tamanho de passo e o tratamento de ruído não aditivo através da introdução de restrições proximais entrópicas e correspondência de momentos de ordem superior.