Learning Adaptive Parameter Policies for Nonlinear Bayesian Filtering

Título: Aprendizado de Políticas Adaptativas de Parâmetros para Filtros Bayesianos Não Lineares

Autores: Ondřej Straka, Felipe Giraldo-Grueso e Renato Zanetti.
Instituições: Universidade da Boêmia Ocidental (República Tcheca) e Universidade do Texas em Austin (EUA).

1. O Problema

A estimação de estado em sistemas dinâmicos não lineares e estocásticos geralmente recorre a filtros bayesianos aproximados (como o Filtro de Kalman Estendido - EKF, Filtro de Kalman Unscented - UKF, Filtro de Integração Estocástica - SIF, ou Filtros de Partículas).

• Limitação Atual: Esses algoritmos dependem de parâmetros fixos ou ajustados heuristicamente (ex: número de partículas, parâmetros de escala no UKF, número de iterações no SIF).
• O Desafio: A precisão da aproximação numérica varia ao longo do tempo, dependendo do grau local de não linearidade e da incerteza do sistema. Parâmetros fixos podem levar a erros de aproximação que se propagam, causando inconsistência, divergência ou perda irreversível de informação (ex: colapso prematuro de posteriors multimodais).
• Abordagem Tradicional: A maioria dos métodos de aprendizado de máquina existentes ajusta parâmetros de forma "miópica" (focando apenas no erro imediato) ou mantém a estrutura do estimador rígida, sem considerar as consequências de longo prazo das atualizações da distribuição de probabilidade a posteriori.

2. Metodologia

O artigo propõe reformular a seleção de parâmetros do filtro como um Problema de Decisão Sequencial e resolvê-lo utilizando Aprendizado por Reforço (RL).

Formulação como Processo de Decisão de Markov (MDP)

• Estado de Informação ($\bar{s}_k$): Em vez de usar o estado real (inacessível), o estado de informação é construído a partir da representação interna do filtro (média preditiva, covariância, pontos sigma, etc.).
• Ação ($\theta_k$): Os parâmetros do filtro (ex: $\kappa$ no UKF, $N_{it}$ no SIF) são tratados como ações tomadas pelo agente.
• Política ($\pi$): Uma rede neural (Actor) mapeia o estado de informação e a medição atual para uma distribuição de probabilidade sobre os parâmetros possíveis.
• Função de Custo ($\bar{L}$): O custo não é apenas o erro de estimação imediato, mas inclui métricas de consistência (como o Quadrado da Inovação Normalizada - NIS) e, em alguns casos, custos computacionais.
• Objetivo Não Míope: Diferente da otimização clássica que minimiza o erro instantâneo, o objetivo é minimizar o custo acumulado esperado ao longo de um horizonte futuro, permitindo que o filtro "sacrifique" um pouco a precisão imediata para garantir estabilidade e consistência a longo prazo.

Algoritmo de Aprendizado

• Utiliza-se um algoritmo Actor-Critic on-policy com aprendizado de diferença temporal (TD(0)).
• Actor: Uma Rede Neural (MLP) que define a política estocástica de seleção de parâmetros.
• Critic: Outra Rede Neural que estima a função de valor (função de Bellman) para avaliar a qualidade da política.
• Treinamento: Ocorre offline através de simulações de Monte Carlo. Durante a operação online (inferência), a política aprendida seleciona o parâmetro ótimo greedy (ou amostrado) para cada passo de tempo.

3. Contribuições Principais

1. Formulação Teórica: Apresenta a adaptação de parâmetros em filtros bayesianos não lineares como um MDP parcialmente observável, onde os parâmetros influenciam não apenas o resultado imediato, mas também o estado futuro de informação.
2. Abordagem Não Míope: Demonstra que considerar o horizonte temporal (usando RL) supera abordagens que otimizam apenas o erro instantâneo, melhorando a consistência estatística do estimador.
3. Generalidade: A metodologia é genérica e aplicável a qualquer filtro bayesiano que utilize parâmetros ajustáveis (ex: UKF, SIF, Filtros de Partículas).
4. Validação Empírica: Demonstra a eficácia em dois cenários distintos:
   • UKF: Adaptação do parâmetro de escala ($\kappa$).
   • SIF: Adaptação do número de iterações ($N_{it}$), equilibrando precisão e custo computacional.

4. Resultados Experimentais

Os experimentos foram realizados em dois modelos de benchmark:

• Modelo de Crescimento Não Estacionário Univariate (UNGM): Um modelo escalar altamente não linear e com posterior multimodal.
• Modelo de Curva Coordenada (CTM): Um modelo 4D com medições de azimute (bearing).

Comparativos: O método proposto foi comparado com:

• Parâmetros fixos (padrão heurístico).
• Parâmetros fixos variados (análise de sensibilidade).
• Otimização míope (mesmo critério de custo, mas horizonte $\gamma=0$).
• Otimização ótima (seleção baseada em máxima verossimilhança, onde aplicável).

Desempenho:

• Consistência (ANEES): A política adaptativa aprendida alcançou consistentemente os melhores valores de ANEES (Average Normalized Estimation Error Squared), indicando que o filtro é estatisticamente consistente (a covariância estimada corresponde ao erro real).
• Precisão (RMSE): O método adaptativo obteve os menores erros quadráticos médios (RMSE) em comparação com as bases míope, ótima e padrão.
• Trade-off: No caso do SIF, a adaptação conseguiu equilibrar a precisão com o custo computacional (número de iterações), superando a otimização míope que tendia a escolher o número de iterações apenas para o passo atual, sem considerar o impacto cumulativo.

5. Significado e Conclusão

O trabalho estabelece um novo paradigma para a sintonização de filtros não lineares. Ao tratar a seleção de parâmetros como um problema de decisão sequencial e utilizar Aprendizado por Reforço, o método supera as limitações das abordagens estáticas ou miopes.

• Impacto Prático: Oferece uma maneira sistemática de implantar estimadores não lineares que são robustos a mudanças na dinâmica do sistema e na não linearidade, garantindo maior confiabilidade em aplicações críticas de engenharia aeroespacial e robótica.
• Conclusão: A adaptação de parâmetros baseada em RL não apenas melhora a precisão pontual, mas fundamentalmente melhora a consistência estatística e a estabilidade de longo prazo dos filtros bayesianos.