Digital Twins: McKean-Pontryagin Control for Partially Observed Physical Twins

1. Formulação do Problema

O artigo aborda o desafio do controle ótimo para sistemas físicos parcialmente observados (gêmeos físicos) dentro do paradigma de Gêmeo Digital.

• O Cenário: Um sistema físico evolui de acordo com uma equação diferencial estocástica (EDE) controlada. No entanto, seu estado verdadeiro ($X^\dagger_t$) é desconhecido e só pode ser inferido por meio de medições ruidosas, indiretas e em tempo discreto ($Y^\dagger_{t_n}$).
• O Objetivo: Derivar leis de controle ($U_t$) que minimizem uma função de custo descontada de horizonte infinito. Crucialmente, o controle deve depender do estado de crença (a distribuição de probabilidade condicional $\pi_t$ do estado dado as observações), e não do estado verdadeiro em si.
• O Desafio:
  • Métodos padrão de controle ótimo (como o princípio de Bellman ou o Princípio do Máximo de Pontryagin) assumem observabilidade total.
  • Para sistemas parcialmente observados, o problema leva teoricamente à equação de Hamilton-Jacobi-Bellman (HJB) no espaço de distribuições de probabilidade ou a Equações Diferenciais Parciais Estocásticas Forward-Backward (FB-SPDEs).
  • Essas equações são computacionalmente intratáveis para sistemas de alta dimensão, e algoritmos escaláveis estão atualmente indisponíveis.
  • Aproximações existentes frequentemente dependem do princípio de separação (estimando o estado primeiro e, em seguida, aplicando o controle ótimo para o caso totalmente observado), o que é subótimo para sistemas não lineares.

2. Metodologia

Os autores propõem um novo quadro que combina Assimilação de Dados (especificamente o Filtro de Kalman de Ensemble) com uma abordagem McKean–Pontryagin para controle ótimo estocástico. Isso resulta em um sistema de partículas interagentes representando tanto o estado quanto o co-estado (variável adjunta).

A. Componentes Principais

1. Filtro de Kalman de Ensemble (EnKF): Usado para atualizar a distribuição de estado do gêmeo digital com base nas medições do gêmeo físico recebidas. O artigo utiliza a formulação de campo médio do EnKF (Filtro de Kalman–Bucy de Ensemble para tempo contínuo, EnKF para tempo discreto) para aproximar a distribuição de filtragem $\pi_t$.
2. Formulação McKean–Pontryagin: Em vez de resolver a equação HJB, os autores utilizam uma reformulação do Princípio do Mínimo de Pontryagin para problemas de horizonte infinito. Isso envolve:
   • Estados ($X_t$): Evoluindo para frente no tempo.
   • Co-estados ($P_t$): Também evoluindo para frente no tempo (diferentemente da evolução retroativa no controle estocástico clássico), ligados ao gradiente da função de valor.
   • Interação de Campo Médio: A evolução de partículas individuais depende da distribuição empírica de todo o ensemble.

B. O Algoritmo Proposto

O método constrói um Gêmeo Digital como um sistema de $M$ partículas interagentes $(X^{(i)}_t, P^{(i)}_t)$:

1. Evolução do Estado: As partículas de estado evoluem de acordo com a dinâmica física, aumentadas por um termo de controle e um termo de correção de assimilação de dados (impulsionado pela diferença entre medições observadas e previstas).
2. Evolução do Co-estado: As partículas de co-estado evoluem de acordo com uma equação forward derivada da densidade do Hamiltoniano. Esta equação inclui termos para o fator de desconto, o gradiente do custo de funcionamento e termos de interação derivados da aproximação de Ponte de Schrödinger.
3. Lei de Controle: O controle $U^*_t$ é computado como um controle em malha aberta baseado na média do ensemble dos co-estados:
   $$U^*_t = -\frac{1}{M} \sum_{i=1}^M G(X^{(i)}_t)^T P^{(i)}_t$$
   Este controle é derivado simultaneamente com a estimativa de estado, evitando o princípio de separação estrito.
4. Aproximações:
   • Regressão por Kernel Nadaraya-Watson: Usada para aproximar a função $\psi_t(x)$ (ligando estados a co-estados) a partir do ensemble de partículas.
   • Ponte de Schrödinger: Usada para aproximar os termos de deriva decorrentes do gerador do processo de difusão.
   • Localização de Covariância: Aplicada para sistemas de alta dimensão (onde $M \ll dx$) para prevenir matrizes de covariância singulares e reduzir o custo computacional.

3. Contribuições Principais

• Quadro Unificado: O artigo preenche a lacuna entre assimilação de dados (EnKF) e controle ótimo de horizonte infinito (McKean–Pontryagin) para lidar com sistemas parcialmente observados.
• Cálculo Online: O método proposto permite o cálculo online simultâneo da distribuição de filtragem e da lei de controle. Ambos evoluem para frente no tempo, tornando a abordagem adequada para aplicações de gêmeo digital em tempo real.
• Implementação Baseada em Partículas: A derivação leva a um sistema de partículas interagentes tratável que pode ser implementado numericamente sem resolver EDPs de alta dimensão.
• Extensão Teórica: Estende a abordagem McKean–Pontryagin (anteriormente para sistemas totalmente observados) para o cenário parcialmente observado, modificando o termo de deriva na equação do co-estado para contabilizar a correção de assimilação de dados.

4. Resultados Numéricos

Os autores validam a metodologia em três sistemas distintos:

1. Sistema Lorenz-63 Controlado:

   • Tarefa: Restringir a trajetória caótica ao domínio positivo de $x$ ($x_t \geq 0$).
   • Resultados: O método estabilizou com sucesso o sistema. Com um limite de controle mais alto ($|U| \leq 100$), a natureza caótica foi eliminada e o sistema estabeleceu-se em uma órbita quase periódica. Com um limite mais baixo ($|U| \leq 50$), ocorreram algumas transições para valores negativos, mas o sistema permaneceu limitado.
   • Robustez: A abordagem funcionou efetivamente com um tamanho de ensemble pequeno ($M=4$), demonstrando robustez computacional.

2. Pêndulo Invertido:

   • Tarefa: Estabilizar o pêndulo no equilíbrio vertical instável ($\theta = \pi$) partindo da posição estável para baixo ($\theta = 0$).
   • Resultados: O gêmeo digital conduziu com sucesso o sistema do equilíbrio estável para o instável e manteve-o lá, mesmo com apenas $M=3$ partículas. O erro de estimativa para ângulo e velocidade permaneceu baixo.

3. Sistema Lorenz-96 Controlado (Alta Dimensão):

   • Tarefa: Estabilizar um sistema caótico de 40 dimensões para o estado zero ($x=0$).
   • Resultados: O método suprimiu efetivamente a dinâmica caótica, levando a norma de energia a zero. Isso demonstrou a escalabilidade da abordagem para dimensões mais altas quando combinada com técnicas de localização e inflação de covariância.

5. Significado e Conclusão

• Aplicabilidade em Tempo Real: Ao evitar a solução de SPDEs retroativas ou equações HJB de alta dimensão, este método oferece um caminho computacionalmente viável para o controle em tempo real de sistemas físicos complexos e parcialmente observados.
• Além do Princípio de Separação: Diferentemente das abordagens tradicionais que separam estimativa e controle (o que é subótimo para sistemas não lineares), este método integra-os, permitindo que a lei de controle se adapte dinamicamente à incerteza em evolução (estado de crença).
• Paradigma de Gêmeo Digital: O trabalho fornece um blueprint matemático e computacional concreto para gêmeos digitais "ativos" que não apenas imitam um sistema físico, mas otimizam ativamente seu comportamento em tempo real com base em dados de sensores ruidosos.
• Trabalho Futuro: Os autores observam que, embora os resultados numéricos sejam promissores, uma investigação matemática rigorosa sobre a convergência e os limites de erro desta aproximação permanece um problema em aberto. Extensões para sistemas de dimensão ainda mais alta exigem refinamento adicional das estratégias de localização.

Em resumo, Opper e Reich apresentam uma estratégia de controle poderosa e baseada em partículas que unifica assimilação de dados e controle ótimo, oferecendo uma solução prática para o controle de sistemas estocásticos parcialmente observados na era dos gêmeos digitais.