Set-Based Value Function Characterization and Neural Approximation of Stabilization Domains for Input-Constrained Discrete-Time Systems

Título: Caracterização de Funções de Valor Baseada em Conjuntos e Aproximação Neural de Domínios de Estabilização para Sistemas de Tempo Discreto com Restrições de Entrada

1. Problema e Motivação

O artigo aborda um desafio fundamental na teoria de controle: a estimativa precisa do Domínio de Estabilização (DOS) para sistemas não lineares de tempo discreto sujeitos a restrições de entrada.

• O Desafio: O DOS é o conjunto de todas as condições iniciais que podem ser levadas assintoticamente a um conjunto alvo (geralmente um ponto de equilíbrio ou um conjunto invariante controlado - CIS) através de uma lei de controle adequada.
• Limitações Atuais:
  • Métodos tradicionais (como funções de Lyapunov de controle ou linearização) frequentemente fornecem estimativas conservadoras (subconjuntos menores que o DOS real).
  • Abordagens baseadas em programação dinâmica (equações de Bellman) garantem o DOS exato, mas sofrem da "maldição da dimensionalidade" devido à necessidade de discretização do espaço de estados.
  • Métodos de aprendizado de máquina recentes (redes neurais) muitas vezes não garantem a maximalidade da estimativa do DOS ou exigem verificação formal complexa e custosa.
• Objetivo: Desenvolver uma estrutura que combine as garantias teóricas das funções de valor com a escalabilidade de abordagens baseadas em aprendizado, permitindo a estimativa do DOS e a síntese de controladores estáveis para sistemas com restrições de entrada.

2. Metodologia Proposta

Os autores propõem um novo framework que integra três componentes principais:

A. Funções de Valor Baseadas em Conjuntos (Set-Based Value Functions)

Em vez de definir funções de valor apenas sobre pontos no espaço de estados, os autores definem funções de valor sobre espaços métricos de conjuntos compactos ($K(\mathbb{R}^n)$).

• Definição: Seja $A$ um conjunto invariante controlado. Define-se uma função de custo $\alpha(x)$ baseada na distância de $x$ a $A$.
• Função de Valor $V(X)$: É definida como a soma infinita dos custos mínimos sobre o conjunto de estados alcançáveis $R(X, k)$ a partir de um conjunto inicial $X$:
  $$V(X) = \sum_{k=0}^{\infty} \Psi(R(X, k))$$
  onde $\Psi(X) = \inf_{y \in X} \alpha(y)$.
• Caracterização do DOS: O teorema principal estabelece que o DOS é exatamente o conjunto de pontos $x$ para os quais $V(\{x\}) < \infty$ (ou equivalentemente, $W(\{x\}) < 1$, onde $W = 1 - e^{-V}$).
• Equações de Bellman-Zubov: Derivam-se equações funcionais do tipo Bellman para essas funções de valor. Crucialmente, essas equações evitam operadores de ínfimo explícitos sobre os controles em sua forma final, facilitando a incorporação em redes neurais.

B. Aproximação por Redes Neurais (Physics-Informed Learning)

Para superar a complexidade computacional, o framework utiliza Redes Neurais (NN) Informadas pela Física (PINNs).

• Aproximação de Conjuntos Alcançáveis: Como calcular conjuntos alcançáveis exatos é difícil, utiliza-se uma aproximação baseada em trajetórias amostradas ($\tilde{R}$) para estimar o valor da função em um horizonte finito.
• Função de Perda (Loss Function): O treinamento da rede neural minimiza uma perda composta:
  1. Perda Orientada a Dados ($L_d$): Penaliza a diferença entre a saída da rede e a aproximação de horizonte finito da função de valor.
  2. Perda Informada pela Física ($L_{pi}$): Penaliza o resíduo da equação de Bellman-Zubov derivada. Isso força a rede a aprender uma função que satisfaça a dinâmica do sistema e as condições de estabilidade, não apenas ajustando-se a dados.
• Mapeamento de Conjuntos: Assume-se que conjuntos unitários $\{x\}$ e seus conjuntos de imagem $F(\{x\})$ podem ser mapeados para representações vetoriais de dimensão finita (ex: hiper-retângulos), permitindo que a rede neural processe a estrutura de conjuntos.

C. Síntese de Controlador

Uma vez treinada a rede neural $\omega_{nn}(x) \approx W(\{x\})$, um controlador de realimentação de estado é sintetizado.

• O controlador busca minimizar a função de valor aprendida a cada passo, garantindo que a trajetória permaneça dentro do domínio estimado e converja para o alvo.
• O método combina uma lei de controle linear local (válida perto da origem) com uma busca em grade para encontrar entradas que reduzam o valor da função de valor neural em regiões mais distantes.

3. Contribuições Chave

1. Caracterização Teórica Rigorosa: Introdução de funções de valor definidas em espaços de conjuntos compactos que caracterizam o DOS de forma exata para sistemas com restrições, sem a necessidade de discretização espacial explícita.
2. Equações Funcionais Sem Ínfimo Explícito: Derivação de equações de Bellman-Zubov que eliminam a necessidade de resolver problemas de otimização não convexos em tempo real durante o treinamento da rede neural.
3. Framework de Aprendizado Híbrido: Desenvolvimento de um método de PINN que incorpora as equações dinâmicas e de estabilidade diretamente na função de perda, melhorando a qualidade da aproximação em comparação com métodos puramente baseados em dados.
4. Síntese de Controladores Garantidos: Demonstração de como extrair controladores estáveis a partir da função de valor aprendida, validando a utilidade prática da abordagem.

4. Resultados Numéricos

O framework foi testado em dois exemplos acadêmicos (um sistema 2D e um 3D) com dinâmicas não lineares e restrições de entrada.

• Comparação: Os resultados foram comparados com estimativas baseadas em funções de Lyapunov quadráticas (método padrão).
• Desempenho:
  • A rede neural produziu estimativas do DOS significativamente menos conservadoras (maiores) do que as abordagens quadráticas tradicionais.
  • As estimativas obtidas aproximaram-se muito do domínio teórico (definido pelo subnível 1 da função de valor), com valores de corte $\omega_2 \approx 0.97$.
  • As trajetórias de estado simuladas confirmaram a estabilidade assintótica e o cumprimento das restrições de entrada dentro do domínio estimado.
• Eficiência: O tempo de treinamento foi razoável (aprox. 5 min para o sistema 2D e 15 min para o 3D em hardware padrão), demonstrando viabilidade computacional.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na interseção entre teoria de controle não linear e aprendizado de máquina.

• Impacto Teórico: Resolve a dificuldade de aplicar métodos de funções de valor (que são teoricamente ideais para DOS) em sistemas com restrições, transformando um problema de otimização complexa em um problema de aprendizado de equações funcionais.
• Impacto Prático: Oferece uma ferramenta prática para engenheiros projetarem controladores para sistemas complexos com restrições, obtendo domínios de atração maiores e mais seguros do que os métodos convencionais.
• Trabalho Futuro: Os autores planejam integrar ferramentas de verificação formal (como $\alpha,\beta$-CROWN e solvers SMT) para fornecer garantias rigorosas de correção para as redes neurais aprendidas e estender o método para sistemas com restrições de estado e perturbações.

Em resumo, o artigo propõe uma ponte robusta entre a teoria clássica de estabilidade (Zubov/Bellman) e técnicas modernas de deep learning, resultando em uma metodologia eficaz para a análise e controle de sistemas não lineares restritos.