Resumo Técnico: Towards Tsallis Fully Probabilistic Design

Autores: Vyacheslav Kungurtsev e Giovanni Russo
Data: Novembro de 2025 (Preprint arXiv:2602.23892v1)

1. Problema e Contexto

O artigo aborda o Projeto Probabilístico Total (Fully Probabilistic Design - FPD), uma metodologia para tomada de decisão sequencial bayesiana e controle estocástico. No FPD padrão, o objetivo é encontrar uma política de controle (distribuição de probabilidade) que minimize uma função de custo composta por um termo de desempenho (custo aditivo) e uma medida de divergência em relação a uma densidade de referência.

• Limitação Atual: O FPD tradicional utiliza a Divergência de Kullback-Leibler (KL). A principal vantagem da KL é a sua propriedade aditiva e a regra da cadeia, o que permite uma indução reversa (backwards induction) direta e analítica para resolver o problema de otimização em múltiplos estágios.
• O Desafio: O artigo propõe substituir a Divergência de KL pela Divergência de Tsallis (TsD). A TsD é uma generalização que introduz um parâmetro de forma ($r$ ou $q$), permitindo modelar dependências de longo alcance e caudas pesadas (fat tails), o que é crucial para sistemas onde o risco de cauda é crítico.
• Obstáculo Matemático: A Divergência de Tsallis não é aditiva; ela satisfaz uma propriedade de subaditividade (devido à não-linearidade do logaritmo deformado). Consequentemente, a regra da cadeia padrão não se aplica, tornando impossível a aplicação direta da indução reversa analítica usada no caso da KL. O problema torna-se não separável de forma simples entre os estágios temporais.

2. Metodologia Proposta

Para contornar a impossibilidade de uma indução reversa direta, os autores desenvolvem uma abordagem baseada em iteração de ponto fixo.

2.1. Formulação do Problema

O problema é formalizado como a minimização da Divergência de Tsallis entre a densidade conjunta da trajetória do sistema ($p_{0:N}$) e uma referência ($q_{0:N}$), somada ao custo esperado aditivo.
$$\min \left\{ D_r(p_{0:N} || q_{0:N}) + \sum_{k=1}^N \mathbb{E}[c_k(X_k)] \right\}$$

2.2. Esquema de Iteração de Ponto Fixo

Como a solução fechada não é imediata, os autores propõem um esquema de duplo loop:

1. Operador de Indução Reversa Parcial ($T$):

   • Em vez de resolver todo o problema de uma vez, o método resolve o problema de otimização para um único estágio $k$ de cada vez, mantendo as políticas dos outros estágios fixos (baseados na iteração anterior ou recém-calculadas).
   • Isso é feito através de uma decomposição tipo Jacobi (ou Gauss-Seidel), onde se minimiza a densidade $p_k(u_k|x_{k-1})$ enquanto as densidades dos outros estágios são tratadas como constantes.
   • Devido à estrutura do problema de otimização com TsD (Lema 2.6), a solução para um único estágio fixo tem uma forma fechada envolvendo um exponencial deformado ($expr$).

2. Operador de Relaxação ($\tilde{T}_\omega$):

   • Para garantir a convergência, aplica-se uma relaxação linear entre a nova política calculada e a política anterior:
     $$p^{l+1} = \omega T(p^l) + (1-\omega)p^l$$
   • Onde $\omega$ é um parâmetro de relaxação ($0 < \omega \leq 1$).

3. Algoritmo:

   • Inicia-se com uma estimativa inicial (ex: a trajetória de referência).
   • Realiza-se um loop interno que vai de $k=N$ até $k=1$, atualizando a política de cada estágio usando a solução de ponto fixo parcial.
   • Realiza-se um loop externo que atualiza o conjunto completo de políticas até a convergência.

3. Contribuições Principais

O artigo apresenta três contribuições fundamentais:

1. Novo Framework FPD com Tsallis: Estende o FPD para o caso da Divergência de Tsallis, oferecendo maior flexibilidade na modelagem de incertezas (caudas pesadas, correlações de longo alcance) que a KL não captura. A derivação não pode ser obtida com as ferramentas da literatura existente de FPD.
2. Algoritmo Construtivo de Duplo Loop: Apresenta um algoritmo específico (indução reversa com relaxação de ponto fixo) para encontrar a política ótima. Diferente de trabalhos anteriores em Controle Preditivo (MPC) que usam inferência variacional para aproximar a solução, este método busca a solução exata do problema de programação dinâmica.
3. Garantias Teóricas de Existência e Convergência:
   • Prova a existência de uma solução para o problema sequencial completo.
   • Demonstra que o algoritmo converge para essa solução sob condições específicas, utilizando teoremas clássicos de análise funcional não linear.

4. Resultados Teóricos

Os autores estabelecem garantias de convergência baseadas em dois teoremas de ponto fixo:

• Contração (Teorema de Banach):

  • Se o parâmetro de relaxação $\omega$ for suficientemente pequeno (especificamente $\omega < 1/2$), o operador $\tilde{T}_\omega$ torna-se uma contração no espaço $L^1$.
  • Resultado: Garante a existência de um único ponto fixo e a convergência do algoritmo a partir de qualquer estimativa inicial.

• Compacidade (Teorema de Schauder):

  • Sob condições mais fortes (ex: $r > 3$ ou custos com crescimento quadrático), o operador $T$ (sem relaxação, $\omega=1$) pode ter um ponto fixo.
  • Resultado: Garante a existência de uma solução e a convergência se a estimativa inicial estiver suficientemente próxima da solução ótima.

• Solução Fechada por Estágio:

  • Para cada passo da indução reversa (fixando os outros estágios), a solução ótima para a densidade $p_k$ é dada por:
    $$p^*_k(u_k|x_{k-1}) \propto \text{expr}\left( -\bar{\rho}^{-1} J_k \right) q_k(u_k|x_{k-1})$$
    Onde $\text{expr}$ é o exponencial deformado de Tsallis e $J_k$ é uma função de custo efetiva que depende das estimativas das iterações anteriores.

5. Significado e Implicações

• Versatilidade na Tomada de Decisão: A introdução da Tsallis no FPD permite modelar sistemas onde eventos raros (risco de cauda) têm impacto desproporcional, algo comum em robótica, finanças e sistemas biológicos, mas difícil de tratar com a entropia de Shannon/KL.
• Rigor Matemático: Ao contrário de métodos aproximativos comuns em controle não linear, este trabalho fornece uma prova construtiva da existência da solução exata e um algoritmo que converge para ela.
• Ponte entre Teoria e Prática: O trabalho conecta conceitos de teoria da informação (entropia de Tsallis) com controle ótimo estocástico, oferecendo um novo paradigma para o design de controladores robustos.

Em suma, o artigo supera a barreira matemática da não-aditividade da Divergência de Tsallis através de uma reformulação do problema de otimização dinâmica como um problema de ponto fixo iterativo, garantindo soluções exatas e convergentes para problemas de decisão sequencial complexos.