Distributionally Robust PAC-Bayesian Control

Resumo Técnico: Controle PAC-Bayesiano Distribucionalmente Robusto

1. Problema e Motivação

O artigo aborda um desafio crítico na integração de aprendizado de máquina com teoria de controle: a vulnerabilidade de controladores baseados em dados a mudanças de distribuição (distribution shifts) entre o ambiente de treinamento e o de implantação (o chamado gap sim-to-real).

• Limitações do Estado da Arte: A literatura existente de PAC-Bayes em controle geralmente assume:
  1. Perdas (losses) limitadas (bounded), o que é irrealista para muitos sistemas físicos onde erros podem ser arbitrariamente grandes.
  2. Que a distribuição de dados de treinamento e implantação são idênticas.
• O Desafio: Quando um controlador é treinado sob condições nominais e implantado em um ambiente real com perturbações não modeladas ou ruídos diferentes, o desempenho pode degradar drasticamente. Além disso, a incerteza de amostras finitas (finite-sample uncertainty) complica a garantia de segurança.

O objetivo deste trabalho é desenvolver um framework que forneça garantias de generalização de alta probabilidade para controladores aprendidos, mesmo na presença de:

1. Funções de perda ilimitadas (unbounded).
2. Deslocamentos na distribuição de dados entre treinamento e teste.

2. Metodologia

Os autores propõem uma fusão de três linhas de pesquisa modernas:

1. Teoria PAC-Bayesiana: Para garantir limites de generalização baseados em amostras finitas para algoritmos de aprendizado aleatorizados.
2. Otimização Robustamente Distribucional (DR): Utilizando a distância de Wasserstein tipo-1 para modelar um conjunto de ambiguidade ao redor da distribuição nominal de treinamento.
3. Síntese de Nível de Sistema (SLS): Uma reparametrização que permite otimizar diretamente os mapas de malha fechada do sistema, facilitando a computação de limites para sistemas lineares.

Estrutura do Framework:

• Definição de Risco Robusto (DROP): Em vez de minimizar apenas o risco empírico, o objetivo é limitar o Risco Populacional Distribucionalmente Robusto (DROP), definido como o pior caso esperado de perda dentro de uma bola de Wasserstein de raio $\rho$ em torno da distribuição de treinamento.
• Lipschitz e Sub-Gaussianidade: O framework assume que a função de perda é Lipschitz contínua em relação à perturbação. Utilizando a dualidade de Kantorovich-Rubinstein, eles derivam um limite onde a penalidade de robustez é proporcional à constante de Lipschitz do controlador ($L(K)$) multiplicada pelo raio de ambiguidade ($\rho$).
• Reparametrização SLS para Sistemas LTI:
  • Para sistemas Lineares Invariantes no Tempo (LTI) de horizonte finito, o problema é reformulado usando SLS.
  • As trajetórias de estado e controle são expressas como mapas lineares das perturbações: $x = \Phi_x w$ e $u = \Phi_u w$.
  • A perda é definida como a norma 2 ponderada da saída de desempenho: $\ell(\theta, w) = \|M(\theta)w\|$, onde $M(\theta)$ é o mapa de malha fechada dependente do controlador.
• Certificados Dependentes do Controlador:
  • Sub-Gaussianidade: Os autores derivam proxies para a variância sub-Gaussiana ($\sigma(\theta)$) que dependem da norma do operador do mapa de malha fechada ($\|M(\theta)\|_{op}$). Isso é feito tanto para perturbações Gaussianas quanto para perturbações limitadas.
  • Lipschitz: A constante de Lipschitz da perda é diretamente igual à norma do operador do mapa de malha fechada: $L(\theta) = \|M(\theta)\|_{op}$.

3. Contribuições Principais

1. Extensão Robusta para PAC-Bayes: Introdução de uma extensão robusta ao framework PAC-Bayes que lida com perdas ilimitadas e deslocamentos de distribuição via distância de Wasserstein.
2. Certificados Explícitos para Controle LTI: Derivação de certificados de concentração e robustez explicitamente dependentes do controlador, baseados na norma do operador do mapa de malha fechada ($\|M(\theta)\|_{op}$).
3. Problema de Otimização Tratável: Transformação do limite teórico em um problema de otimização computacionalmente tratável para sistemas LTI de horizonte finito. O problema busca otimizar a distribuição posterior sobre os parâmetros do controlador, equilibrando o risco empírico, a penalidade de robustez e o termo de complexidade PAC-Bayes.
4. Garantias Sem Identificação de Distribuição: O método fornece garantias de segurança para a implantação em ambientes diferentes do treinamento sem a necessidade de identificar explicitamente a distribuição de perturbação real.

4. Resultados e Validação Numérica

Os autores validam o método em um exemplo numérico de um duplicador de integrador (double integrator) com horizonte finito ($T=10$).

• Configuração:
  • Treinamento com amostras de perturbações Gaussianas.
  • Teste realizado sob uma distribuição adversária deslocada (shifted distribution) dentro do raio de Wasserstein certificado.
• Comparação:
  • PAC-Bayes "Vanilla" (sem robustez): O limite teórico falha em cobrir o risco real de teste quando há deslocamento de distribuição. O limite é violado em todos os tamanhos de amostra testados.
  • PAC-Bayes Robusto (DR-PAC-Bayes): O limite derivado no trabalho atua como um limite superior válido para o risco de teste, mesmo sob deslocamento.
• Desempenho: O controlador otimizado com o método robusto não apenas garante a segurança teórica, mas também apresenta um custo empírico menor no teste adversário em comparação com o controlador "vanilla".
• Decomposição do Custo: A análise mostra que o termo de complexidade PAC-Bayes diminui com mais dados, enquanto o termo de penalidade de Wasserstein ($\rho \cdot \mathbb{E}[L]$) e o risco empírico são balanceados automaticamente pelo processo de otimização, sem necessidade de saturação artificial da perda.

5. Significado e Impacto

Este trabalho é significativo por várias razões:

• Ponte entre Teoria e Prática: Resolve a discrepância entre as suposições teóricas (perdas limitadas, distribuições idênticas) e a realidade do controle (perdas ilimitadas, incerteza de modelo).
• Segurança Garantida: Oferece certificados de segurança de alta probabilidade para implantação em ambientes reais, onde o "gap sim-to-real" é inevitável.
• Eficiência Computacional: Ao utilizar a reparametrização SLS, o problema de otimização torna-se tratável e pode ser resolvido com métodos modernos de diferenciação automática (AD), permitindo a aplicação em sistemas complexos.
• Generalização: O framework sugere que a robustez não é apenas uma penalidade aditiva, mas uma propriedade intrínseca que pode ser otimizada junto com o desempenho do controlador, incentivando a busca por políticas com menor sensibilidade (menor norma de Lipschitz) às perturbações.

Em suma, o artigo estabelece um novo padrão para o projeto de controladores aprendidos que são não apenas eficientes, mas também rigorosamente garantidos para operar em condições de incerteza e mudança ambiental.