Interval POMDP Shielding for Imperfect-Perception Agents

Título: Escudo POMDP Intervalar para Agentes com Percepção Imperfeita

1. Problema Abordado

O artigo foca em sistemas autônomos que utilizam componentes aprendidos (como Redes Neurais Profundas - DNNs) para percepção do ambiente. O problema central é a percepção imperfeita: quando as leituras dos sensores são mal classificadas pelo componente de percepção, o agente age com base em informações incorretas, levando a decisões inseguras.

O desafio específico abordado pelos autores é a construção de escudos de segurança (shields) para esses sistemas quando:

1. A dinâmica do sistema é conhecida.
2. A incerteza da percepção deve ser estimada a partir de dados rotulados finitos.
3. Existe o risco de mudança de distribuição (distributional shift) entre os dados de treinamento e a implantação real (especificamente deployment shift, onde as probabilidades de emissão mudam).

Escudos tradicionais baseados em estimativas pontuais de probabilidade podem ser otimistas demais, enquanto escudos baseados apenas no suporte (suporte-based) podem ser excessivamente conservadores, bloqueando ações seguras.

2. Metodologia Proposta

Os autores propõem uma abordagem baseada em Processos de Decisão de Markov Parcialmente Observáveis Intervalares (IPOMDPs). A metodologia divide-se em três etapas principais:

A. Modelagem com Incerteza Intervalar (IPOMDP)

• Em vez de usar uma única matriz de probabilidades de emissão (percepção), o método constrói intervalos de confiança para cada probabilidade de transição de estado para observação ($Z(o|s)$) usando dados finitos.
• Utiliza-se a construção de Clopper-Pearson para garantir limites exatos de confiança binomial.
• O sistema é modelado como um IPOMDP, onde o conjunto de modelos de incerteza admissíveis ($\mathcal{Z}$) contém todas as matrizes de probabilidade dentro desses intervalos. Isso garante que, com alta probabilidade (garantia PAC), o modelo de incerteza verdadeiro esteja contido no conjunto admissível.

B. Propagação de Envelope de Crença (Belief Envelope)

• O objetivo é elevar um escudo de "percepção perfeita" (baseado em estados reais) para o cenário de "percepção imperfeita".
• Como o conjunto de crenças alcançáveis sob incerteza intervalar pode ser não convexo e complexo, o método propõe uma sobreamostragem conservadora usando polítopos de template (geralmente hipercubos).
• A atualização da crença é formulada como um problema de Programação Linear (LP) e Programação Linear-Fracionária:
  1. Atualização Dinâmica: Afim na crença (preserva convexidade).
  2. Atualização de Observação: Envolve multiplicação bilinear e normalização. O método usa o Envelope de McCormick para linearizar o produto bilinear e a transformação de Charnes-Cooper para lidar com a normalização, permitindo a solução via LP.
• O escudo runtime mantém um "envelope" de crenças (um conjunto convexo que contém todas as crenças possíveis consistentes com o histórico) e verifica se uma ação é segura para todas as crenças dentro desse envelope (caso pior).

C. Garantia de Segurança

• O escudo admite uma ação apenas se a pontuação de segurança mínima (pior caso) sobre o envelope de crenças for maior que um limiar $\beta$.
• Isso resulta em uma garantia de segurança de horizonte finito: com probabilidade $\lambda$ (sobre os dados de treinamento), se a incerteza verdadeira estiver nos intervalos, a trajetória permanecerá segura com probabilidade $(\beta\gamma)^H$.

3. Principais Contribuições

1. Formulação IPOMDP: Uma nova formulação para sistemas com percepção imperfeita baseada em dados finitos, utilizando intervalos de confiança para modelar a incerteza de emissão.
2. Construção de Escudo Runtime: Um método para elevar escudos de percepção perfeita para o cenário imperfeito, propagando envelopes de crença conservadores.
3. Método Baseado em LP: Uma técnica sonora (sound) para sobreamostragem de estados de crença alcançáveis em IPOMDPs, utilizando programação linear e envoltórios de McCormick para lidar com a não linearidade da atualização Bayesiana sob incerteza.
4. Avaliação Empírica: Experimentos em quatro domínios (TaxiNet, Obstacle, CartPole, Refuel) comparando o método proposto com variantes de sub/sobreamostragem e o escudo baseado em suporte de trabalhos anteriores.
5. Interpretação Teórica: Uma interpretação de autômatos probabilísticos que explica a abstração convexa usada para o raciocínio de crenças intervalares.

4. Resultados Experimentais

Os experimentos compararam cinco métodos: Observation (memória livre), Single-Belief (estimativa pontual), Fwd-Sampling (sub-amostragem), Envelope (o método proposto) e Support-based (Carr et al.).

• TaxiNet e Obstacle (Regimes Parcialmente Observáveis):
  • O escudo Envelope demonstrou a melhor segurança (menor taxa de falha), superando métodos baseados em estimativa pontual (Single-Belief) e o escudo baseado em suporte.
  • O escudo baseado em suporte falhou ou foi excessivamente conservador (alta taxa de "travamento" ou stuck) em cenários onde as observações não identificam unicamente o estado (aliasing).
  • O método Envelope reduziu a taxa de falha em comparação com Single-Belief, mas aumentou ligeiramente a taxa de "travamento" devido à sua natureza conservadora (bloqueia ações que parecem seguras apenas sob estimativas pontuais, mas não no pior caso).
• CartPole (Observações Informativas):
  • Como as observações quase identificam o estado, todos os escudos (incluindo os mais simples) performaram de forma similar, com taxas de falha e travamento muito baixas. O método complexo não foi necessário aqui.
• Refuel (Escalabilidade):
  • O método Envelope tornou-se computacionalmente inviável devido ao grande espaço de estados e à complexidade da propagação de LP.
  • O método Fwd-Sampling (amostragem direta) mostrou-se uma alternativa escalável, oferecendo um compromisso entre custo computacional e segurança, embora sem garantias de sombreamento (soundness) rigorosas como o LP.
• Compromisso (Trade-off):
  • Existe um claro trade-off entre segurança e usabilidade (taxa de travamento). O Envelope é o mais seguro, mas pode ser muito restritivo. O Fwd-Sampling oferece uma aproximação escalável.

5. Significado e Conclusão

O trabalho preenche uma lacuna crítica na segurança de sistemas autônomos aprendidos:

• Robustez à Incerteza: Oferece uma abordagem que não depende de estimativas pontuais precisas (que podem ser enganosas com dados finitos) nem de abstrações de suporte que perdem informação probabilística crucial.
• Garantias Formais: Fornece garantias de segurança de horizonte finito com base em dados finitos, lidando explicitamente com a mudança de distribuição de implantação (deployment shift).
• Aplicabilidade Prática: Identifica que a propagação de envelopes intervalares é ideal para regimes onde a observação é ambígua (parcialmente observável) e onde a incerteza é significativa, mas sugere o uso de métodos de amostragem (Fwd-Sampling) para problemas de maior escala onde o custo computacional do LP é proibitivo.

Em resumo, o artigo propõe um mecanismo de "escudo" que atua em tempo real, garantindo que, mesmo com percepção imperfeita e incerteza estatística, o agente autônomo não execute ações que violem limites de segurança predefinidos, equilibrando rigor matemático com viabilidade computacional.