Hierarchical Decision-Making under Uncertainty: A Hybrid MDP and Chance-Constrained MPC Approach

Resumo Técnico: Tomada de Decisão Hierárquica sob Incerteza: Uma Abordagem Híbrida MDP e MPC com Restrições de Probabilidade

1. Problema

Sistemas autônomos operam em ambientes dinâmicos e incertos, compartilhados com agentes humanos e robóticos. A tomada de decisão confiável exige não apenas a percepção precisa, mas também a capacidade de raciocinar sobre a incerteza comportamental dos agentes vizinhos (Surrounding Agents - SAs). Essa incerteza manifesta-se em dois níveis acoplados:

• Nível de Manobra: Intenções de alto nível (ex.: mudança de faixa, escolha de rota).
• Nível Dinâmico: Variáveis de estado contínuas (ex.: velocidade, posição, orientação).

A literatura atual tende a tratar a previsão de manobras e a previsão dinâmica como subproblemas desacoplados. Isso limita a capacidade do sistema de raciocinar sobre riscos conjuntos de forma coerente. Além disso, as abordagens de decisão existentes (baseadas em regras ou aprendizado) frequentemente falham em integrar explicitamente a previsão ambiental com a viabilidade dinâmica do próprio agente (Ego Agent - EA) em um único processo de otimização, resultando em decisões que podem ser inseguras ou ineficientes em cenários complexos.

2. Metodologia

O artigo propõe um framework hierárquico de tomada de decisão que combina Processos de Decisão de Markov Híbridos (HMDPs) com Controle Preditivo Baseado em Modelo (MPC) e Restrições de Probabilidade Conjunta (Chance Constraints).

• Modelagem do Ambiente (SAs):

  • Cada agente vizinho é modelado como um HMDP que captura simultaneamente a incerteza de manobra (distribuição probabilística sobre ações discretas) e a incerteza dinâmica (ruído de processo gaussiano na evolução do estado).
  • Um mecanismo de filtragem baseado em probabilidade é utilizado para podar ramos de manobras de baixa probabilidade, gerando um conjunto compacto de previsões multimodais (cenários plausíveis).
  • A evolução dinâmica é modelada por equações afins estocásticas dependentes da ação.

• Modelagem do Agente Ego (EA):

  • O EA também é modelado como um HMDP, mas atua como uma estrutura de decisão. As opções de manobra são tratadas como variáveis de decisão explícitas, vinculadas diretamente ao modelo dinâmico do veículo.
  • Isso permite que o planejador avalie a viabilidade dinâmica de cada manobra durante a otimização.

• Integração via MPC e Restrições de Probabilidade:

  • As previsões multimodais dos SAs são incorporadas ao problema de otimização do MPC através de restrições de chance conjuntas.
  • Essas restrições garantem que o EA permaneça seguro com uma probabilidade definida ($1-\epsilon$) em relação a todos os cenários de interação plausíveis (e não apenas ao cenário médio).
  • Sob suposições de Gaussianidade afim, as restrições de chance estocásticas são reformuladas em restrições determinísticas tratáveis, permitindo o cálculo eficiente de margens de segurança baseadas na média e covariância previstas.

• Garantias Teóricas:

  • O framework estabelece garantias teóricas de viabilidade recursiva (se o problema for viável no instante inicial, permanecerá viável) e estabilidade assintótica (convergência para o estado objetivo), assumindo a existência de uma política de base conservadora.

3. Contribuições Principais

1. Modelagem HMDP para o Ambiente: Desenvolvimento de um framework que modela conjuntamente incertezas de manobra e dinâmica para agentes vizinhos, gerando previsões estruturadas e multimodais.
2. Framework Unificado HMDP-MPC: Criação de um framework de decisão para o agente ego que integra a seleção de manobras com a viabilidade dinâmica em uma única otimização, eliminando inconsistências entre planejamento de alto nível e controle de baixo nível.
3. Segurança Probabilística: Incorporação de previsões ambientais no MPC via restrições de chance conjuntas, garantindo segurança em todos os cenários plausíveis de interação.
4. Validação Abrangente: Demonstração da eficácia do método em simulações de rodovias e ambientes urbanos, com comparações contra uma base de referência baseada em regras.

4. Resultados

Os resultados foram validados através de três cenários de simulação em cenários de direção autônoma:

• Caso 1 (Incerteza Lateral): O sistema demonstrou capacidade de antecipar mudanças de faixa incertas de veículos vizinhos. O EA ajustou sua trajetória (mudando de faixa e ajustando velocidade) para manter distâncias seguras e fluidez, evitando manobras bruscas.
• Caso 2 (Incerteza Longitudinal): O framework lidou com variações de velocidade dos vizinhos. Diferente de uma abordagem baseada em regras (IDM/MOBIL), que reagiu tardiamente e forçou o veículo de trás a frear bruscamente, o método proposto antecipou a interação, ajustou a velocidade proativamente e retornou à faixa original de forma eficiente. O método proposto alcançou maior eficiência de deslocamento (distância percorrida) e suavidade.
• Caso 3 (Análise de Limiar de Risco): A variação do parâmetro de tolerância ao risco ($\epsilon$) demonstrou que o framework permite um ajuste explícito entre conservadorismo e eficiência. Valores menores de $\epsilon$ resultaram em decisões mais precoces e conservadoras, enquanto valores maiores permitiram manobras mais agressivas, validando o controle probabilístico do risco.

5. Significância

Este trabalho representa um avanço significativo na tomada de decisão para sistemas autônomos ao:

• Unificar Previsão e Planejamento: Superar a lacuna entre a previsão de comportamento de outros agentes e a geração de trajetórias seguras, tratando-os como um problema de otimização integrado.
• Garantia de Segurança Formal: Fornecer garantias matemáticas de viabilidade e estabilidade, algo frequentemente ausente em métodos puramente baseados em aprendizado por reforço.
• Adaptabilidade ao Risco: Permitir que o sistema ajuste seu comportamento (conservador vs. eficiente) com base em parâmetros de risco definidos pelo usuário, essencial para a operação em ambientes urbanos complexos.
• Superioridade sobre Regras Fixas: Demonstrar que uma abordagem baseada em otimização com restrições de chance supera as estratégias reativas baseadas em regras em termos de segurança, eficiência e capacidade de antecipação de interações complexas.

Em suma, o framework proposto oferece uma estrutura robusta e teoricamente fundamentada para a operação segura de sistemas autônomos em ambientes incertos e dinâmicos.