⚡ electrical engineering

A Hybrid End-to-End and Modular Control Architecture Toward Safe Vehicle Lateral Control: Combining Soft Actor-Critic with Model Predictive Control

Este artigo propõe uma arquitetura de controle lateral de veículo híbrido que integra uma política de aprendizado por reforço Soft Actor-Critic com um Controlador de Modelo Preditivo restrito através de um coeficiente de mistura monótono, alcançando a adaptabilidade do aprendizado ponta a ponta enquanto mantém as garantias de segurança e a interpretabilidade do controle baseado em modelo.

Autores originais: Farzaneh Tatari

Publicado 2026-08-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Farzaneh Tatari

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Dirigir um carro envolve uma negociação constante e sutil entre a estrada e a máquina. Para permanecer em uma faixa, um veículo deve ajustar constantemente sua direção, reagindo a curvas, ao vento e à aderência irregular dos pneus. Durante décadas, engenheiros confiaram em duas formas principais de ensinar um computador a fazer isso. A primeira é uma abordagem baseada em regras, onde o carro segue um conjunto estrito de equações físicas e limites pré-programados. Este método é previsível e seguro, mas pode ser rígido; se as condições da estrada mudarem de uma forma que as regras não anteciparam, o carro pode ter dificuldades. A segunda abordagem é baseada em aprendizado, onde um programa de computador observa milhares de exemplos de condução e descobre os melhores movimentos por conta própria. Este método é incrivelmente flexível e consegue lidar com situações complexas e desordenadas, mas é uma caixa preta: é difícil saber por que ele fez uma escolha específica, e não oferece a garantia de que não cometerá um erro perigoso em uma situação que não tenha visto antes.

O desafio para o futuro da condução autónoma é combinar o melhor de ambos os mundos. Precisamos de um sistema que seja tão adaptável quanto um aprendiz humano, mas tão confiável e compreensível quanto um engenheiro baseado em regras. Um novo estudo da investigadora independente Farzaneh Tatari aborda exatamente este problema, criando um controlador híbrido para o movimento lateral de um carro. A investigação não depende de um único método, mas sim funde uma política baseada em aprendizagem com uma rede de segurança baseada em regras. O objetivo é ver se um carro consegue aprender a conduzir de forma suave e precisa, mantendo-se ainda assim limitado por um sistema de segurança que impede que exceda os limites físicos ou realize movimentos erráticos.

Para testar esta ideia, a investigadora construiu uma simulação digital de um carro a mover-se a uma velocidade constante de 15 metros por segundo. Neste mundo virtual, ela configurou quatro condutores diferentes para ver como se comportavam. O primeiro foi um controlador padrão e simples, que tem sido usado em carros há anos. O segundo foi um sistema sofisticado, baseado em regras, que calcula constantemente o melhor caminho a seguir enquanto respeita limites estritos sobre a rapidez com que o volante pode rodar. O terceiro foi um sistema de aprendizagem pura, treinado do zero para minimizar erros sem quaisquer regras pré-escritas. O quarto, e mais importante, foi o novo sistema híbrido. Este sistema recebe o comando de direção da IA de aprendizagem e o comando de direção do calculador baseado em regras e mistura-os num único comando. Utiliza um único seletor para ajustar a mistura: girar o seletor para um lado dá mais peso à IA de aprendizagem flexível, enquanto o girar para o outro lado dá mais peso ao calculador seguro baseado em regras.

Os resultados da simulação mostraram que a IA de aprendizagem foi a mais precisa a manter o carro no centro da faixa, cometendo menos erros do que os sistemas tradicionais baseados em regras. No entanto, a IA de aprendizagem pura tinha uma fraqueza: em algumas situações extremas que eram muito diferentes do seu treino, ocasionalmente cometia um erro que fazia o carro desviar-se demasiado do curso. O sistema híbrido manteve a alta precisão da IA de aprendizagem, garantindo ao mesmo tempo que cada comando de direção permanecesse dentro dos limites físicos seguros do carro. Na grande maioria dos testes, o carro híbrido desempenhou-se quase tão bem como a IA de aprendizagem pura. Contudo, nos raros casos extremos em que a IA de aprendizagem pura falhou, o sistema híbrido herdou exatamente esses mesmos erros. Como a IA de aprendizagem era tão dominante na mistura, o componente de segurança baseado em regras não conseguiu sobrepor-se a ela suficientemente rápido para evitar o erro naqueles casos específicos.

O estudo também explorou o que acontece quando o carro encontra condições para as quais não foi treinado, tais como estradas escorregadias ou erros laterais súbitos e grandes na sua posição inicial. O sistema híbrido provou ser robusto, mantendo a sua precisão mesmo quando a aderência dos pneus era mais fraca do que o esperado ou quando o carro partia com um desvio lateral significativo. No entanto, a investigadora descobriu um limite específico para esta segurança. Em alguns casos raros e extremos, onde o carro partia com um erro grande e a IA de aprendizagem tentava conduzir numa direção que já estava no seu máximo físico, a mistura não conseguia corrigir o erro rapidamente o suficiente. Isto aconteceu porque a IA de aprendizagem era tão dominante na mistura que o componente de segurança baseado em regras não conseguiu sobrepor-se a ela rapidamente o suficiente para evitar um acidente.

Esta descoberta levou a um insight crucial sobre como tal sistema deveria funcionar no mundo real. A investigadora propôs que o "seletor" que controla a mistura não deveria ser fixo. Em vez disso, deveria estar ligado a informações externas, tais como dados de outros carros ou sensores de estrada. Se o sistema detetar que o carro está a entrar numa situação que nunca viu antes, ou se as condições da estrada forem perigosas, o seletor deve mudar automaticamente para dar mais poder ao calculador seguro baseado em regras. Isto permitiria que o carro permanecesse flexível e eficiente em estradas normais, mas se tornasse instantaneamente mais conservador e previsível quando a situação se tornasse incerta.

O trabalho demonstra que é possível construir um controlador de veículo que aprende com a experiência sem perder as garantias de segurança da engenharia tradicional. A abordagem híbrida conseguiu manter com sucesso o seguimento suave e preciso do sistema de aprendizagem, mantendo o carro dentro dos seus limites físicos. Embora a versão atual seja uma mistura simplificada de dois sinais, a investigação aponta para um futuro onde uma versão mais avançada poderá resolver as restantes falhas raras. Ao ligar o controlador a uma rede de veículos e infraestruturas rodoviárias, o sistema poderá ajustar dinamicamente o seu comportamento, garantindo que o carro permaneça seguro mesmo quando a estrada apresenta um imprevisto que ele nunca viu antes. Isto representa um passo significativo em direção a veículos que são não só inteligentes o suficiente para aprender, mas também sábios o suficiente para saber quando confiar nas suas regras de segurança.

Resumo Técnico: Uma Arquitetura de Controle Híbrida de Ponta a Ponta e Modular para o Controle Lateral Seguro de Veículos

Definição do Problema
Veículos conectados e automatizados (CAVs) requerem controladores laterais que equilibrem precisão, baixo esforço de controle e segurança sob condições de erro de modelo, ruído de sensores e distúrbios não modelados. A literatura é atualmente dominada por duas abordagens distintas, cada uma com limitações significativas:

Controladores Modulares (ex: MPC, PID): Estes baseiam-se em modelos baseados em física e restrições explícitas, oferecendo interpretabilidade e garantias de segurança. No entanto, são sensíveis a imprecisões do modelo e exigem ajuste manual extensivo.
Políticas Aprendidas de Ponta a Ponta (ex: Deep RL): Estas adaptam-se a não linearidades e dinâmicas não modeladas sem leis de controle projetadas à mão, mas carecem de garantias intrínsecas de segurança, interpretabilidade e robustez sob mudanças de distribuição.

O artigo aborda o desafio de combinar a adaptabilidade das políticas aprendidas com a segurança e previsibilidade do controle modular sem sacrificar os pontos fortes de nenhum dos dois.

Metodologia
O autor propõe uma arquitetura híbrida que mistura linearmente uma política Soft Actor-Critic (SAC) treinada com um controlador Model Predictive Control (MPC) linear restrito.

Modelo do Veículo: Os experimentos utilizam um modelo de bicicleta lateral linearizado de quatro estados a uma velocidade longitudinal constante de 15 m/s.
Componente Modular (MPC): Um MPC linear é formulado como um programa quadrático (QP) sobre um horizonte de 15 passos com restrições explícitas de entrada ( $|\delta| \leq 0,4$ rad) e de taxa de entrada ( $|\dot{\delta}| \leq 3$ rad/s). Ele é ajustado via busca em grade sobre 243 configurações de pesos.
Componente de Ponta a Ponta (SAC): Uma política SAC é treinada do zero no mesmo planta utilizando uma função de recompensa que penaliza o erro lateral, o erro de direção (heading), a magnitude do esterçamento e a taxa de esterçamento. O treinamento ocorre em um simulador episódico com condições iniciais randomizadas.
Arquitetura Híbrida: Em cada passo de tempo $k$ , o controlador computa uma combinação convexa do ótimo do primeiro passo do MPC ( $\delta_{MPC}$ ) e da saída da política SAC ( $\delta_{SAC}$ ). O comando de esterçamento final é:
$\delta_k = \text{sat}_{\delta_{max}} \left( (1 - \alpha(\lambda)) \delta_{MPC} + \alpha(\lambda) \delta_{SAC} \right)$
onde $\alpha(\lambda) = \lambda / (1 + \lambda)$ é um coeficiente de mistura monótono. O resultado é saturado para os mesmos limites de atuador usados pelo MPC.
Avaliação: O sistema é testado contra PID, MPC linear ajustado e SAC isolado sob condições nominais, casos de robustez (grandes erros iniciais, ruído de processo, incompatibilidade de rigidez do pneu) e um conjunto de múltiplas condições iniciais (grade 5x5 cruzada com 5 sementes de treinamento).

Principais Contribuições

Benchmarking: Uma comparação abrangente de quatro controladores (PID, MPC, SAC, Híbrido) em um modelo de bicicleta lateral linearizado usando métricas compartilhadas (RMSE, erro de pico, esterçamento absoluto médio, erro final).
Formulação Híbrida: A proposta de um mecanismo de mistura de forma fechada que interpola entre uma âncora baseada em modelo restrita e uma política aprendida, garantindo que a saída permaneça dentro do envelope do atuador.
Análise de Robustez: Avaliação do desempenho do híbrido sob perturbações significativas, incluindo ruído de processo e incompatibilidade de rigidez do pneu.
Análise de Limitação e Extensão: Uma discussão detalhada da incapacidade da implementação atual de garantir a viabilidade recursiva ou prevenir todas as divergências de casos extremos, motivando uma extensão de consciência de conectividade baseada em sinais de Vehicle-to-Everything (V2X).

Resultos

Desempenho Nominal: A política SAC alcançou o menor RMSE de erro lateral (0,0167 m), superando o PID em 48% e o MPC linear em 41%. O controlador híbrido (com $\lambda=12$ ) aproximou-se da qualidade de rastreamento da SAC (RMSE 0,0171 m), mantendo o envelope de atuador do MPC e fornecendo uma contribuição determinística e baseada em modelo para cada comando.
Robustez: Em todos os quatro casos de robustez (grande erro lateral, grande erro de direção, ruído de processo e incompatibilidade de rigidez do pneu), a SAC e o híbrido alcançaram os menores RMSE, reduzindo os erros em 32–49% em comparação ao PID e MPC.
Divergência de Caso de Borda: Em um conjunto de múltiplas condições iniciais (125 pares), o PID e o MPC permaneceram convergentes em todos os testes. A SAC e o híbrido divergiram em 3 de 125 casos (2,4%), especificamente nos limites extremos da distribuição de treinamento (ex: $\pm 0,4$ m de erro lateral, $\pm 0,10$ rad de erro de direção).
Modo de Falha: A análise revelou que, no peso de mistura escolhido ( $\alpha \approx 0,92$ ), a contribuição baseada no modelo é limitada a $\approx 0,031$ rad. Isso é insuficiente para neutralizar um comando saturado da SAC na direção errada dentro de uma única amostra, levando à divergência.

Significância e Alegações
O artigo alega que a arquitetura híbrida retém com sucesso a qualidade de rastreamento da SAC isolada, enquanto preserva as restrições de segurança e a interpretabilidade do MPC modular. O principal valor do híbrido não é necessariamente uma redução no RMSE nominal (onde a SAC já se destaca), mas sim o fornecimento de uma interface ajustável (o coeficiente de mistura $\lambda$ ) que permite aos integradores de sistemas ajustar o equilíbrio entre adaptabilidade e segurança.

O autor observa modestamente que a implementação atual é uma mistura convexa de forma fechada e não um filtro de segurança preditivo completo. Consequentemente, ela não garante a viabilidade recursiva ou a invariância terminal, e não pode prevenir falhas sob mudanças severas de distribuição, apenas atenuar sua magnitude.

O artigo conclui que a arquitetá é um degrau para um filtro de segurança mais rigoroso. O caminho proposto envolve:

Substituir a mistura de forma fechada por um filtro de segurança preditivo de QP restrito (onde a ação da SAC entra como uma preferência suave no objetivo do MPC).
Implementar uma extensão de consciência de conectividade onde $\lambda$ é programado dinamicamente com base em sinais V2X (ex: fricção da estrada, clima) para devolver a autoridade ao controlador baseado no modelo quando o veículo opera fora da distribuição de treinamento.

O trabalho é apresentado como um estudo independente, distinto de quaisquer produtos de empregadores, e serve como base para trabalhos futuros envolvendo modelos não lineares de maior fidelidade e validação em veículos reais.

Mais como este