💻 computer science

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving

O CLEAR introduz um framework de aprendizado por reforço de ciclo fechado escalável para direção autônoma de ponta a ponta que treina uma política de waypoint residual sobre modelos pré-treinados de Visão-Linguagem-Ação usando um pipeline de simulação heterogêneo, alcançando desempenho de estado da arte em benchmarks desafiadores ao superar as limitações de desvio de distribuição do aprendizado por imitação tradicional.

Autores originais: Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

Publicado 2026-07-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine ensinar um carro autônomo. Por muito tempo, a melhor maneira de fazer isso era através da Aprendizagem por Imitação (Imitation Learning). Pense nisso como um aluno motorista sentado no banco de trás de um carro dirigido por um especialista perfeito. O aluno apenas copia o que o especialista faz. Se o especialista vira à esquerda, o aluno vira à esquerda.

O problema? Isso só funciona em uma prova de "livro aberto". Se o aluno vê uma situação que o especialista nunca lhe mostrou, ou se o aluno comete um erro minúsculo, ele fica confuso. No mundo real (ou em uma simulação complexa), um pequeno erro pode levar a um acidente, e o aluno não sabe como se recuperar porque foi ensinado apenas a copiar, não a pensar ou se adaptar.

Recentemente, pesquisadores começaram a usar modelos de Visão-Linguagem-Ação (VLA). Estes são como instrutores de direção superinteligentes que conseguem "ver" a estrada, "ler" as placas de trânsito e "falar" os comandos de direção, tudo ao mesmo tempo. Mas mesmo esses instrutores inteligentes eram treinados majoritariamente pelo método de "copiar o especialista", o que os deixava vulneráveis quando as coisas davam errado.

Apresentando o CLEAR.

A Grande Ideia: O Treinador "Residual"

Os autores deste artigo construíram um sistema chamado CLEAR para corrigir isso. Em vez de apenas copiar, eles ensinaram a IA a ser um treinador que corrige um aprendiz.

O "Aprendiz" Pré-treinado: Primeiro, eles pegam um modelo VLA muito inteligente (o aprendiz) e o ensinam o básico usando uma enorme biblioteca de dados de condução de especialistas. Este aprendiz é bom em prever um caminho geral, como um GPS dizendo: "Vire à esquerda em 500 pés".
O "Treinador" (RL): Depois, eles introduzem o Aprendizado por Reforço (RL - Reinforcement Learning). Imagine um treinador parado ao lado do aprendiz. O aprendiz faz uma previsão (o "caminho base"), e o treinador diz: "Na verdade, vire um pouquinho mais à esquerda para evitar aquele buraco".
- A IA não reaprende a dirigir do zero (o que exigiria muita capacidade de computação).
- Em vez disso, ela aprende uma política residual. Isso é como aprender a diferença entre um plano bom e um plano perfeito. Ela aprende apenas as pequenas "correções" necessárias para corrigir os erros do aprendiz.

O "Pipeline Heterogêneo": Resolvendo o Engarrafamento

Treinar esses treinadores de IA consome uma quantidade imensa de dados. Você precisa rodar milhões de simulações de direção para ensiná-los.

Aqui está o gargalo:

O Simulador (A Estrada): Rodar um simulador de direção realista (como o CARLA) é pesado para os gráficos do computador. É como rodar um videogame de última geração.
O Aprendiz (O Cérebro): O modelo de IA também é enorme e precisa de placas de vídeo (GPUs) poderosas para pensar.

Se você tentar rodar o simulador e o céreão no mesmo computador, eles disputam as placas de vídeo. É como tentar realizar uma maratona e uma competição de levantamento de peso pesado na mesma academia pequena ao mesmo tempo; tudo fica lento ou trava.

A Solução do CLEAR: Eles construíram um pipeline heterogêneo.

Eles colocaram os Simuladores (as estradas) em um conjunto de computadores mais antigos e baratos.
Eles colocaram o Cérebro de IA (o aprendiz) em um cluster separado de computadores superpotentes.
Eles os conectaram através de um túnel digital (SSH).

Isso é como ter uma frota de pistas de corrida remotas (os simuladores) enviando dados para uma sede central (o cérebro). As pistas não precisam ser sofisticadas; elas só precisam funcionar. O cérebro recebe todos os dados de que precisa sem ser atrasado pela renderização dos gráficos. Isso permitiu que eles rodassem 64 simulações ao mesmo tempo e treinassem em 100 milhões de amostras.

Os Resultados: De "Falhar" para "Vencer"

O artigo testou este sistema em alguns desafios de direção muito difíceis (como os benchmarks "longest6" e "Bench2Drive").

Antes do CLEAR: Métodos anteriores, mesmo os inteligentes, falhavam quase 100% das vezes nessas rotas difíceis. Eles batiam ou ficavam presos porque não consegravam se recuperar de pequenos erros.
Com o CLEAR: O sistema aprendeu a corrigir seus próprios erros. Ele não apenas seguiu um roteiro; ele aprendeu a navegar ao redor de obstáculos e lidar com o tráfego complexo.
- Em um benchmark, a taxa de sucesso saltou de 0% (falha total) para 25%.
- Em outro, alcançou as pontuações mais altas já registradas, superando todos os métodos anteriores em eficiência e segurança de condução.

Resumo

Pense no CLEAR como o ato de pegar um aluno motorista inteligente, mas rígido, dar a ele um treinador superinteligente que aprende a dar pequenos empurrões na direção certa quando ele começa a desviar, e construir uma enorme instalação de treinamento distribuído para que eles possam praticar milhões de milhas sem que o computador trave. O resultado é um sistema de direção autônoma significativamente melhor em lidar com a realidade bagunçada e imprevisível das estradas.

Resumo Técnico: CLEAR – Aprendizado por Reforço de Ciclo Fechado em Escala para Condução Autônoma de Ponta a Ponta

Definição do Problema

A condução autônoma de ponta a ponta (E2E-AD) visa mapear dados brutos de sensores diretamente para ações de condução. Recentemente, modelos de Visão-Linguagem-Ação (VLA) surgiram como um paradigma promissor, integrando percepção visual, compreensão de linguagem e predição de ação dentro de uma única política. No entanto, as abordagens baseadas em VLA existentes dependem predominantemente de Aprendizado por Imitação (IL). Embora o IL escale bem com dados, ele sofre de um desvio de distribuição crítico entre o treinamento em loop aberto (aprendendo de trajetórias de especialistas registradas) e a inferência em loop fechado (onde as próprias ações do agente afetam os estados futuros). Esse desvio frequentemente leva ao desempenho subótimo e falhas em cenários complexos e dinâmicos.

Além disso, aplicar Aprendizado por Reforço (RL) a políticas baseadas em visão em escala enfrenta obstáculos de engenharia significativos. O RL é ávido por dados e requer milhares de ambientes de simulação paralelos. Na prática, executar o simulador (ex: CARLA) e o aprendiz VLA no mesmo hardware cria contenção de recursos (especificamente memória de GPU e instabilidade de renderização), limitando o número de ambientes paralelos e dificultando o treinamento eficaz.

Metodologia: O Sistema CLEAR

Os autores propõem o CLEAR, um sistema projetado para permitir o ajuste fino (finetuning) de RL de ciclo fechado em larga escala para políticas VLA. A abordagem consiste em três componentes principais:

1. Estrutura de Treinamento em Dois Estágios

Estágio 1: Pré-treinamento em Loop Aberto: O sistema primeiro pré-treina um modelo VLA (usando o InternVL3-1B como backbone) em um grande conjunto de dados de trajetórias de especialistas (~3,1 milhões de amostras) usando aprendizado por imitação. Isso estabelece um "prior de waypoint", equipando o modelo com capacidades básicas de condução e percepção robusta.
Estágio 2: Ajuste Fino de RL em Ciclo Fechado: Em vez de treinar do zero ou gerar controles de baixo nível diretamente, o CLEAR aprende uma política de waypoint residual.
- O VLA pré-treinado gera um caminho base e waypoints de velocidade.
- O agente de RL (otimizado via Otimização de Política Próxima, PPO) aprende a prever correções residuais ( $\Delta y, \Delta v$ ) a esses waypoints base.
- O comando de waypoint final é a soma do plano base e do residual, limitado a limites seguros.
- Um controlador determinístico então mapeia esses waypoints para controles de veículo de baixo nível (direção, aceleração, freio). Crucialmente, o controlador é tratado como parte da dinâmica do ambiente, o que significa que nenhum gradiente flui através dele durante as atualizações de RL.

2. Pipeline de Ajuste Fino Heterogêneo

Para superar o gargalo de escalonamento, o CLEAR emprega um pipeline heterogêneo que desacopla o ambiente de simulação do agente de aprendizado:

Separação de Computação: Os simuladores CARLA são lançados em máquinas host independentes (usando GPUs de geração anterior ou de consumo, como a Tesla V100), enquanto o aprendiz VLA roda em clusters de alto desempenho (ex: NVIDIA H100).
Comunicação: Túneis de Secure Shell (SSH) facilitam a comunicação entre o servidor (simulador) e o cliente (aprendiz).
Impacto: Esta arquitetura elimina a contenção de recursos de GPU, permitindo que o sistema lance 64 ambientes CARLA paralelos simultaneamente. Isso permite o treinamento em 100 milhões de amostras com grandes tamanhos de lote (lote total: 16.384; mini-lote: 4.096), o que é crítico para a convergência de algoritmos de RL ávidos por dados.

3. Função de Recompensa

O objetivo de RL maximiza o retorno descontado esperado baseado na Conclusão de Rota (RC). A função de recompensa inclui:

Um fator de penalidade suave para desvios.
Penalidades severas (encerrando o episódio) para colisões, violações de sinal vermelho ou infrações de parada obrigatória.

Principais Contribuições

RL de Ciclo Fechado para VLA: O CLEAR é o primeiro sistema a habilitar efetivamente o ajuste fino de RL de ciclo fechado em larga escala para políticas VLA em E2E-AD, indo além das limitações do aprendizado por imitação puro.
Política de Waypoint Residual: Ao aprender correções em torno de um prior de waypoint pré-treinado em vez de controle direto de baixo nível, o método aproveita efetivamente o conhecimento incorporado no VLA pré-treinado enquanto melhora a robustez em configurações de ciclo fechado.
Infraestrutura Heterogênea Escalável: O pipeline proposto resolve o problema de contenção de recursos de GPU, permitindo a implantação de um número massivo de simuladores paralelos (64+) e o treinamento em 100M de amostras, que os autores identificam como um fator chave para alcançar o desempenho de estado da arte.

Resultados Experimentais

O CLEAR foi avaliado em três benchmarks desafiadores:

CARLA longest6 v2: Este benchmark apresenta rotas longas com cenários complexos e críticos à segurança.
- Métodos anteriores (incluindo IL de larga escala e tentativas prévias de IL+RL) alcançaram uma Taxa de Sucesso (SR) de 0%, falhando em todas as rotas.
- O CLEAR (InternVL3-1B) alcançou 25,00% de SR e 47,24% de Conclusão de Rota (RC), superando significativamente todos os baselines.
Bench2Drive: Um benchmark com 220 cenários distintos de segurança crítica.
- O CLEAR alcançou a maior Pontuação de Direção (86.8), Taxa de Sucesso (69.5%) e Eficiência entre todos os métodos comparados, incluindo outros abordagens VLA e baseadas em transformer.
nuScenes: Um dataset do mundo real.
- O CLEAR foi avaliado em um cenário de zero-shot (sem treinamento nos dados do nuScenes). Ele alcançou o melhor erro médio L2 (0.49m) e taxas de colisão competitivas em comparação com modelos treinados especificamente para o nuScenes, demonstrando forte generalização.

Significância e Limitações

O artigo afirma que o CLEAR estabelece um novo estado da arte para políticas VLA em simuladores de direção, demonstrando que o Aprendizado por Reforço em escala é essencial para fechar a lacuna entre o treinamento em loop aberto e o desempenho em loop fechado. O trabalho destaca que simplesmente escalar os dados via aprendizado por imitação é insuficiente; a otimização de ciclo fechado é necessária para lidar com desvios de distribuição.

Os autores reconhecem diversas limitações e direções para trabalhos futuros:

Transferência Sim2Real: O sucesso atual é em simulação; implantar no mundo real requer investigar técnicas de transferência Sim2Real.
Limites de Escalonamento: O escalonamento atual é limitado pelo número de instâncias paralelas do CARLA. Melhorar a estabilidade da pilha de renderização de GPU do CARLA poderia permitir um escalonamento ainda maior.
Design de Recompensa: A função de recompensa atual se alinha ao ótimo global da métrica. Projetar recompensas eficazes para métricas que carecem de um ótimo global claro continua sendo uma questão de pesquisa aberta.