Resumo Técnico: TerraTransfer

Declaração do Problema

A direção autônoma de ponta a ponta alcançou um desempenho de estado da arte, mas depende de uma receita de treinamento de múltiplos estágios e dispendiosa. A abordagem padrão envolve pré-treinamento de imitação em larga escala em dados de condução humana registrados, seguido por vários estágios de ajuste fino (adaptação supervisionada, RL de loop aberto ou RL de loop fechado). Este fluxo de trabalho é limitado por:

1. Custos de Dados: A coleta e rotulagem de milhões de quadros de condução e centenas de milhares de horas de logs de múltiplas câmeras.
2. Custos de Computação: O aprendizado por reforço (RL) de loop fechado em imagens requer renderização fotorrealista e passagens de ida através de pesados backbones de visão em cada etapa, criando uma carga computacional significativa.
3. Lacunas Distribuicionais: O aprendizado por imitação é limitado pela qualidade das demonstrações de especialistas e tem dificuldade com estados raros e críticos para a segurança (colisões, quase colisões) que estão ausentes nos dados de tráfego registrados.

Embora o auto-jogo (self-play) em simuladores vetorizados ofereça uma alternativa mais barata ao gerar comportamentos de condução naturalistas e eventos raros sem dados humanos, essas políticas consomem estados de cena vetorizados (caixas delimitadoras, cinemática) em vez de entradas de sensores brutos, tornando-as não implantáveis em sistemas de ponta a ponta no mundo real.

Metodologia

Os autores propõem o TerraTransfer, um paradigma de duas fases que desacopla o "aprender a dirigir" do "aprender a ver", eliminando a necessidade de demonstrações de especialistas em qualquer estágio.

Fase 1: Pré-treinamento por Auto-jogo (Aprendendo a Dirigir)

Uma política de planejamento ($\pi_\theta$) é treinada do zero (tabula rasa) usando auto-jogo multiagente no TerraZero, um simulador de condução vetorizado.

• Arquitetura: A política utiliza um único conjunto de parâmetros para controlar todos os agentes em uma cena. Ela processa o estado do ego, elementos da estrada e agentes parceiros usando codificadores DeepSets e um MLP compartilhado.
• Treinamento: A política é otimizada via Otimização de Política Próxima (PPO) com uma função de recompensa composta por termos ponderados de qualidade de condução (alcance de objetivo, evasão de colisão, conforto, etc.).
• Randomização de Domínio: As preferências do motorista são randomizadas por episódio e expostas como parte da observação do ego, permitindo que a política aprenda um contínuo de estilos de condução.
• Resultado: Isso produz uma política "professora" que dirige de forma robusta em estado vetorial, mas não consegue processar imagens.

Fase 2: Alinhamento de Visão (Aprendendo a Ver)

A política professora congelada é usada para supervisionar uma política de visão "aluna" sem nunca referenciar trajetórias humanas registradas.

• Arquitetura: A aluna herda o codificador de ego congelado, o MLP compartilhado e a cabeça de ator da professora. Os codificadores de conjunto da professora (para estrada e parceiros) são substituídos por codificadores condicionados por imagem construídos sobre um backbone DINOv3 pré-treinado com adaptadores lineares.
• Sinal de Supervisão: A aluna é treinada em um conjunto de dados pareado de quadros (imagem, estado-da-cena). O alvo é a distribuição de ações da professora e as representações de características derivadas do estado vetorial correspondente.
• Funções de Perda:
  1. Alinhamento de Ação: Minimiza a divergência KL entre a distribuição de ações da aluna e a distribuição da professora.
  2. Alinhamento Estrutural: Uma nova perda estrutural de baixo posto relacional em lote (batch-relational low-rank structural loss). A análise empírica revela que as características da professora são de baixo posto e redundantes. Em vez de corresponder às coordenadas absolutas das características, a aluna é treinada para reproduzir a geometria relacional (similaridades de cena par a par) das características da professora dentro de um subespaço principal de baixo posto. Isso evita forçar a aluna a se ajustar ao ruído em direções de baixa variância.

Principais Contribuições

1. Receita Livre de Demonstrações: Um framework para condução de ponta a ponta que não requer trajetórias humanas registradas para supervisão. Baseia-se exclusivamente em auto-jogo para competência de condução e dados pareados (imagem, estado) para alinhamento.
2. Aprendizado Desacoplado: A separação do treinamento da política de condução (no espaço vetorial) do treinamento de percepção (no espaço de imagem) permite o reuso de um único professor de auto-jogo para vários front-ends de visão e stacks de sensores.
3. Perda Estrutural de Baixo Posto Relacional em Lote: Um método para alinhar características de visão com características vetoriais ao corresponder estruturas relacionais dentro de um subespaço de baixo posto, motivado pelo achado empírico de que as características do professor são altamente redundantes.
4. Desempenho de Loop Fechado: A política resultante alcança resultados competitivos em benchmarks de Gaussian Splatting 3D fotorrealistas, igualando ou excedendo métodos anteriores de ponta a ponta treinados em massivos conjuntos de dados de especialistas.

Resultados Experimentais

O método foi avaliado no HUGSim, um benchmark de loop fechado fotorrealista derivado de cenários nuScenes, usando o HD-Score agregado.

• Desempenho vs. Baselines: A política TerraTransfer alcançou um HD-Score agregado de 0,490, superando a melhor baseline de treinamento por imitação (LTF, 0,360) e a variante ECO publicada mais forte (0,452). Ela aproximou-se do desempenho de seu próprio professor de auto-jogo (0,520), que opera em estado vetorial privilegiado.
• Eficiência de Dados: A fase de alinhamento exigiu apenas 1,83 milhão de quadros pareados (aproximadamente 51 horas de dados) do conjunto de dados nuPlan. Isso é cerca de 40% dos dados usados pela baseline ECO para ajuste fino, embora o TerraTransfer tenha superado o desempenho da ECO.
• Generalização entre Datasets: A política foi alinhada em dados do nuPlan, mas avaliada em cenários derivados do nuScenes, demonstrando forte generalização sem rótulos de trajetória in-distribution.
• Limitações: O artigo observa que a abordagem atual perde pistas visuais finas (ex: luzes de freio) devido ao treinamento em caixas delimitadoras, possui exposição limitada a pedestres/ciclistas e carece de suporte total para interseções sinalizadas.

Significância e Alegações

O artigo afirma que o TerraTransfer oferece um caminho altamente eficaz e eficiente em dados para o futuro da condução autônoma de ponta a ponta. Ao deslocar o custo de "aprender a dirigir" para uma fase de auto-jogo escalável e única em simulação, a abordagem remove a dependência de demonstrações de especialistas caras e curadas. A política resultante demonstra que uma competência de condução robusta e naturalista pode ser transferida de uma percepção baseada em vetores para a percepção de imagem bruta, alcançando desempenho de estado da arte em loop fechado com requisitos significativamente reduzidos de dados e computação em comparação com as convenções de pipelines de aprendizado por imitação.