On-Policy Distillation of Language Models for Autonomous Vehicle Motion Planning

1. Problema e Motivação

O planejamento de movimento é uma capacidade fundamental para veículos autônomos, exigindo a geração de trajetórias seguras, confortáveis e direcionadas a objetivos em ambientes dinâmicos. Recentemente, os Grandes Modelos de Linguagem (LLMs) demonstraram potencial para reformular esse problema como uma tarefa de geração de linguagem, onde observações do cenário são convertidas em prompts de texto e o modelo gera trajetórias (waypoints) acompanhadas de raciocínio lógico (chain-of-thought).

No entanto, um obstáculo central para a implantação prática é o custo computacional e de inferência. LLMs capazes são grandes demais para rodar em tempo real no hardware embarcado de veículos automotivos. A solução natural é o conhecimento de destilação (treinar um modelo menor "aluno" para imitar um modelo maior "professor"). Contudo, a destilação supervisionada padrão sofre de uma mismatch de distribuição entre treino e inferência: o aluno é treinado em sequências perfeitas (geradas pelo professor ou ground-truth), mas na inferência deve gerar tokens sequencialmente com base em seus próprios erros passados, levando a erros cumulativos (propagação de erro), o que é crítico em trajetórias físicas.

2. Metodologia

O trabalho propõe e compara duas abordagens de destilação on-policy (onde o aluno é treinado em suas próprias gerações) para um sistema de planejamento baseado em LLM (utilizando o framework GPT-Driver adaptado para o modelo Qwen3):

A. Destilação Generalizada de Conhecimento On-Policy (GKD)

• Conceito: O aluno gera uma sequência completa de resposta (incluindo raciocínio e coordenadas) e é treinado para corresponder à distribuição de probabilidade de todos os tokens do professor sobre essa mesma sequência.
• Objetivo: Minimiza a divergência (usando Divergência Jensen-Shannon Generalizada) entre a distribuição do professor e a do aluno em cada posição do token.
• Vantagem: Fornece um sinal de supervisão denso e completo sobre o vocabulário inteiro em cada passo, ensinando ao aluno não apenas qual token escolher, mas quais alternativas são plausíveis e quais são inválidas (ex: estrutura de números decimais e dinâmica veicular).

B. Baseline de Aprendizado por Reforço (RL) com Feedback Denso

• Conceito: Utiliza os log-probabilidades do professor como sinais de recompensa densa por token dentro de um framework de gradiente de política.
• Mecanismo: Calcula uma vantagem baseada na diferença entre a probabilidade que o professor atribui ao token amostrado pelo aluno e a probabilidade que o próprio aluno atribuiu.
• Limitação: O sinal de feedback é escalar e limitado apenas ao token amostrado, ignorando informações sobre outros tokens plausíveis que não foram escolhidos.

Configuração Experimental

• Professor: Qwen3-8B (8 bilhões de parâmetros) ajustado finamente (SFT) no conjunto de dados nuScenes.
• Aluno: Qwen3-1.7B (1,7 bilhão de parâmetros), resultando em uma compressão de 5x.
• Tarefa: Gerar 6 waypoints (3 segundos de horizonte) com um rastro de raciocínio estruturado (objetos notáveis, efeitos, meta-ação e trajetória).

3. Contribuições Principais

1. Compressão Eficiente: Demonstra que a destilação on-policy pode comprimir um planejador baseado em LLM para 1/5 do tamanho, mantendo desempenho próximo ao do professor.
2. Comparação Controlada: Fornece uma comparação rigorosa entre GKD (correspondência de distribuição completa) e RL (feedback escalar por token), isolando o efeito do algoritmo de aprendizado.
3. Superioridade do GKD: Mostra que a correspondência de distribuição completa é fundamental para tarefas de geração de coordenadas, onde a estrutura física e a consistência dos números são críticas.

4. Resultados Quantitativos e Qualitativos

Os experimentos foram realizados no conjunto de validação do nuScenes (5.119 quadros):

• Precisão da Trajetória (Erro L2):
  • O aluno GKD alcançou um erro médio de 0,373 m (convenção STP-3), muito próximo do professor (0,355 m), representando apenas uma degradação de ~5%.
  • O aluno RL teve desempenho significativamente pior, com erro de 0,579 m (55% pior que o GKD).
  • A vantagem do GKD sobre o RL aumenta com o horizonte temporal, indicando que o RL sofre mais com a propagação de erros.
• Taxa de Colisão:
  • O aluno GKD manteve uma taxa de colisão muito baixa (0,138%), próxima à do professor (0,101%).
  • O aluno RL apresentou uma taxa de colisão muito mais alta (0,363%), 2,6 vezes pior que o GKD.
• Confiabilidade de Formato: Ambos os alunos aprenderam a estrutura de saída complexa (texto + coordenadas) com 0% de erros de formatação, enquanto o professor teve ~0,08%.
• Análise Qualitativa: Em cenários de curvas complexas, o aluno GKD seguiu a trajetória real muito mais de perto (ADE 3,09 m) do que o aluno RL (ADE 6,29 m), demonstrando melhor captura do comportamento de manobra do professor.

5. Significado e Conclusão

O artigo conclui que a destilação on-policy (GKD) é uma abordagem superior e mais estável para implantar planejadores baseados em LLMs em sistemas autônomos com recursos limitados.

• Estabilidade: O treinamento do aluno GKD foi estável ao longo de várias épocas, enquanto o modelo RL mostrou instabilidade e sobreajuste precoce (melhor desempenho na 1ª época).
• Viabilidade Prática: A capacidade de reduzir o modelo em 5x com apenas 5-6% de perda de precisão torna viável a execução de planejadores sofisticados baseados em LLM em hardware embarcado de veículos.
• Mecanismo Chave: A chave do sucesso é o sinal de supervisão denso e completo do vocabulário fornecido pelo GKD, que ensina ao aluno a estrutura implícita e as restrições físicas das coordenadas, algo que o feedback escalar do RL falha em capturar adequadamente.

Este trabalho estabelece um caminho prático para a transição de LLMs de pesquisa para sistemas de direção autônoma seguros e eficientes.