TrafficAlign: Aligning Large Language Models for Traffic Scenario Generation

Resumo Técnico: TrafficAlign

Declaração do Problema

Embora os grandes modelos de linguagem (LLMs) tenham sido explorados para gerar cenários de tráfego para testar sistemas de direção autônoma (AD), as abordagens atuais enfrentam limitações significativas. Os LLMs pré-treinados carecem frequentemente de conhecimento de domínio suficiente, levando à geração de cenários homogêneos que falham em alinhar-se com as distribuições de tráfego do mundo real, particularmente em contextos geográficos específicos (por exemplo, grandes metrópoles versus regiões montanhosas). Os métodos existentes que dependem de descrições manuais em linguagem natural são laboriosos e não escalam, enquanto abordagens automatizadas como o ChatScene, que utilizam prompts diretos em LLMs, têm dificuldade em capturar características de tráfego finas e específicas de cada local. Consequentemente, há uma necessidade de um framework automatizado que possa sintetizar cenários de tráfego realistas e específicos de cada região e alinhar os LLMs com as distribuições de tráfego reais do mundo real para melhorar tanto os testes quanto o treinamento de modelos de AD.

Metodologia

O artigo propõe o TrafficAlign, um framework automatizado projetado para sintetizar, validar e alinhar LLMs com cenários de tráfego do mundo real derivados de vídeos de condução. O pipeline consiste em três estágios primários:

1. Síntese de Dados

O TrafficAlign utiliza vídeos de condução do mundo real como a principal fonte de dados para capturar as distribuições de tráfego subjacentes das regiões alvo.

• Coleta de Vídeo: O sistema amostra frames de diversos vídeos de condução (por exemplo, do YouTube) cobrindo várias regiões geográficas, incluindo áreas metropolitanas, parques nacionais, cidades pequenas e localizações internacionais.
• Extração de Cenário: Um LLM multimodal (especificamente o GPT-4.1 nano) é empregado para analisar frames de vídeo selecionados. Utilizando uma estratégia de prompt composicional (incorporando role-playing, raciocínio de cadeia de pensamento e aprendizado de poucos disparos/few-shot learning), o LLM gera descrições em linguagem natural dos cenários de tráfego. Essas descrições abrangem a rede viária, o contexto ambiental (clima, hora do dia) e o comportamento/posição de todos os atores (veículo ego, NPCs, pedestres).

2. Validação de Dados

Para garantir a qualidade e a valididade dos dados sintetizados, o TrafficAlign emprega um loop de validação rigoroso:

• Tradução para DSL: As descrições em linguagem natural são traduzidas para uma representação de linguagem de domínio específico (DSL) formal. Esta conversão é realizada por um LLM (GPT-5) atuando como um especialista em tráfego, guiado por uma gramática específica.
• Verificação Sintática e Semântica: O sistema realiza verificações sintáticas para garantir que a DSL esteja bem formada. Em seguida, conduz a validação semântica para verificar se atributos essenciais (ex: hora do dia, clima, comportamentos de atores) estão presentes.
• Auto-refinamento: Se um cenário for identificado como semanticamente incompleto, mas recuperável, o sistema anexa mensagens de diagnóstico ao prompt e solicita que o extrator de cenário regenere a descrição. Frames irrelevantes (ex: títulos ou telas) são descartados.

3. Alinhamento de LLM

Uma vez validados, as descrições de cenários sintetizados são usadas para alinhar o LLM com as distribuições de tráfego do mundo real.

• Fine-Tuning: O framework realiza o ajuste fino supervisionado padrão (SFT) em um modelo gerador (Llama-3.2-3B-Instruct) utilizando as descrições de cenários validadas.
• Ajuste de Parâmetros Eficiente: O processo utiliza a Adaptação de Baixo Ranking (LoRA) aplicada às camadas de atenção e MLP para adaptar o modelo de forma eficiente.
• Saída: O LLM alinhado resultante pode ser instigado via prompt para gerar descrições de cenários de tráfego que sejam estatisticamente consistentes com as distribuições de tráfego do mundo real da região alvo.

Principais Contribuições

1. Proposta de Framework: A introdução do TrafficAlign, um pipeline automatizado que sintetiza cenários de tráfego a partir de vídeos do mundo real, valida-os via tradução para DSL e alinha os LLMs com essas distribuições.
2. Eficácia de Teste: Demonstração de que os cenários gerados pelo TrafficAlign são significativamente mais eficazes no teste de estresse de modelos de direção autônoma do que as linhas de base de estado da arte.
3. Melhoria de Treinamento: Evidência de que o ajuste fino de modelos de condução nos cenários gerados pelo TrafficAlign aumenta significativamente sua segurança e robustez.
4. Alinhamento Regional: Um estudo qualitativo mostrando que o framework captura e replica com sucesso as distribuições de tráfego através de diversas regiões geográficas.

Resultados Experimentais

Os autores avaliaram o TrafficAlign contra cinco baselines (incluindo ChatScene, métodos baseados em adversários e métodos baseados em regras) e cinco baselines de LLM não alinhados, utilizando três modelos de direção autônoma (PPO, SAC, TD3) dentro da plataforma SafeBench e no simulador CARLA.

• Eficácia de Teste: Os cenários gerados pelo TrafficAlign revelaram até 10,8% mais colisões em média entre os três modelos de condução em comparação com a linha de base mais forte (ChatScene). Em termos de pontuação geral, o TrafficAlign induziu uma redução relativa de 5,0% a 35,6%, indicando que gera cenários mais desafiadores e críticos para a segurança.
• Melhoria de Treinamento: Quando os modelos de condução foram submetidos a fine-tuning nos cenários gerados pelo TrafficAlign, a taxa de colisão diminuiu em 36,1% em comparação com os modelos originais, pré-ajuste fino. Esta melhoria foi superior ao fine-tuning com cenários da baseline ChatScene, que mostrou uma redução menor nas taxas de colisão.
• Alinhamento de Distribuição: Uma análise qualitativa usando visualização UMAP de embeddings de cenários demonstrou que os cenários gerados pelo TrafficAlign se agrupam e sobrepõem significativamente aos clusters de tráfego do mundo real. Em contraste, as baselines de LLM não alinhadas formaram clusters distintos e deslocados, com sobreposição mínima com os dados do mundo real.

Significância e Alegações

O artigo afirma que o TrafficAlign aborda a lacuna crítica entre o conhecimento geral de LLMs e as distribuições de tráfego específicas do mundo real. Ao automatizar a extração de cenários de vídeos e alinhar LLMs através de um loop de validação, o framework permite:

• Testes Mais Rigorosos: A capacidade de gerar cenários diversos e específicos de cada região que expõem vulnerabilidades de segurança em modelos de AD de forma mais eficaz do que os métodos atuais.
• Melhoria de Modelo Direcionada: A capacidade de usar esses cenários realistas para realizar o ajuste fino de modelos de AD, resultando em reduções substanciais nas taxas de colisão e melhor desempenho geral de condução.
• Escalabilidade: Uma transição do design manual de cenários, que é laborioso, para uma abordagem automatizada e orientada por dados que pode se adaptar a vários contextos geográficos.

Os autores concluem que o TrafficAlign facilita a construção automática de benchmarks de cenários de segurança de tráfego, oferecendo um caminho para testes consistentes e melhoria direcionada de sistemas de direção autônoma.