Traffic Scene Generation from Natural Language Description for Autonomous Vehicles with Large Language Model

---

1. Problema e Motivação

O desenvolvimento e a avaliação de sistemas de direção autônoma dependem fortemente de dados de tráfego realistas e variados. No entanto, a coleta de dados do mundo real enfrenta limitações intrínsecas de segurança e controle, especialmente para cenários críticos (ex: quase acidentes, mudanças de faixa agressivas).

Simuladores existentes (como CARLA e MetaDrive) geralmente dependem de:

1. Amostragem aleatória: Garante diversidade, mas carece de controle intencional para testar modos de falha específicos.
2. Replay de trajetórias: Mantém o realismo, mas é limitado pela distribuição dos dados coletados, dificultando a geração de cenários novos ou não vistos.

Embora pesquisas recentes tentem usar linguagem natural para guiar a geração de cenas, as abordagens atuais (como LCTGen, ProSim, ChatScene) possuem limitações:

• Focam em tarefas downstream (previsão de trajetória) e exigem entradas estruturadas.
• Requerem que o usuário especifique manualmente pontos de spawn (nascimento) e localizações iniciais no mapa.
• Ignoram frequentemente condições ambientais (sinais, objetos estáticos, clima).

O objetivo central deste trabalho é criar um framework que gere cenas de tráfego realistas e controláveis diretamente a partir de descrições em linguagem natural não estruturada, eliminando a necessidade de mapas pré-definidos ou pontos de spawn manuais.

---

2. Metodologia: Framework TTSG

Os autores propõem o TTSG (Text-to-Traffic Scene Generation), um framework modular e sem treinamento (training-free) que integra Grandes Modelos de Linguagem (LLMs) em um pipeline estritamente controlado. O processo é dividido em cinco etapas principais:

A. Construção do Grafo de Estradas e Conjunto de Agentes

• Grafo de Estradas: Os mapas do simulador (CARLA) são convertidos para o formato OpenDRIVE e parseados em um grafo onde os nós representam estradas e as arestas a conectividade. Cada nó contém atributos como sinais de trânsito, objetos estáticos, tipos de via e configurações de faixa.
• Conjunto de Agentes: Uma base de dados categoriza agentes (veículos, pedestres, ciclistas, veículos de emergência) e suas ações possíveis.

B. Análise de Prompt (Prompt Analysis)

O LLM decompõe a entrada do usuário (texto livre) em componentes explícitos e estruturados:

• Requisitos de sinais (ex: semáforo, placa de pare).
• Objetos necessários ou proibidos (ex: faixa de pedestres, buracos).
• Configurações de agentes (tipos, ações, posições relativas).
• Diferencial: Em vez de usar Chain-of-Thought (CoT) completo, que consome muitos tokens, o modelo gera apenas os componentes estruturados necessários para as etapas seguintes, reduzindo custos computacionais.

C. Recuperação de Candidatos a Estradas (Road Retrieval)

Com base na análise, o LLM gera condições de filtragem para buscar no grafo de estradas apenas as vias que satisfazem os critérios (número de faixas, presença de sinais específicos, ausência de obstáculos).

D. Planejamento de Agentes (Agent Planning)

O LLM define o comportamento detalhado dos agentes:

• Tipos de agentes e suas ações (ex: "parar", "cruzar a rua", "virar à direita").
• Posições relativas ao veículo ego e entre si.
• O framework suporta cenários complexos onde agentes interagem entre si (não apenas em relação ao carro ego), permitindo comportamentos coordenados.

E. Classificação de Estradas Consciente do Plano (Plan-Aware Road Ranking)

Esta é uma contribuição inovadora. Como múltiplas estradas podem atender aos critérios de filtragem, o sistema utiliza um algoritmo de pontuação para selecionar a melhor via:

• Cada estrada candidata recebe uma pontuação baseada no quão bem ela se alinha com os planos dos agentes (ex: se um agente precisa virar à esquerda, a estrada deve ter uma saída para a esquerda).
• A estrada com a maior pontuação é selecionada, garantindo consistência espacial e semântica entre a ação planejada e a geometria da estrada.
• Isso elimina a necessidade de pontos de spawn pré-definidos, pois a estrada é escolhida automaticamente para acomodar o plano.

F. Geração da Cena

Os componentes selecionados (estrada e planos de agentes) são renderizados no simulador CARLA, produzindo cenas executáveis com imagens, trajetórias e comportamentos dinâmicos.

---

3. Principais Contribuições

1. Framework de Geração Direta de Linguagem: Um pipeline que gera layouts de cenas e planejamento de agentes diretamente de texto livre, sem necessidade de rotas pré-definidas ou pontos de spawn manuais.
2. Estratégia de Classificação de Estradas (Road Ranking): Um algoritmo que avalia a compatibilidade entre as condições da estrada e os planos dos agentes, garantindo que a cena gerada seja viável e fiel ao prompt.
3. Suporte a Cenários Diversos: O sistema lida com cenários rotineiros, críticos (de segurança) e eventos sequenciais (múltiplos estágios), além de condições ambientais (clima, iluminação).
4. Aplicação em Treinamento e Raciocínio: O framework não apenas gera dados para treinar agentes de direção, mas também melhora modelos de legendagem (captioning), permitindo que eles raciocinem melhor sobre comportamentos críticos.

---

4. Resultados Experimentais

Os experimentos foram conduzidos no simulador CARLA e avaliados usando o SafeBench (benchmark de segurança).

• Desempenho em Cenários Críticos:

  • O método TTSG alcançou a menor taxa média de colisão (3,5%) em três cenários críticos (obstáculo reto, mudança de faixa, curva à esquerda sem proteção) ao treinar agentes de direção.
  • Comparado a métodos anteriores como ChatScene (8,0% de colisão) e Learning-to-Collide (21,0%), o TTSG demonstrou superioridade na geração de cenários que permitem treinamento seguro e eficaz.
  • O Driving Score (pontuação de condução) também foi competitivo, embora a prioridade de segurança às vezes leve a manobras mais conservadoras.

• Melhoria em Modelos de Legendagem (Captioning):

  • Modelos de legendagem de direção (como ADAPT) treinados com cenas geradas pelo TTSG apresentaram uma melhoria de mais de 30 pontos CIDEr na capacidade de raciocinar sobre ações e narrar cenários críticos, superando significativamente os modelos base.

• Qualidade do Planejamento e Diversidade:

  • Precisão: O framework atingiu alta precisão na correspondência entre o prompt e a cena gerada (Acuidade de Agentes e Estradas > 90% em muitos casos).
  • Diversidade: O sistema demonstrou capacidade de gerar variações únicas de estradas e agentes para o mesmo prompt, evitando repetição.
  • Robustez: Testes com diferentes LLMs (GPT-4o, Claude-3.5, Gemini, Gemma) mostraram que o pipeline funciona bem tanto com modelos proprietários quanto com modelos de código aberto, mantendo baixas taxas de falha (< 7% mesmo em modelos menores).

---

5. Significado e Impacto

O trabalho TTSG representa um avanço significativo na simulação para veículos autônomos ao:

• Democratizar a criação de cenários: Permite que engenheiros e pesquisadores descrevam cenários complexos em linguagem natural, sem precisar de conhecimento profundo de configuração de mapas ou programação de trajetórias.
• Resolver o problema de "Grounding": Ao integrar o planejamento de agentes com a seleção de estradas baseada em geometria real, o sistema evita a geração de cenas fisicamente impossíveis (ex: um carro tentando virar em uma estrada sem saída).
• Foco em Segurança: A capacidade de gerar sistematicamente cenários críticos e raros é crucial para validar a segurança dos sistemas de direção autônoma antes do deploy no mundo real.
• Interpretabilidade: Diferente de métodos de "caixa preta" baseados em otimização adversarial, o TTSG oferece um processo de geração interpretável, onde cada decisão (escolha de estrada, ação do agente) pode ser rastreada até o prompt original.

Em resumo, o TTSG oferece uma solução flexível, interpretável e orientada à segurança para a geração de dados sintéticos, preenchendo uma lacuna crítica entre a descrição humana de cenários e a execução técnica em simuladores de direção autônoma.