Declarative Scenario-based Testing with RoadLogic

O artigo apresenta o RoadLogic, uma ferramenta de código aberto que utiliza Programação em Conjuntos de Respostas, planejamento de movimento e monitoramento baseado em especificações para transformar automaticamente definições declarativas de cenários (OpenSCENARIO) em simulações executáveis e verificadas para testes de veículos autônomos.

O essencial

Imagine que você é um instrutor de direção para um carro autônomo (um carro que se dirige sozinho). Para garantir que esse carro é seguro, você precisa testá-lo em milhões de situações diferentes: chovendo, com pedestres correndo, em estradas de terra, etc.

O problema é que testar tudo isso na vida real é caro, perigoso e demorado. Então, os engenheiros usam simulações (como um jogo de computador super realista) para fazer esses testes.

Aqui entra o RoadLogic, a "estrela" deste artigo. Vamos explicar como ele funciona usando analogias simples:

1. O Problema: O "Guia de Receitas" vs. O "Cozinheiro"

Antes do RoadLogic, existiam dois tipos de "receitas" para criar esses testes:

• Receitas Imperativas (O jeito antigo): Era como dar uma ordem passo a passo muito rígida: "Vire à esquerda, acelere 5km/h, freie agora". O engenheiro tinha que escrever manualmente milhares de variações dessa receita para cobrir todas as possibilidades. Era trabalhoso e chato.
• Receitas Declarativas (O novo jeito - OS2): É como dizer ao cozinheiro: "Faça um bolo de chocolate". Você define o objetivo (o bolo), mas não diz exatamente como bater os ovos ou quanto tempo assar. Isso é ótimo porque é mais rápido de escrever, mas cria um problema: como o computador sabe exatamente como fazer o bolo sem queimar a cozinha?

Até agora, não havia uma ferramenta gratuita e automática que pegasse essa "receita de bolo" (o objetivo abstrato) e dissesse ao computador exatamente como cozinhar (criar a simulação realista) sem queimar o fogão.

2. A Solução: O RoadLogic (O "Chef de Cozinha" Inteligente)

O RoadLogic é a primeira ferramenta de código aberto que faz essa ponte. Ele pega a receita abstrata e transforma em uma simulação realista. Ele funciona em três etapas principais, como se fosse uma equipe de chefes:

Etapa 1: O Tradutor (Autômatos Simbólicos)

Primeiro, o RoadLogic pega a linguagem de "receita" (OpenSCENARIO DSL) e a traduz para um mapa mental. Imagine que ele transforma o texto "Faça um bolo" em um diagrama de fluxo: Ingredientes -> Misturar -> Assar -> Decorar.

• Analogia: É como transformar um poema abstrato em um roteiro de filme com cenas e falas.

Etapa 2: O Planejador Lógico (Programação de Resposta a Conjuntos - ASP)

Aqui entra a mágica da lógica. O RoadLogic usa um "cérebro" matemático (chamado ASP) para resolver um quebra-cabeça.

• A Analogia: Imagine que você tem um tabuleiro de xadrez gigante. O objetivo é mover as peças do ponto A ao ponto B seguindo regras estritas (ex: "o cavalo não pode pular em cima do rei"). O RoadLogic calcula milhões de movimentos possíveis em segundos para encontrar um caminho que funcione. Ele decide: "Ok, para o carro A ultrapassar o B, ele precisa mudar de faixa no segundo 5 e acelerar no segundo 6".
• Ele cria um plano de alto nível: "Faça isso, depois aquilo".

Etapa 3: O Executor e o Fiscal (Planejamento de Movimento e Monitoramento)

Agora que temos o plano lógico, precisamos torná-lo real.

• O Executor: O RoadLogic pega esse plano e o entrega a um "piloto virtual" (um planejador de movimento chamado FrenetiX). Esse piloto é quem realmente move o carro no simulador, calculando a física, a curvatura da estrada e evitando batidas.
• O Fiscal: Enquanto o carro se move, o RoadLogic vigia tudo. Ele compara o que está acontecendo na simulação com a receita original.
  • Exemplo: Se a receita dizia "O carro A deve ficar à frente do B", mas na simulação o carro A bateu no B, o Fiscal grita: "NÃO! Isso não é o que pedimos!". O teste é descartado e o RoadLogic tenta criar um novo plano.

3. Por que isso é incrível? (Os Resultados)

Os autores testaram o RoadLogic com vários cenários, como ultrapassagens, mudanças de faixa e desvios de obstáculos.

• Velocidade: Eles conseguiram criar simulações realistas em minutos.
• Variedade: O RoadLogic consegue criar muitas versões diferentes do mesmo teste. Se você pedir "Faça uma ultrapassagem", ele pode fazer uma onde o carro vai rápido, outra onde vai devagar, outra onde a estrada é estreita. Isso é ótimo para encontrar falhas que só aparecem em situações específicas.
• Segurança: Ele garante que, não importa como o carro se mova, ele sempre respeitou a regra original que o engenheiro escreveu.

Resumo em uma frase

O RoadLogic é como um assistente de direção super inteligente que pega uma ideia vaga de um teste de trânsito (ex: "faça uma ultrapassagem segura") e automaticamente cria, executa e fiscaliza milhares de simulações reais no computador para garantir que o carro autônomo não vai bater em ninguém, tudo isso de forma automática e gratuita.

Isso abre as portas para testar carros autônomos de forma muito mais rápida, barata e segura, antes mesmo deles saírem de fábrica.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Declarative Scenario-based Testing with RoadLogic", estruturado conforme solicitado:

1. Problema

O teste de veículos autônomos (AVs) é inerentemente complexo e perigoso se realizado exclusivamente no mundo real. A validação baseada em simulação é essencial, mas enfrenta um desafio fundamental na definição de cenários:

• Abordagens Imperativas Atuais: Linguagens existentes (como OpenSCENARIO XML ou Scenic) são operacionais e imperativas. Elas exigem que os desenvolvedores enumerem manualmente muitas variantes de cenários para garantir cobertura, o que é trabalhoso e pouco escalável.
• Limitação das Abordagens Declarativas: A linguagem OpenSCENARIO DSL (OS2) permite a definição de cenários em um nível de abstração mais alto, descrevendo a intenção (o "o quê") em vez da execução detalhada (o "como"). No entanto, não existem métodos sistemáticos e de código aberto para instanciar essas especificações declarativas em simulações concretas e executáveis que garantam a conformidade com a especificação original.
• Lacuna: Há uma desconexão entre a especificação abstrata de um cenário e a geração de uma simulação física realista que satisfaça todas as restrições lógicas e espaciais definidas.

2. Metodologia

O artigo apresenta o RoadLogic, um framework de código aberto que preenche essa lacuna através de um pipeline de cinco etapas, integrando Programação em Resposta a Conjuntos (ASP), planejamento de movimento e monitoramento em tempo de execução:

1. Tradução para Autômatos Simbólicos:

   • A especificação OS2 é parseada e traduzida em um Autômato Finito Simbólico (SFA).
   • Neste modelo, os nós representam manobras e as transições são anotadas com predicados lógicos que definem restrições espaciais, temporais e relacionais entre os agentes (veículos).

2. Codificação em ASP (Planejamento de Alto Nível):

   • O autômato simbólico é codificado como um problema de planejamento discreto usando Answer Set Programming (ASP) (especificamente o solver clingo).
   • O ambiente é discretizado em uma grade (tempo e espaço/lane).
   • O solver gera um plano abstrato (uma sequência de estados e ações) que satisfaz as restrições do cenário e as regras de domínio (ex: evitar colisões, limites de velocidade).
   • Utiliza-se a técnica de multi-shot solving para resolver o problema de forma incremental, expandindo o horizonte temporal até que os objetivos sejam alcançados.

3. Concretização via Planejamento de Movimento:

   • O plano abstrato do ASP é convertido em uma sequência de waypoints (pontos de referência).
   • O framework FrenetiX (integrado ao ambiente de simulação CommonRoad) utiliza esses waypoints para gerar trajetórias contínuas e fisicamente viáveis, respeitando a dinâmica do veículo e a geometria da pista.
   • O RoadLogic estende o planejador para lidar com múltiplos objetivos intermediários, permitindo que o veículo replaneje dinamicamente ao atingir cada etapa do plano abstrato.

4. Monitoramento e Verificação:

   • Durante a execução da simulação, um monitor de tempo de execução (gerado a partir do autômato simbólico original) verifica se a trajetória real do veículo está em conformidade com a especificação OS2.
   • Se a simulação violar a especificação (ex: falhar em atingir uma posição relativa exigida), a instância é rejeitada e um novo plano é gerado.

5. Amostragem de Parâmetros:

   • Para gerar diversidade, o framework permite a amostragem aleatória de parâmetros de entrada (ex: distâncias iniciais, velocidades), criando diferentes problemas de planejamento ASP a partir da mesma especificação lógica.

3. Principais Contribuições

• RoadLogic: O primeiro framework de código aberto capaz de transformar automaticamente especificações declarativas OS2 em simulações executáveis e monitoráveis.
• Pipeline End-to-End: Uma integração completa que vai da especificação lógica à simulação física, garantindo que apenas simulações fiéis à intenção abstrata sejam mantidas.
• Abordagem Híbrida: Combina a capacidade de raciocínio lógico e busca combinatória do ASP com a precisão física do planejamento de movimento e a verificação formal via autômatos simbólicos.
• Geração de Diversidade: Demonstra a capacidade de produzir múltiplas variantes comportamentais a partir de uma única especificação abstrata através da amostragem de parâmetros.

4. Resultados

A avaliação foi realizada em um conjunto de 7 especificações OS2 (incluindo ultrapassagens, seguimento de veículo, mudança de faixa e desvio de obstáculos) no ambiente CommonRoad:

• Eficácia (RQ1): O RoadLogic gerou com sucesso simulações realistas que satisfazem as especificações OS2 na maioria dos casos. O tempo total de geração (planejamento + execução + monitoramento) foi geralmente de alguns minutos.
• Diversidade (RQ2):
  • A estratégia "base" (sem amostragem de parâmetros) gerou pouca diversidade devido à natureza de busca em profundidade do solver ASP.
  • A estratégia "refinada" (com amostragem de parâmetros) produziu uma alta variabilidade nas trajetórias geradas, capturando diferentes comportamentos e interações, embora com um custo computacional maior e uma taxa de sucesso ligeiramente menor (devido a timeouts em cenários complexos).
• Desempenho: A etapa de execução (simulação) dominou o tempo total na maioria dos casos, exceto em cenários com manobras complexas que tornaram o planejamento ASP o gargalo.

5. Significância

O trabalho do RoadLogic é significativo porque:

• Automatiza a Validação: Elimina a necessidade de enumeração manual de cenários, permitindo a exploração sistemática do espaço de cenários para testes de AVs.
• Ponte entre Abstração e Realidade: Resolve o problema crítico de como transformar intenções de alto nível (declarativas) em testes concretos sem perder o controle sobre a conformidade com a especificação original.
• Segurança e Reutilização: Ao garantir que a simulação respeite a especificação formal, aumenta a confiança nos testes de segurança e permite a reutilização de especificações abstratas em diferentes contextos de simulação.
• Código Aberto: Ao disponibilizar a ferramenta, promove a reprodutibilidade e o avanço na área de testes de sistemas autônomos, preenchendo uma lacuna existente em relação a soluções comerciais ou proprietárias.

Em resumo, o RoadLogic estabelece uma nova base metodológica para o teste baseado em cenários declarativos, tornando viável a geração automática de testes complexos e diversificados para veículos autônomos.