Operating Within the Operational Design Domain: Zero-Shot Perception with Vision-Language Models

Resumo Técnico: Operação dentro do Domínio de Projeto Operacional com Modelos Visão-Linguagem de Zero-Shot

Declaração do Problema
A adoção generalizada de Sistemas de Condução Autônoma (ADS) é limitada não apenas pela capacidade, mas pela necessidade de segurança verificável e conformidade com padrões regulatórios rigorosos. Um conceito central nessas regulamentações é o Domínio de Projeto Operacional (ODD), que define as condições ambientais e operacionais específicas sob as quais um ADS deve funcionar com segurança. Garantir a conformidade com o ODD exige sistemas de percepção capazes de detectar uma vasta gama de elementos ambientais estáticos e transitórios (por exemplo, marcações viárias, condições climáticas, sinalização e estados de superfície). Abordagens tradicionais, que dependem de modelos de percepção específicos para tarefas desenvolvidos manualmente, são ineficientes para a natureza diversa e em evolução das taxonomias de ODD. Há uma necessidade crítica de um sistema de percepção flexível e adaptável que possa reconhecer elementos complexos de ODD sem retreinamento extensivo, particularmente para condições raras ou em evolução que são impraticáveis de mapear exaustivamente com antecedência.

Metodologia
Os autores investigam o potencial dos Modelos Visão-Linguagem (VLMs) para funcionar como "sensores de ODD de zero-shot". O estudo emprega um desenho experimental multifase:

1. Construção do Conjunto de Dados: Os autores criaram um conjunto de dados personalizado, ODD-TAX-232, composto por 2.320 imagens representando 232 conceitos distintos de ODD. Esses conceitos são categorizados em cinco grupos: Sinalização de Trânsito, Marcações Viárias, Elementos de Paisagem, Condições Climáticas e Condições de Ativação. O conjunto de dados foca em características ambientais de granularidade fina relevantes para infraestruturas europeias, do Reino Unido e dos EUA, excluindo objetos em movimento para isolar as capacidades de percepção estática.
2. Otimização de Zero-Shot: Antes de comparar os modelos, os autores conduziram um estudo de ablação no modelo GPT-4o para identificar estratégias de prompt ótimas. Eles testaram várias abordagens, incluindo:
   • Linha de Base: Listas de taxonomia planas e alias de rótulos.
   • Orientado a Processo: Refinamento automático, pipelines de dois estágios (por exemplo, classificação dependente da via) e Decomposição de Persona (atribuindo papéis especializados como "Especialista em Clima" ou "Especialista em Sinalização").
   • Melhorias de Raciocínio: Prompting de Cadeia de Pensamento (CoT) para impor etapas intermediárias de raciocínio.
   • Geração Aumentada por Recuperação (RAG): Integração de bases de conhecimento externas para reduzir o uso de tokens.
   • Encadeamento: Pipelines de múltiplos estágios onde as saídas de um estágio informam o próximo.
3. Avaliação do Modelo: Usando a estratégia de prompt de melhor desempenho (Persona + CoT), os autores avaliaram quatro VLMs:
   • Geral de Código Fechado: GPT-4o e Gemini 2.5 Pro.
   • Geral de Código Aberto: Llama 4 Maverick.
   • Especializado de Código Aberto: Molmo-72B.
4. Tarefas: A avaliação cobriu duas tarefas:
   • Classificação: Determinar se uma imagem contém um elemento específico de ODD de verdade (medido pelo Recall).
   • Detecção: Localizar o elemento dentro da imagem usando coordenadas de caixas delimitadoras (medido por Precisão, F1-score e precisão espacial via Erro L2 Médio). Isso foi testado tanto no conjunto de dados personalizado ODD-TAX-232 quanto no conjunto de dados Mapillary Vistas (que forneceu anotações de caixas delimitadoras).

Principais Contribuições
O artigo contribui com três artefatos primários para o campo:

1. Estudo Empírico: Uma análise abrangente da classificação e detecção de ODD de zero-shot em quatro VLMs, incluindo uma análise detalhada de falhas de padrões de erro comuns.
2. Análise de Otimização: Uma ablação de estratégias de otimização de zero-shot, fornecendo uma visão geral de custo-desempenho (orçamento de tokens vs. recall) e identificando que o prompting de Cadeia de Pensamento ancorado em definições com decomposição de persona produz os melhores resultados.
3. Recursos Abertos: Um conjunto publicamente disponível de modelos de prompt reutilizáveis, diretrizes de adaptação e o conjunto de dados ODD-TAX-232 para facilitar pesquisas e extensões futuras.

Resultados

• Estratégia de Prompting: A estratégia Persona + CoT alcançou o maior recall (0,73) no ODD-TAX-232, superando significativamente a linha de base (0,40) e outras estratégias como RAG ou pipelines em cascata (que frequentemente reduziram o desempenho devido à propagação de erros). No entanto, esse alto desempenho veio com um custo substancial de tokens (~25.000 tokens por amostra).
• Desempenho do Modelo (Classificação): Modelos de código fechado (GPT-4o e Gemini 2.5 Pro) demonstraram desempenho superior (Recall ~0,72–0,73) em comparação com alternativas de código aberto (Llama 4 Maverick em 0,67, Molmo-72B em 0,45). Embora GPT-4o e Gemini 2.5 Pro fossem comparáveis no geral, o GPT-4o mostrou uma vantagem no reconhecimento de sinalização e clima, enquanto o Gemini se destacou em marcações e paisagem.
• Desempenho do Modelo (Detecção): No conjunto de dados Mapillary Vistas, o GPT-4o alcançou o melhor equilíbrio entre precisão (0,82) e recall (0,922), resultando no maior F1-score (0,87). O Gemini 2.5 Pro teve o maior recall (0,977), mas precisão menor. O Llama 4 Maverick demonstrou a maior precisão espacial (menor erro L2), mas ficou atrás no F1-score geral. O Molmo-72B teve desempenho pobre em precisão e F1-score.
• Discrepância do Conjunto de Dados: Todos os modelos desempenharam significativamente melhor no Mapillary Vistas do que no ODD-TAX-232. Os autores atribuem isso às categorias mais grosseiras e comuns no Mapillary versus os conceitos de granularidade fina, raros e críticos para a segurança no ODD-TAX-232, que são menos frequentes nos dados de pré-treinamento.

Significado e Alegações
Os autores concluem que, embora os VLMs mostrem potencial promissor para o reconhecimento de ODD, um recall de zero-shot de aproximadamente 0,73 é insuficiente para implantação de produção autônoma a bordo em aplicações críticas para a segurança, onde violações de ODD não detectadas poderiam levar à ativação insegura do sistema.

Em vez disso, o artigo posiciona os VLMs como ferramentas altamente viáveis para aplicações offline, tais como:

• Auditoria de ODD pré-rota.
• Relatórios de conformidade regulatória.
• Inicialização de simulação.

Nesses contextos, o custo de detecções perdidas é menor, e a supervisão humana pode compensar erros residuais. O estudo enfatiza que o design dos prompts (especificamente CoT com decomposição de persona) é tão crítico quanto a seleção do modelo. Além disso, os autores argumentam que métricas agregadas em conjuntos de dados gerais como o Mapillary Vistas podem superestimar a prontidão para percepção de ODD; avaliações conscientes da taxonomia, focando em elementos de granularidade fina e críticos para a segurança, são essenciais para uma avaliação precisa. O trabalho abre caminho para sistemas de percepção baseados em ODD transparentes, eficazes e adaptáveis, desde que sejam utilizados dentro de limites de segurança apropriados.