Operating Within the Operational Design Domain: Zero-Shot Perception with Vision-Language Models

Résumé Technique : Fonctionnement au sein du Domaine de Conception Opérationnel avec des Modèles Vision-Langage Zero-Shot

Énoncé du Problème
L'adoption généralisée des Systèmes de Conduite Autonome (ADS) est contrainte non seulement par les capacités, mais par la nécessité d'une sécurité vérifiable et du respect de normes réglementaires strictes. Un concept central dans ces réglementations est le Domaine de Conception Opérationnel (ODD), qui définit les conditions environnementales et opérationnelles spécifiques dans lesquelles un ADS est destiné à fonctionner en toute sécurité. Garantir la conformité à l'ODD nécessite des systèmes de perception capables de détecter une vaste gamme d'éléments environnementaux statiques et transitoires (par exemple, marquages au sol, conditions météorologiques, signalisation et états de surface). Les approches traditionnelles reposant sur des modèles de perception spécifiques à une tâche, développés manuellement, sont inefficaces face à la nature diverse et évolutive des taxonomies ODD. Il existe un besoin critique d'un système de perception flexible et adaptable capable de reconnaître des éléments ODD complexes sans réentraînement extensif, en particulier pour des conditions rares ou évolutives qu'il est peu pratique de cartographier exhaustivement à l'avance.

Méthodologie
Les auteurs examinent le potentiel des Modèles Vision-Langage (VLM) pour fonctionner en tant que « capteurs ODD zero-shot ». L'étude emploie une conception expérimentale en plusieurs phases :

1. Construction de l'ensemble de données : Les auteurs ont créé un ensemble de données personnalisé, ODD-TAX-232, comprenant 2 320 images représentant 232 concepts ODD distincts. Ces concepts sont catégorisés en cinq groupes : Signalisation Routière, Marquages au Sol, Éléments de Paysage, Conditions Météorologiques et Conditions Déclencheuses. L'ensemble de données se concentre sur des caractéristiques environnementales fines pertinentes pour les infrastructures européennes, britanniques et américaines, en excluant les objets en mouvement pour isoler les capacités de perception statique.
2. Optimisation Zero-Shot : Avant de comparer les modèles, les auteurs ont mené une étude d'ablation sur le modèle GPT-4o pour identifier les stratégies de prompt optimales. Ils ont testé diverses approches, notamment :
   • Base : Listes de taxonomie plates et alias d'étiquettes.
   • Orienté Processus : Auto-affinement, pipelines à deux étapes (par exemple, classification dépendante de la route) et Décomposition de Persona (attribution de rôles spécialisés comme « Expert Météo » ou « Expert Signalisation »).
   • Améliorations du Raisonnement : Prompting Chain-of-Thought (CoT) pour imposer des étapes de raisonnement intermédiaires.
   • Génération Augmentée par Récupération (RAG) : Intégration de bases de connaissances externes pour réduire l'utilisation de tokens.
   • Chaînage : Pipelines multi-étapes où les sorties d'une étape informent la suivante.
3. Évaluation des Modèles : En utilisant la stratégie de prompt la plus performante (Persona + CoT), les auteurs ont évalué quatre VLM :
   • Général Propriétaire : GPT-4o et Gemini 2.5 Pro.
   • Général Open-source : Llama 4 Maverick.
   • Spécialisé Open-source : Molmo-72B.
4. Tâches : L'évaluation a couvert deux tâches :
   • Classification : Déterminer si une image contient un élément ODD spécifique de vérité terrain (mesuré par le Rappel).
   • Détection : Localiser l'élément dans l'image en utilisant des coordonnées de boîtes englobantes (mesuré par la Précision, le score F1 et la précision spatiale via l'Erreur L2 Moyenne). Cela a été testé à la fois sur l'ODD-TAX-232 personnalisé et sur l'ensemble de données Mapillary Vistas (qui fournissait des annotations de boîtes englobantes).

Contributions Clés
L'article contribue à trois artefacts principaux dans le domaine :

1. Étude Empirique : Une analyse complète de la classification et de la détection ODD zero-shot à travers quatre VLM, incluant une analyse détaillée des échecs et des motifs d'erreurs courants.
2. Analyse d'Optimisation : Une ablation des stratégies d'optimisation zero-shot, fournissant un aperçu coût-performance (budget de tokens vs rappel) et identifiant que le prompting Chain-of-Thought ancré sur la définition avec décomposition de persona produit les meilleurs résultats.
3. Ressources Ouvertes : Une suite publiquement disponible de modèles de prompt réutilisables, de directives d'adaptation et de l'ensemble de données ODD-TAX-232 pour faciliter les recherches et extensions futures.

Résultats

• Stratégie de Prompting : La stratégie Persona + CoT a atteint le rappel le plus élevé (0,73) sur ODD-TAX-232, surpassant significativement la base (0,40) et d'autres stratégies comme RAG ou les pipelines en cascade (qui ont souvent réduit les performances en raison de la propagation des erreurs). Cependant, cette haute performance s'est accompagnée d'un coût substantiel en tokens (~25 000 tokens par échantillon).
• Performance des Modèles (Classification) : Les modèles propriétaires (GPT-4o et Gemini 2.5 Pro) ont démontré des performances supérieures (Rappel ~0,72–0,73) par rapport aux alternatives open-source (Llama 4 Maverick à 0,67, Molmo-72B à 0,45). Bien que GPT-4o et Gemini 2.5 Pro soient comparables dans l'ensemble, GPT-4o a montré un avantage dans la reconnaissance de la signalisation et de la météo, tandis que Gemini excellait dans les marquages et le paysage.
• Performance des Modèles (Détection) : Sur l'ensemble de données Mapillary Vistas, GPT-4o a atteint le meilleur équilibre entre précision (0,82) et rappel (0,922), résultant en le score F1 le plus élevé (0,87). Gemini 2.5 Pro avait le rappel le plus élevé (0,977) mais une précision plus faible. Llama 4 Maverick a démontré la précision spatiale la plus élevée (erreur L2 la plus faible) mais a pris du retard sur le score F1 global. Molmo-72B a mal performé en précision et en score F1.
• Discrépance des Ensembles de Données : Tous les modèles ont performé significativement mieux sur Mapillary Vistas que sur ODD-TAX-232. Les auteurs attribuent cela aux catégories plus grossières et plus courantes dans Mapillary par rapport aux concepts fins, rares et critiques pour la sécurité dans ODD-TAX-232, qui sont moins fréquents dans les données de pré-entraînement.

Signification et Revendications
Les auteurs concluent que, bien que les VLM montrent un potentiel prometteur pour la reconnaissance ODD, un rappel zero-shot d'environ 0,73 est insuffisant pour un déploiement de production autonome à bord dans des applications critiques pour la sécurité où des violations ODD non détectées pourraient entraîner une activation du système dangereuse.

Au lieu de cela, l'article positionne les VLM comme des outils hautement viables pour des applications hors ligne, telles que :

• Audit ODD pré-trajet.
• Rapports de conformité réglementaire.
• Amorçage de simulations.

Dans ces contextes, le coût des détections manquées est plus faible, et la supervision humaine peut compenser les erreurs résiduelles. L'étude souligne que la conception des prompts (spécifiquement CoT avec décomposition de persona) est aussi critique que le choix du modèle. De plus, les auteurs soutiennent que les métriques agrégées sur des ensembles de données généraux comme Mapillary Vistas peuvent surestimer la préparation pour la perception ODD ; des évaluations conscientes de la taxonomie, se concentrant sur des éléments fins et critiques pour la sécurité, sont essentielles pour une évaluation précise. Ce travail ouvre la voie à des systèmes de perception basés sur l'ODD transparents, efficaces et adaptables, à condition qu'ils soient utilisés dans des limites de sécurité appropriées.