Beyond Fixed Thresholds and Domain-Specific Benchmarks for Explainable Multi-Task Classification in Autonomous Vehicles

Cet article propose une méthodologie de sélection adaptative des seuils pour surmonter les limites des seuils fixes dans la perception de la conduite autonome multi-tâches et introduit le jeu de données IUST-XAI-AD afin de permettre l'explicabilité interculturelle et une évaluation plus robuste des systèmes de véhicules autonomes.

L'essentiel

Imaginez que vous enseigniez à un robot à conduire une voiture. Vous ne voulez pas seulement que le robot sache quoi faire (comme « s'arrêter » ou « tourner à gauche »), mais aussi qu'il explique pourquoi il le fait (comme « parce qu'il y a un piéton » ou « parce que le feu est rouge ». C'est l'objectif de l'IA explicable dans les voitures autonomes.

Cependant, les auteurs de cet article ont identifié deux grands problèmes :

1. La règle du « taille unique » : La plupart des robots sont programmés avec une règle rigide : « Si vous êtes sûr à plus de 50 %, prenez une décision. » Les auteurs appellent cela un « seuil fixe ». Ils soutiennent que c'est comme dire à un humain : « Si vous êtes sûr à 50 % qu'il pleut, prenez un parapluie. » Cela ne fonctionne pas bien ! Parfois, vous devez être sûr à 90 % avant d'agir (comme s'arrêter pour un enfant), et parfois 50 % suffit. L'article montre que l'utilisation d'une seule règle de 50 % pour chaque situation fait que le robot commet plus d'erreurs.
2. Le « biais occidental » dans l'entraînement : La plupart des robots sont entraînés sur des données provenant de lieux comme la Californie ou l'Allemagne. Mais conduire à Téhéran, en Iran, est très différent. Il y a plus de motos, des habitudes de circulation différentes et des agencements routiers différents. Si vous entraînez un robot uniquement sur des routes occidentales, il risque de se perdre lorsqu'il verra une rue chaotique du Moyen-Orient.

Voici comment les auteurs ont résolu ces problèmes, expliqué simplement :

1. Réglage du « cadran de confiance » (le seuil)

Imaginez le cerveau du robot comme ayant un cadran de volume pour chaque décision.

• L'ancienne méthode : Tout le monde réglait le cadran exactement sur « 5 » (50 % de confiance) et ne le touchait plus jamais.
• La nouvelle méthode : Les auteurs ont testé le cadran à chaque réglage, de 1 à 10. Ils ont découvert que pour certaines tâches (comme décider de « s'arrêter »), le robot fonctionne mieux lorsque le cadran est réglé sur « 3 » (30 % de confiance). Pour d'autres tâches (comme expliquer pourquoi il s'est arrêté), « 4 » (40 %) est préférable.

L'analogie : Imaginez que vous êtes un gardien de sécurité vérifiant les cartes d'identité.

• Si vous êtes trop strict (seuil élevé), vous ne laissez entrer personne, même s'ils sont amicaux (vous manquez de bonnes opportunités).
• Si vous êtes trop laxiste (seuil bas), vous laissez entrer tout le monde, y compris les mauvais acteurs (vous commettez des erreurs dangereuses).
• Les auteurs ont découvert que pour différents types de « mauvais acteurs » (différentes tâches de conduite), vous avez besoin d'un niveau de sévérité différent. En ajustant le « cadran de sévérité » pour chaque tâche spécifique, le robot est devenu beaucoup plus intelligent et plus sûr.

2. La nouvelle « école de conduite du Moyen-Orient » (l'ensemble de données)

Les auteurs ont réalisé que les ensembles de données de conduite existants ressemblaient à une école de conduite qui n'enseignait que comment conduire sur des autoroutes vides et droites en Europe. Ils n'enseignaient pas comment gérer une rue de marché animée et chaotique en Iran.

• La solution : Ils ont créé un nouvel ensemble de données appelé IUST-XAI-AD.
• Ce qu'il contient : 958 photos réelles prises à Qom, en Iran.
• Pourquoi c'est spécial : C'est comme un niveau « mode difficile » dans un jeu vidéo. Il contient beaucoup plus de motos, plus de piétons et des schémas de circulation plus complexes que les ensembles de données standards.
• Le résultat : Lorsqu'ils ont testé leur robot sur ce nouveau « mode difficile », il a eu plus de mal que sur les routes européennes faciles. Cela prouve que le nouvel ensemble de données est un test meilleur et plus rigoureux pour déterminer si un robot est vraiment prêt pour le monde réel.

3. Le « Pourquoi » compte autant que le « Quoi »

Le robot doit faire deux choses en même temps :

1. Action : « Arrêtez la voiture. »
2. Raison : « Parce qu'une personne traverse. »

Les auteurs ont découvert que le robot est en fait meilleur pour deviner l'action (Arrêter/Aller) que pour deviner la raison (Pourquoi ?). C'est comme un étudiant qui peut répondre facilement à des questions « Vrai/Faux » mais qui a du mal à rédiger l'essai expliquant pourquoi la réponse est vraie. En utilisant leurs nouveaux « cadrans réglés » (seuils), ils ont aidé le robot à s'améliorer à la fois dans l'action et dans l'explication.

La conclusion

L'article déclare :

• Arrêtez d'utiliser la même règle de 50 % pour tout. Ajustez vos niveaux de confiance en fonction de la tâche spécifique.
• Ne testez pas les robots uniquement sur des routes occidentales. Vous devez les tester sur des routes diverses et chaotiques (comme celles du Moyen-Orient) pour voir s'ils sont vraiment sûrs.
• L'explicabilité est essentielle. Une voiture autonome n'est pas seulement une machine ; elle doit pouvoir vous dire pourquoi elle a pris une décision afin que les humains puissent lui faire confiance.

En réglant les « cadrans » et en testant sur des « routes plus difficiles », les auteurs ont construit une meilleure fondation pour les voitures autonomes qui peuvent être fiables partout dans le monde, et pas seulement dans des endroits qui ressemblent à la Californie.

Résumé technique

Résumé Technique : Au-delà des Seignes Fixes et des Benchmarks Spécifiques à un Domaine pour la Classification Multi-Tâches Explicable dans les Véhicules Autonomes

Énoncé du Problème
Les systèmes de conduite autonome reposent sur des modèles d'apprentissage profond qui sont souvent des « boîtes noires », manquant de la transparence requise pour un déploiement critique pour la sécurité et la confiance humaine. Bien que des cadres d'apprentissage multi-tâches aient émergé pour prédire simultanément les actions de conduite et leur raisonnement sous-jacent (Intelligence Artificielle Explicable ou XAI), les approches actuelles font face à deux limitations principales. Premièrement, elles reposent principalement sur des seuils de confiance fixes (généralement 0,5) pour convertir les sorties continues des modèles en prédictions discrètes. Cette approche « unique pour tous » ignore la complexité variable et les déséquilibres de classes inhérents aux différentes tâches de prédiction, pouvant entraîner des performances sous-optimales ou des risques pour la sécurité. Deuxièmement, les benchmarks d'évaluation existants, tels que Berkeley Deep Drive (BDD-OIA) et nuScenes Action and Reasons (nu-AR), sont fortement biaisés vers les contextes de conduite occidentaux. Ce manque de diversité culturelle limite l'évaluation de la généralisabilité des modèles à travers différents schémas de circulation, infrastructures routières et comportements de conduite mondiaux, en particulier dans les régions du Moyen-Orient.

Méthodologie
Les auteurs proposent une avancée méthodologique à double facette pour combler ces lacunes :

1. Analyse de Sensibilité des Seuils de Confiance :
   Au lieu d'utiliser un seuil statique, les auteurs introduisent un cadre systématique pour optimiser les frontières de décision pour la classification multi-tâches. Ils définissent des seuils de confiance séparés ($\tau_A$ pour l'action et $\tau_R$ pour la raison) et effectuent une recherche par grille sur la plage [0, 1] avec un pas de 0,1. Le cadre évalue quatre métriques distinctes : F1-action-global, F1-action-moyenne, F1-raison-global et F1-raison-moyenne. Cela permet d'identifier les paires de seuils optimales qui maximisent les performances pour des tâches spécifiques, reconnaissant que les prédictions d'action et de raison peuvent nécessiter des niveaux de confiance différents.

2. Construction du Jeu de Données IUST-XAI-AD :
   Pour pallier le manque de benchmarks culturellement diversifiés, les auteurs introduisent le jeu de données IUST-XAI-AD. Collecté à Qom, en Iran, ce jeu de données comprend 958 images de caméras de tableau de bord capturées dans diverses conditions d'éclairage. Chaque image est annotée manuellement par des experts avec :

   • Étiquettes d'Action : 4 catégories (Avancer, Arrêter/ralentir, Tourner à gauche, Tourner à droite).
   • Étiquettes de Raison : 21 catégories expliquant la décision de conduite (par exemple, « Obstacle : personne », « Feu tricolore est vert »).
     Le jeu de données est analysé pour sa complexité à l'aide d'un score pondéré ($C$) qui tient compte de la densité de piétons, de motards et de véhicules, attribuant des poids plus élevés aux usagers vulnérables de la route (piétons et motards) pour refléter leur profil de risque plus élevé.

Contributions Clés
L'article présente trois contributions interconnectées :

• Optimisation Systématique des Seuils : Une démonstration selon laquelle les seuils fixes sont sous-optimaux pour les scénarios multi-tâches. Les auteurs fournissent une méthodologie pour identifier des seuils optimaux spécifiques à la tâche, révélant que les pics de performance varient considérablement entre les tâches d'action et de raison.
• Nouveau Benchmark (IUST-XAI-AD) : L'introduction d'un jeu de données spécifiquement conçu pour la vision par ordinateur explicable dans les contextes de conduite persans. Ce jeu de données adresse les biais culturels et régionaux des benchmarks existants, offrant un environnement plus exigeant avec une densité d'objets plus élevée et des schémas de circulation distincts.
• Validation Complète Trans-Contextuelle : Une évaluation approfondie d'un modèle multi-tâches basé sur l'attention, précédemment proposé, à travers trois jeux de données (BDD-OIA, nu-AR et IUST-XAI-AD). Cela inclut une analyse comparative des performances du modèle, des métriques de complexité et des embeddings de caractéristiques pour évaluer la robustesse à travers différents environnements culturels.

Résultats Expérimentaux

• Sensibilité des Seuils : L'analyse sur le jeu de données BDD-OIA révèle que le seuil conventionnel de 0,5 n'est pas optimal. Le score F1-action-global maximal se produit à un seuil de 0,3 (71,85 %), tandis que le score F1-raison-global maximal se produit à 0,4 (54,77 %). L'étude identifie une « zone de fonctionnement robuste » entre 0,3 et 0,5 où toutes les métriques restent dans un écart de 1 % de leurs valeurs maximales, suggérant que bien que le réglage soit bénéfique, une plage de seuils peut produire des résultats quasi optimaux.
• Complexité du Jeu de Données : Le jeu de données IUST-XAI-AD présente une complexité significativement plus élevée (score de 2,0038) par rapport à BDD-OIA (0,8062) et nu-AR (0,5752). Cela est dû à une densité plus élevée de véhicules (1,66 par image contre 0,70 dans BDD-OIA) et à une densité de motards drastiquement plus élevée (0,164 par image, soit 19 à 24 fois plus que dans les jeux de données occidentaux), reflétant des conditions de trafic mixte courantes dans les villes du Moyen-Orient.
• Performance du Modèle : Lorsqu'il est testé sur IUST-XAI-AD, le modèle basé sur l'attention des auteurs surpasse la référence NLE-DM dans 9 métriques sur 12. Cependant, les métriques de performance globale (scores F1) chutent considérablement sur IUST-XAI-AD par rapport à BDD-OIA, indiquant que les différences culturelles et environnementales posent des défis fondamentalement nouveaux que les modèles actuels peinent à généraliser sans adaptation spécifique.
• Analyse des Caractéristiques : Les visualisations t-SNE des caractéristiques apprises montrent que le modèle regroupe avec succès les données par classes d'action et par contexte environnemental (par exemple, en séparant les infrastructures de circulation des obstacles dynamiques), bien qu'un certain chevauchement subsiste.

Signification et Revendications
L'article affirme que son travail fait progresser l'état de l'art de l'apprentissage multi-tâches explicable pour la conduite autonome en fournissant à la fois des outils méthodologiques et des ressources d'évaluation pratiques.

• Méthodologique : Il remet en question la pratique standard du seuillage fixe, arguant que la sélection des seuils devrait être un choix de conception basé sur des priorités opérationnelles spécifiques (par exemple, équilibrer la précision et le rappel) plutôt qu'un problème d'optimisation fixe.
• Pratique : Le jeu de données IUST-XAI-AD sert d'outil critique pour évaluer la généralisation interculturelle des systèmes autonomes, mettant en évidence des lacunes systématiques dans la robustesse des modèles que les évaluations mono-domaine manquent.
• Impact Plus Large : Les auteurs affirment que leurs contributions combinées accélèrent le développement de systèmes de conduite autonome plus fiables, explicables et culturellement adaptatifs, adaptés à un déploiement mondial. Ils soulignent qu'une validation complète à travers des contextes diversifiés est essentielle pour évaluer la véritable sécurité et la robustesse de ces systèmes.

L'article conclut en notant que, bien que le travail actuel établisse une référence pour la diversité culturelle et l'optimisation des seuils, les recherches futures devraient investiguer le réglage fin et la sensibilité des seuils spécifiquement pour les conditions météorologiques défavorables et étendre davantage l'évaluation à un éventail plus large de jeux de données géographiquement diversifiés.