💻 computer science

FSDAM: Few-Shot Driving Attention Modeling via Vision-Language Coupling

Le papier présente FSDAM, un cadre de modélisation de l'attention du conducteur en situation de few-shot qui, grâce à un couplage vision-langage et une architecture à double voie, prédit les regards et génère des explications structurées avec seulement 90 exemples annotés, tout en assurant une forte généralisation zéro-shot.

Auteurs originaux : Kaiser Hamid, Can Cui, Khandakar Ashrafi Akbar, Ziran Wang, Nade Liang

Publié 2026-03-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kaiser Hamid, Can Cui, Khandakar Ashrafi Akbar, Ziran Wang, Nade Liang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à conduire une voiture autonome. Pour qu'elle soit sûre, elle ne doit pas seulement voir la route, elle doit comprendre pourquoi un humain regarde quelque chose. Est-ce qu'il regarde un piéton parce qu'il a peur ? Est-ce qu'il regarde un feu rouge parce qu'il va s'arrêter ?

Le problème, c'est que pour enseigner cela aux ordinateurs, on a généralement besoin de milliers d'heures de vidéos où des gens portent des lunettes spéciales pour enregistrer où ils regardent. C'est cher, long et difficile à obtenir.

C'est là qu'intervient FSDAM, une nouvelle méthode présentée dans cet article. Voici comment elle fonctionne, expliquée simplement :

1. Le Problème : Apprendre avec très peu d'exemples

Imaginez que vous voulez apprendre à un enfant à reconnaître les dangers sur la route.

L'ancienne méthode : Vous lui montrez 10 000 photos de routes différentes. C'est efficace, mais ça prend une éternité.
La méthode FSDAM : Vous montrez à l'enfant seulement 90 photos (c'est tout !). Et pourtant, il apprend aussi bien, voire mieux, que s'il en avait vu des milliers.

Comment est-ce possible ? Parce que FSDAM ne se contente pas de dire "Regarde ici". Il apprend à raisonner.

2. La Solution : Le "Double Cerveau"

La grande innovation de FSDAM, c'est qu'il utilise deux "chemins" séparés qui travaillent ensemble, comme un duo de détectives :

Le Détective Visuel (Le regard) : Il pointe du doigt exactement où le conducteur regarde sur l'image (une carte de chaleur).
Le Détective Verbal (L'explication) : Il écrit une petite phrase pour expliquer pourquoi le conducteur regarde là.

L'analogie du chef et du cuisinier :
Imaginez un restaurant.

Le cuisinier (le modèle de vision) prépare le plat (la carte de regard).
Le chef (le modèle de langage) écrit la carte du jour pour expliquer les ingrédients.
Dans les anciennes méthodes, le cuisinier et le chef étaient la même personne, ce qui créait de la confusion quand il y avait peu de clients (peu de données).
Avec FSDAM, ils sont séparés. Le cuisinier se concentre sur la cuisson, le chef sur l'écriture. Mais ils se parlent tout le temps pendant la préparation pour s'assurer que le plat correspond à la description.

3. La Structure de l'Explication : Les 4 Questions Magiques

Pour que l'ordinateur apprenne vite, FSDAM force le modèle à répondre à quatre questions précises pour chaque image, comme un formulaire intelligent :

La Scène : "Où sommes-nous ?" (Ex: Une rue urbaine avec un passage piéton).
Le Regard Actuel : "Où le conducteur regarde-t-il maintenant ?" (Ex: Sur le piéton).
Le Regard Futur : "Où va-t-il regarder ensuite ?" (Ex: Il va rester sur le piéton).
Le Pourquoi : "Pourquoi ?" (Ex: Pour s'assurer que le piéton traverse en sécurité avant de démarrer).

En apprenant à répondre à ces questions avec seulement 90 exemples, le modèle comprend la logique de la conduite, pas juste la géométrie de l'image.

4. L'Entraînement "Fantôme" (Le secret de la réussite)

Il y a un petit truc astucieux dans FSDAM. Pendant l'entraînement, le modèle utilise une "colle" spéciale pour lier l'image et le texte. Mais une fois l'entraînement terminé, cette colle disparaît !

Pendant l'apprentissage : Le modèle utilise le texte pour s'assurer que ses yeux (la carte de regard) regardent les bons endroits. C'est comme un professeur qui corrige les devoirs en temps réel.
Pendant l'utilisation (sur la route) : Le modèle n'a plus besoin du texte. Il est plus rapide et plus léger, car il a déjà intégré la logique dans son cerveau.

5. Les Résultats : Un génie polyvalent

Même entraîné avec si peu de données, FSDAM est incroyable :

Il devine où les conducteurs regardent aussi bien que les modèles entraînés sur des millions d'images.
Il fonctionne sur des routes qu'il n'a jamais vues (comme des autoroutes ou des intersections complexes) sans avoir besoin de se réentraîner. C'est ce qu'on appelle la généralisation.
Il génère des explications claires et logiques, ce qui rend la voiture autonome plus "honnête" et compréhensible pour les humains.

En résumé

FSDAM est comme un élève surdoué qui, au lieu de lire 1000 manuels de conduite, lit seulement 90 histoires de conducteurs. Mais comme il comprend la structure de ces histoires (le contexte, l'action, le futur et la raison), il devient un expert instantanément.

C'est une avancée majeure car cela signifie que nous pourrons créer des voitures autonomes plus sûres et plus intelligentes, même dans des situations rares ou dangereuses où il est difficile de collecter des données.

1. Problématique

La modélisation de l'attention des conducteurs est cruciale pour la sécurité des véhicules autonomes et la collaboration humain-IA. Cependant, les approches existantes souffrent de deux limitations majeures :

Dépendance aux données massives : La plupart des modèles actuels traitent la prédiction de l'attention comme un problème de salience visuelle supervisé, nécessitant des ensembles de données massifs et densément annotés (des dizaines de milliers d'exemples) pour apprendre des distributions spatiales. La collecte de ces données est coûteuse, sensible à la vie privée et manque souvent de diversité dans les scénarios critiques.
Nature statique de l'attention : Les modèles traditionnels se concentrent sur la perception immédiate (où le conducteur regarde) sans capturer la nature sémantique et anticipatrice de l'attention humaine (pourquoi l'attention se déplace-t-elle ?). Ignorer la structure sémantique et l'anticipation des événements futurs limite l'interprétabilité et la généralisation.

L'objectif est donc de développer un système capable d'apprendre la prédiction de l'attention spatiale et d'expliquer les raisons de ces déplacements avec un nombre extrêmement réduit d'exemples annotés (Few-Shot Learning).

2. Méthodologie : FSDAM

Les auteurs proposent FSDAM, un cadre d'apprentissage qui joint la prédiction de la carte de regard (gaze map) et la génération d'explications structurées en langage naturel, entraîné sur seulement 90 exemples.

A. Formulation du problème et Annotation Structurée

Au lieu de prédire uniquement une carte de chaleur, le modèle apprend à générer une représentation de raisonnement structurée en quatre composantes :

Contexte de la scène (Scene) : Description globale de l'environnement.
Regard actuel (Current Gaze) : Ce sur quoi le conducteur fixe son attention à l'instant $t$ .
Prochain regard anticipé (Next Gaze) : Vers quoi l'attention va se déplacer à $t+\Delta$ .
Raison causale (Why) : L'explication sémantique du déplacement (règles de circulation, sécurité, anticipation).

Les données d'entraînement sont extraites du jeu de données BDD-A. Une sélection de clés temporelles basée sur la divergence de Kullback-Leibler (KL) identifie les moments de changement d'attention. Des paires de frames sont annotées via GPT-4o et vérifiées par des humains pour respecter ce format strict.

B. Architecture à Double Voie (Dual-Pathway)

Pour éviter le conflit de tâches et le surapprentissage (overfitting) inhérent aux modèles partageant une seule tête de sortie, FSDAM utilise une architecture découplée :

Voie de prédiction du regard (Gaze Pathway) : Un décodeur convolutif prend les caractéristiques visuelles extraites par un encodeur (CLIP-ViT) et prédit la carte de regard spatiale.
Voie de génération de légendes (Caption Pathway) : Un module de cross-attention génère le texte structuré à partir des mêmes caractéristiques visuelles et d'un modèle de langage (Mistral-7B).
Adaptation LoRA : Seuls les paramètres spécifiques aux tâches (via LoRA) sont mis à jour, tandis que le backbone vision-langage reste figé, permettant un apprentissage efficace avec peu de paramètres.

C. Alignement Vision-Langage (Training-Only)

Une innovation clé est un mécanisme d'alignement utilisé uniquement pendant l'entraînement :

Un module de contraste (InfoNCE loss) aligne les caractéristiques visuelles pondérées par la carte de regard prédite avec les caractéristiques textuelles de l'explication.
Cela injecte des priors sémantiques dans l'apprentissage spatial : le modèle est contraint de s'assurer que les zones où il prédit un regard correspondent aux objets mentionnés dans l'explication.
Ce module est désactivé à l'inférence, ne ajoutant aucune complexité computationnelle supplémentaire.

D. Régularisation Spatiale

Pour améliorer la précision spatiale avec peu de données, une régularisation "blur-gap" est ajoutée. Elle pénalise les prédictions qui ne se dégradent pas sous un lissage gaussien, forçant le modèle à produire des cartes de regard nettes et localisées plutôt que diffuses.

3. Contributions Clés

Première approche Few-Shot pour la génération basée sur l'attention : FSDAM est le premier modèle à réussir la prédiction conjointe de l'attention spatiale et de l'explication linguistique avec seulement 90 exemples (deux ordres de grandeur plus efficace que les méthodes précédentes comme LLada).
Formulation du raisonnement structuré : Redéfinition de la modélisation de l'attention comme une anticipation structurée (Contexte, Actuel, Futur, Pourquoi) plutôt que comme une simple salience statique.
Architecture à double voie avec alignement temporaire : Une conception qui découple les tâches pour éviter le transfert négatif, tout en utilisant l'alignement vision-langage uniquement à l'entraînement pour guider l'apprentissage spatial sans alourdir l'inférence.
Généralisation Zero-Shot : Le modèle démontre une capacité de généralisation robuste sur plusieurs benchmarks de conduite (BDD-A, DADA-2000, DR(eye)VE, W3D) sans réentraînement spécifique.

4. Résultats

Les expériences montrent que FSDAM surpasse ou égale des modèles entièrement supervisés entraînés sur des dizaines de milliers d'échantillons :

Prédiction du regard : Sur le jeu de données BDD-A, FSDAM (90 échantillons) atteint un score de corrélation de Pearson (CC) de 0.60 et une divergence KL de 1.13, surpassant les modèles classiques (U2-Net, DBNet) et le modèle joint LLada (qui chute à CC=0.37 en mode few-shot).
Transfert Cross-Dataset : En mode Zero-Shot sur DADA-2000 et DR(eye)VE, FSDAM obtient les meilleurs scores de KL divergence, prouvant qu'il capture des indices d'attention sémantiquement ancrés et transférables.
Génération de légendes : Sur le jeu de données W3D, FSDAM atteint des scores BLEU et CIDEr-R proches de ceux des modèles entraînés sur 70k échantillons, tandis que les approches "Zero-Shot" pures ou les méthodes à deux étapes échouent.
Analyse Few-Shot : Les performances saturent rapidement ; avec seulement 3 à 5 exemples, le modèle atteint déjà 96% de la performance d'un modèle entraîné sur des données complètes.

5. Signification et Impact

Ce travail démontre que la modélisation de l'attention des conducteurs ne nécessite pas de supervision massive si l'on exploite correctement la structure sémantique du raisonnement humain.

Efficacité des données : FSDAM offre une voie évolutive pour créer des systèmes d'attention explicables dans des environnements où les données annotées sont rares ou coûteuses (scénarios de sécurité critique, conditions météorologiques extrêmes).
Interprétabilité : En générant des explications causales cohérentes avec les prédictions visuelles, le modèle améliore la confiance et la vérification croisée entre les décisions humaines et celles de l'IA.
Futur : Les auteurs suggèrent que cette approche ouvre la voie à des systèmes de conduite autonome plus robustes et interprétables, capables de généraliser à de nouveaux domaines sans réapprentissage massif.

En résumé, FSDAM prouve qu'un couplage vision-langage intelligent, combiné à une architecture découplée et à une supervision sémantique structurée, permet d'apprendre des comportements d'attention complexes avec une fraction des données habituellement requises.