🤖 AI

Decoding Pedestrian Crossing Intention from Egocentric Vision via Vision Language Models

Cet article propose de décoder les intentions de traversée des piétons à partir de vidéos égocentrées en formulant la tâche comme un questionnement visuel, démontrant que l'ajustement fin efficace en paramètres des modèles de langage-vision — particulièrement lorsqu'ils sont augmentés par des indices contextuels tels que le regard et le mouvement — surpasse significativement les VLM en zéro étape ainsi que les modèles de base spécialisés basés sur les transformeurs pour établir un nouvel état de l'art.

Auteurs originaux : Danya Li, Xiang Su, Yan Feng, Rico Krueger

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Danya Li, Xiang Su, Yan Feng, Rico Krueger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner ce qu'un étranger est sur le point de faire à un passage piéton très fréquenté. Habituellement, les caméras de circulation surveillent depuis le côté (comme un agent de sécurité), mais cet article pose une question différente : Et si nous pouvions voir le monde à travers les yeux du piéton ?

Les chercheurs ont voulu apprendre à un ordinateur super intelligent (une IA) à regarder un court clip vidéo du point de vue d'un piéton et à deviner : « Cette personne est-elle sur le point de s'engager dans la rue, ou va-t-elle attendre ? »

Voici comment ils ont procédé, expliqué simplement :

1. L'« Assistant Intelligent » contre le « Spécialiste »

L'équipe a testé deux types d'IA :

Le « Généraliste » (Modèles Vision-Langage) : Voyez cela comme des bibliothécaires hautement éduqués qui ont lu des millions de livres et vu des milliards de photos. Ils connaissent beaucoup de choses sur le monde, mais n'ont pas spécifiquement étudié les règles de circulation. Les chercheurs leur ont demandé : « D'après cette vidéo, la personne va-t-elle traverser ? », sans leur donner d'entraînement particulier.
Le « Spécialiste » (IA Traditionnelle) : C'est comme un agent de circulation qui n'a étudié que les passages piétons. C'est un programme informatique spécialisé conçu pour cette tâche précise.

Le Résultat : Les bibliothécaires « Généralistes » étaient corrects pour deviner (meilleurs qu'un pile ou face), mais ils n'étaient pas très doués pour comprendre la logique complexe du trafic. Ils passaient souvent à côté des indices subtils. Le « Spécialiste » était bien meilleur.

2. La séance de « Tutorat » (Ajustement fin / Fine-Tuning)

Puisque les bibliothécaires étaient intelligents mais non formés pour ce travail spécifique, les chercheurs leur ont donné un cours intensif. Ils n'ont pas reconstruit les bibliothécaires à partir de zéro ; au lieu de cela, ils ont utilisé une technique appelée Ajustement fin (Fine-Tuning).

Voyez cela comme le fait de donner à un étudiant brillant un manuel spécifique sur la « Sécurité des Piétons » et de le laisser étudier uniquement les chapitres pertinents.

Le Résultat : Après ce formation rapide, l'IA « Généraliste » est devenue un élève brillant. Elle a même dépassé le « Spécialiste » de la circulation de manière significative (environ 9 % de précision en plus). Elle a appris à combiner ce qu'elle voyait dans la vidéo avec ses connaissances générales pour faire de meilleures prédictions.

3. Ajouter des indices supplémentaires (Contexte)

Les chercheurs se sont rendu compte que regarder simplement la vidéo ne suffisait pas. Les humains ne font pas que regarder ; nous ressentons aussi notre propre mouvement et l'endroit où nous regardons. Ils ont donc donné à l'IA des données « sensorielles » supplémentaires :

Mouvement de l'Ego (Ego Motion) : À quelle vitesse le piéton marche-t-il ?
Mouvement des Véhicules : À quelle vitesse la voiture arrive-t-elle ?
Regard (Eye Gaze) : Où le piéton regarde-t-il ? (A-t-il regardé la voiture ? A-t-il regardé le trottoir ?)

La Magie du Regard :
Imaginez que l'IA porte des lunettes intelligentes. Les chercheurs ont dessiné un petit point rouge sur la vidéo pour montrer exactement où le piéton regardait.

Quand l'IA a vu où le piéton regardait, combiné à la vitesse à laquelle il marchait, elle est devenue bien meilleure pour prédire l'avenir.
C'est comme si vous voyiez quelqu'un jeter un regard nerveux vers une voiture avant de descendre du trottoir ; ce regard est un indice énorme. L'IA a appris à repérer cet indice.

4. Ce qui n'a pas fonctionné

Les chercheurs ont essayé des « astuces » qui aident habituellement l'IA, mais elles ont échoué ici :

Demander à l'IA de « Réfléchir étape par étape » : Ils ont essayé de forcer l'IA à écrire son raisonnement avant de répondre (comme un élève de mathématiques montrant son calcul). Étonnamment, cela a rendu l'IA moins bonne et plus lente. Il semble que pour cette tâche visuelle spécifique, trop réfléchir avec des mots a confondu la partie visuelle du cerveau.
Dessiner des boîtes sur les objets : Ils ont essayé de mettre en évidence la voiture et le passage piéton sur l'écran de la vidéo pour aider l'IA à se concentrer. Cela n'a pas beaucoup aidé, probablement parce que l'IA regardait déjà les bonnes choses, et les dessins supplémentaires n'étaient que du bruit.

L'essentiel

L'article prouve que si vous prenez une IA puissante et polyvalente et que vous lui donnez un peu d'entraînement spécifique (ajustement fin) ainsi que quelques indices supplémentaires (comme l'endroit où la personne regarde), elle peut devenir experte dans la prédiction du comportement des piétons à partir d'une vue à la première personne.

Le Champion : La meilleure version de leur système était un modèle appelé Qwen3-VL-2B, qui, guidé par la vitesse de marche du piéton et ses mouvements oculaires, a atteint la précision la plus élevée jamais enregistrée pour cette tâche spécifique.

Un bémol : Les chercheurs ont testé cela dans une simulation de Réalité Virtuelle (VR). Bien que les résultats soient prometteurs, le monde réel est plus désordonné et complexe qu'un jeu de VR, il reste donc encore du travail avant que cela ne puisse être utilisé dans les vraies rues.

Résumé technique : Décodage de l'intention de traversée des piétons via la vision égocentrée par les modèles de langage-vision

Définition du problème

Ce travail traite du défi de la prédiction des intentions de traversée des piétons (spécifiquement, si un piéton va « traverser » ou « céder le passage ») en utilisant la vision égocentrée (perspective à la première personne). Contrairement aux approches exocentrées traditionnelles qui reposent sur des caméras montées sur des véhicules ou de la surveillance, cette étude se concentre sur le décodage de l'intention à partir de clips vidéo monoculaires courts (2 secondes) capturés du point de vue du piéton. L'objectif est de prédire l'action du piéton dans un horizon futur de 1 seconde.

Les auteurs reformulent cette tâche de prédiction comme un problème de Question Answering Visuel (VQA) à choix fermé. Le modèle reçoit un clip vidéo égocentré ( $V$ ), des informations contextuelles optionnelles ( $C$ ) et une requête spécifique ( $Q$ ), et doit sélectionner l'intention correcte parmi l'ensemble prédéfini $\{cross, yield\}$ (traverser, céder le passage).

Méthodologie

1. Sélection des modèles et des bases de référence (baselines)

L'étude évalue deux familles de modèles de langage-vision (VLM) :

Modèles de langage de grande taille multimodaux (MLLM) : Spécifiquement la famille Qwen3-VL (variantes 2B et 8B), Qwen2.5-VL-7B, ainsi que les modèles InternVL3. Ils sont choisis pour leur vaste connaissance du monde et leurs capacités de raisonnement général.
Modèles de pré-entraînement Vidéo-Langage (VLP) : Spécifiquement GroundVQA, qui est pré-entraîné sur des données vidéo-texte égocentrées mais souvent dominé par des activités d'intérieur.
Baselines : Une baseline spécialisée CLIP+Transformer (apprentissage profond uniquement vidéo) sert de principale référence de performance, aux côtés du hasard (random guessing) et de la prédiction de la classe majoritaire.

2. Stratégies de prompting (Évaluation Zero-Shot)

Avant l'ajustement fin (fine-tuning), les auteurs testent trois stratégies de prompting pour évaluer les capacités de raisonnement inhérentes des modèles :

Prompting standard : Une requête directe demandant l'action la plus probable.
Chaîne de pensée textuelle (Text CoT) : Encourager le modèle à générer des étapes de raisonnement intermédiaires (ex: analyser les éléments visuels, le risque et la logique) avant de répondre.
Prompting visuel : Augmenter les entrées vidéo avec des superpositions de type « set-of-marks » (boîtes englobantes et identifiants) générées par un détecteur (GroundingDINO) pour mettre en évidence les objets pertinents comme les véhicules et les objectifs de traversée.

3. Intégration des informations contextuelles

Au-delà de la vidéo, l'étude intègre des modalités supplémentaires pour améliorer le raisonnement :

Mouvement de l'ego : La position et la vitesse du piéton.
Mouvement du véhicule : La position et la vitesse du véhicule automatisé.
Regard (Eye Gaze) : Représenté soit par des descriptions textuelles (direction en degrés), soit par des superpositions visuelles (points rouges sur les points de fixation).
Attributs personnels : Données démographiques (ex: âge, genre, latéralité) incluses dans le prompt.

Les auteurs étudient deux stratégies d'intégration pour le contexte variant dans le temps : Preface (ajouter le contexte au début du prompt) et Interleaved (insérer le contexte aux côtés de frames vidéo spécifiques).

4. Stratégie d'ajustement fin (Fine-Tuning)

Pour adapter les modèles pré-entraînés au domaine du trafic, les auteurs utilisent l'ajustement fin supervisé (SFT) via l'Adaptation de Bas Rang (LoRA). Cette approche gèle les paramètres originaux du modèle et n'entraîne que des mises à jour de bas rang dans des couches sélectionnées. Ils expérimentent l'entraînement de :

L'encodeur de langage uniquement.
Les modules de fusion cross-modale uniquement.
Les composants de langage et de cross-modalité conjointement.
L'encodeur de vision reste gelé pour préserver son rôle d'extracteur de caractéristiques.

Résultats clés

Performance Zero-Shot

Raisonnement limité : Les VLM de pointe dans un cadre zero-shot n'atteignent que des gains modérés par rapport au hasard (ex: Qwen2.5-VL-7B atteint ~63 % de précision) mais ne parviennent pas à surpasser la baseline spécialisée CLIP+Transformer (72,7 % de précision).
Limitations du prompting : Le prompting de type Text CoT n'a pas amélioré la performance et a considérablement augmenté la latence d'inférence. Dans certains cas, il a dégradé la performance en poussant les modèles à choisir par défaut « yield ». Le prompting visuel (set-of-marks) n'a pas non plus apporté d'améliorations mesurables, probablement en raison des incohérences de détection et de la nature spécifique de l'environnement VR.
Sensibilité de l'entrée : Les modèles plus grands (ex: Qwen3-VL-8B) ont moins bien performé avec une augmentation de l'échantillonnage des frames (de 4 à 32 frames), suggérant une sensibilité aux entrées redondantes, tandis que les modèles plus petits (Qwen3-VL-2B) ont bénéficié d'un plus grand nombre de frames.

Performance après ajustement fin (Fine-Tuned)

Gains significatifs : L'ajustement fin efficace en paramètres a considérablement amélioré les performances. Le Qwen3-VL-2B ajusté a atteint 77,7 % de précision, et le VLP (GroundVQA) ajusté a atteint 78,9 % de précision.
État de l'art : Ces résultats représentent une amélioration de 9 % de la précision par rapport à la baseline spécialisée CLIP+Transformer.
Adaptation de l'architecture : Pour les modèles Qwen, l'ajustement des seuls modules cross-modaux était suffisant. Pour les modèles VLP, l'ajustement des composants de langage et de cross-modalité conjointement a donné les meilleurs résultats.

Impact des indices contextuels

Zero-Shot : L'ajout de contexte (ex: mouvement de l'ego, regard) a généralement amélioré la performance zero-shot, le mouvement de l'ego étant l'indice individuel le plus informatif. Cependant, la combinaison de indices sans ajustement fin a parfois entraîné des hallucinations ou une dégradation des performances.
Après ajustement fin : Les modèles ont appris efficacement à exploiter le contexte. La combinaison du mouvement de l'ego et du regard (eye gaze) (spécifiquement le regard sur l'écran) a offert la meilleure généralisation, atteignant une amélioration de 14,5 % de la précision par rapport à la baseline transformer.
Formatage du contexte : La stratégie Preface (ajout du contexte au début) a été systématiquement plus performante que la stratégie Interleaved, suggérant qu'un conditionnement global sur le contexte est plus efficace que l'entrelacement frame par frame pour cette tâche.

Signification et affirmations

Le papier affirme établir un nouvel état de l'art pour le décodage de l'intention des piétons en mode égocentré. Ses principales contributions sont :

Faisabilité des VLM : Démontrer que si les VLM prêts à l'emploi possèdent des capacités de raisonnement de trafic non négligeables en zero-shot, ils nécessitent une adaptation au domaine (fine-tuning) pour égaler ou dépasser les baselines de deep learning spécialisées.
Efficacité de l'ajustement fin : Montrer que l'ajustement fin efficace en paramètres (LoRA) est une stratégie très efficace pour adapter les VLM généralistes à des tâches de trafic critiques pour la sécurité, surpassant les modèles entraînés à partir de zéro uniquement sur de la vidéo.
Valeur du contexte multimodal : Établir que l'incorporation du regard (eye gaze) et du mouvement de l'ego améliore considérablement la précision prédictive et la généralisation, surtout lorsque le modèle est entraîné pour interpréter ces signaux.
Aperçus méthodologiques : Fournir la preuve que le prompting par CoT textuel et les superpositions visuelles peuvent ne pas être bénéfiques pour cette tâche spécifique, tandis que l'intégration structurée du contexte (via la méthode Preface) et l'ajustement fin sont cruciaux.

Les auteurs notent des limites, notamment l'utilisation d'un jeu de données basé sur la VR qui peut ne pas capturer toutes les complexités du monde réel, ainsi que le recours à un échantillonnage uniforme des frames. Ils suggèrent que les travaux futurs devraient se concentrer sur le pré-entraînement spécifique au trafic, l'échantillonnage temporel adaptatif et l'évaluation sur des données réelles avec des événements rares.