🤖 AI

Responsibility Distribution Estimation in Ego-View Accident Videos with Multimodal Large Language Models

Cet article introduit la nouvelle tâche d'estimation de la répartition des responsabilités dans les vidéos d'accidents de la route en vue subjective, démontrant que les modèles de langage multimodaux affinés peuvent prédire efficacement les pourcentages de responsabilité des agents en exploitant la perspective visuelle directe du conducteur.

Auteurs originaux : Ryosei Tamura, Andrew Shin

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ryosei Tamura, Andrew Shin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de déterminer qui est responsable d'un accident de voiture. Habituellement, la police ou les compagnies d'assurance examinent la scène d'un « point de vue aérien » — comme une caméra de surveillance sur un coin de rue ou une photo satellite. Ils voient l'ensemble de la situation, mais ils ne peuvent pas voir exactement ce que le conducteur à l'intérieur de la voiture a vu juste avant l'accident.

Ce document présente une nouvelle façon d'analyser les accidents : depuis le siège du conducteur.

Voici une décomposition simple de ce que les chercheurs ont fait, en utilisant des analogies de la vie quotidienne :

1. Le Problème : L'angle mort de la « vue aérienne »

Pensez à l'analyse traditionnelle des accidents comme si vous regardiez une pièce de théâtre depuis le fond de la salle. Vous voyez les acteurs (voitures et piétons) et la scène, mais vous ne savez pas ce que le personnage principal (le conducteur) a vu à travers sa propre paire de lunettes.

Le problème : Les caméras de surveillance sont coûteuses à installer partout, et elles ne peuvent pas nous dire si le conducteur a réellement eu le temps de réagir ou si quelque chose est apparu soudainement dans son champ de vision.
La solution : Les chercheurs ont utilisé des vidéos en « vue égocentrée » (ego-view). Il s'agit de séquences enregistrées par une dashcam à l'intérieur de la voiture. C'est comme placer une caméra sur le front du conducteur. Cela montre exactement ce que le conducteur a vu, ce qui permet de juger de manière beaucoup plus équitable s'il pouvait éviter l'accident.

2. Le Nouveau Jeu : Partager la tarte, pas choisir un vainqueur

Dans la plupart des études d'accidents, l'objectif est de dire : « Le piéton est 100 % fautif » ou « La voiture est 100 % fautive ».

La nouvelle tâche : Les chercheurs ont créé un jeu appelé « Distribution de la responsabilité ». Au lieu de choisir un vainqueur, le modèle doit diviser une tarte de 100 %.
Exemple : Peut-être que le piéton a surgi trop vite (60 % de la faute), mais que le conducteur envoyait aussi des SMS et n'a pas freiné assez fort (40 % de la faute). L'objectif est d'apprendre à l'IA à découper cette tarte correctement.

3. Comment ils ont enseigné à l'IA (Le « Professeur » et l'« Élève »)

Ils n'ont pas demandé à des avocats humains d'étiqueter des milliers de vidéos (cela prendrait trop de temps). À la place, ils ont utilisé un processus ingénieux en deux étapes :

Étape 1 (Le Professeur) : Ils ont utilisé une IA très intelligente (un Grand Modèle de Langage) pour regarder les vidéos de la dashcam et rédiger une « meilleure supposition » sur la façon de diviser la part de responsabilité. Ils se sont assurés que les chiffres totalisaient toujours 100 %.
Étape 2 (L'Élève) : Ils ont pris un autre modèle d'IA (Qwen3-VL) et l'ont « affiné » (fine-tuning) en utilisant les notes de ce professeur. Considérez cela comme un élève étudiant le corrigé d'un professeur pour apprendre à noter un examen.

4. L'Expérience : De quoi l'IA avait-elle besoin pour voir ?

Ils ont testé l'IA de trois manières différentes pour voir quelle information était la plus importante :

Les Yeux (Vidéo uniquement) : L'IA a regardé les images de la dashcam.
Les Lunettes (Vidéo + Texte) : L'IA a regardé la vidéo et a lu une description écrite de la scène (comme « journée ensoleillée », « rue urbaine »).
Le Bandeau (Texte uniquement) : L'IA a seulement lu la description et n'a pas vu de vidéo.

Les Résultats :

Le Gagnant : L'IA qui a vu la vidéo et lu le texte a été la meilleure. Elle a réussi à diviser la responsabilité correctement environ 79 % du temps (Exact Match).
Le Perdant : Lorsqu'ils ont retiré la vidéo pour ne donner que le texte, l'IA a été très mauvaise pour deviner la répartition de la responsabilité. Cela prouve que voir la vidéo est crucial. On ne peut pas comprendre la réaction d'un conducteur simplement en lisant un rapport ; il faut voir ce qu'il a vu.
Le Test des « Lunettes » : Ils ont également essayé de donner à l'IA des « superpositions de segmentation » (des images où les voitures et les personnes sont colorées en blocs de couleurs pleines). Cela n'a pas beaucoup plus aidé que de montrer simplement la vidéo brute, ce qui suggère que l'IA est capable de comprendre l'image brute par elle-même.

5. Le Grand Avertissement (Réalité Éthique)

Les auteurs sont très clairs : Ceci est un prototype de recherche, pas un juge.

Le « Professeur » n'était pas parfait : Le « corrigé » utilisé pour entraîner l'IA a été généré par une autre IA, et non par un avocat humain. C'est une bonne supposition, mais pas la vérité juridique.
Détails manquants : L'IA ne peut pas voir le compteur de vitesse de la voiture ni connaître les lois de la circulation spécifiques de ce pays. Elle voit seulement ce qui est dans la vidéo.
La Règle : Cet outil ne doit jamais être utilisé pour décider automatiquement qui va en prison ou qui paie l'assurance. C'est un outil de « second avis » pour aider les enquêteurs humains, et non un remplacement pour eux.

Résumé

Le document démontifie que si vous donnez à une IA intelligente une vidéo de dashcam et que vous lui demandez : « Quelle part de la faute revient au conducteur par rapport à l'autre personne ? », elle peut en réalité faire un travail assez satisfaisant — mais seulement si elle peut voir la vidéo. C'est une étape importante vers la compréhension des accidents du point de vue du conducteur, mais il s'agit toujours d'un outil de recherche, et non d'un verdict de tribunal.

Résumé technique : Estimation de la distribution des responsabilités dans les vidéos d'accidents en vue subjective à l'aide de modèles de langage de grande taille multimodaux

Définition du problème

L'analyse actuelle des accidents de la route multimodaux repose largement sur des images de caméras d'infrastructure, l'imagerie satellite ou des registres de collisions structurés. Ces sources de données présentent deux limitations critiques : elles sont coûteuses à déployer à grande échelle et, plus important encore, elles ne parviennent pas à capturer objectivement la perspective visuelle disponible pour le conducteur avant un accident. Par conséquent, elles ne sont pas adaptées pour raisonner sur l'évitabilité d'un accident et la responsabilité du conducteur du point de vue du véhicule impliqué.

Cet article introduit l'Estimation de la distribution des responsabilités comme une nouvelle tâche pour les vidéos d'accidents en vue subjective (ego-view). Contra à des tâches conventionnelles qui prédisent un simple label d'accident, une sévérité ou une explication causale, cette tâche exige qu'un modèle prédise une distribution proportionnelle des responsabilités (des pourcentages dont la somme est égale à 100 %) entre tous les agents impliqués (par exemple, le véhicule propre, les autres véhicules, les piétons). Le modèle doit raisonner sur les informations qui étaient disponibles pour le conducteur, identifier la partie principalement responsable et allouer des pourcentages de responsabilité qui reflètent une responsabilité partagée, imitant ainsi le raisonnement routier du monde réel.

Méthodologie

Construction du jeu de données

Les auteurs ont construit un jeu de données basé sur MM-AU, une collection de vidéos d'accidents de caméras embarquées (dashcams) avec des annotations textuelles existantes (description de la scène, causes, mesures préventives). Comme MM-AU manque de labels de responsabilité, les auteurs ont développé une pipeline d'annotation assistée par LLM :

Entrée : Pour chaque vidéo, 8 images échantillonnées uniformément sur la fenêtre de l'événement anormal (en garantissant l'inclusion de l'image de l'accident) sont présentées à un LLM accompagnées de métadonnées de scène et d'annotations textuelles.
Génération de sortie : Le LLM est incité à produire des pourcentages entiers pour le véhicule propre et les autres parties (sommant 100 %), à identifier la partie principalement responsable, à catégoriser l'autre partie et à fournir un raisonnement fondé sur des preuves visuelles/textuelles.
Contraintes : La température est fixée à zéro pour maximiser la cohérence. Le jeu de données résultant est approximativement équilibré entre les cas où le véhicule propre est le premier responsable (52 %) et ceux où l'autre partie est la première responsable (48 %).

Modèle et entraînement

L'étude affine Qwen3-VL-4B, un modèle de langage de grande taille multimodal, en utilisant LoRA (Low-Rank Adaptation) sur toutes les couches de projection linéaire (rang $r=16$ , facteur d'échelle $\alpha=32$ ).

Entrée : Le modèle reçoit $k=10$ images échantillonnées, des métadonnées de scène et des annotations textuelles.
Sortie : Le modèle génère de manière autorégressive une sortie au format JSON contenant la distribution de responsabilité prédite, la partie principale, le label de l'autre partie et le raisonnement.
Apprentissage des contraintes : L'exigence que les pourcentages somment à 100 est imposée implicitement via les instructions du prompt et la distribution des données d'entraînement, plutôt que par des contraintes de post-traitement explicites.

Configuration expérimentale

Les auteurs évaluent le modèle affiné par rapport à une base de référence zero-shot GPT-5 sous trois conditions d'entrée :

RGB : Images brutes + annotations textuelles.
RGB+Seg : Superpositions de segmentation sémantique + annotations textuelles.
Texte : Annotations textuelles uniquement (pas d'images).

Métriques d'évaluation :

Exact Match (EM) : Pourcentage de cas où la responsabilité prédite du véhicule propre correspond exactement à la vérité terrain.
Within-10%/20% (W-10/W-20) : Proportion de cas avec une erreur absolue $\le$ 10 ou 20 points de pourcentage.
MAE/RMSE : Erreur absolue moyenne (Mean Absolute Error) et erreur quadratique moyenne (Root Mean Squared Error) sur le pourcentage du véhicule propre.
Primary Party Accuracy (PP) : Précision de l'identification de l'agent principal responsable.

Résultats clés

Le modèle Qwen3-VL-4B affiné démontre des améliorations significatives par rapport à la base de référence zero-shot de GPT-5, particulièrement sous l'entrée RGB :

Exact Match : Le modèle affiné atteint 79,1 %, contre 38,5 % pour le zero-shot de GPT-5.
Primary Party Accuracy : Le modèle affiné atteint 96,7 %, surpassant les 89,0 % de GPT-5.
Réduction de l'erreur : L'erreur absolue moyenne (MAE) pour le pourcentage du véhicule propre chute de 12,1 (GPT-5) à 4,9 (modèle affiné), soit une réduction de plus de moitié.

Ablation et analyse des entrées :

Nécessité visuelle : La suppression de l'entrée visuelle (condition Texte uniquement) provoque une dégradation brutale des performances pour les deux modèles. La MAE de GPT-5 fait plus que doubler (12,1 $\to$ 24,9), et la MAE du modèle affiné augmente drastiquement (4,9 $\to$ 35,1). Cela confirme que les images en vue subjective contiennent des informations de responsabilité critiques qui ne sont pas récupérables par le texte seul.
Impact de la segmentation : Remplacer les images RGB brutes par des superpositions de segmentation sémantique (RGB+Seg) donne des résultats comparables ou légèrement inférieurs, suggérant que l'apparence visuelle brute fournit des informations suffisantes ou supérieures pour cette tâche par rapport aux superpositions de segmentation structurées dans ce contexte.
Fine-tuning vs Zero-shot : Bien que le zero-shot de GPT-5 montre une performance "Within-10%" raisonnable (79,1 %), indiquant qu'il peut grossièrement raisonner sur la direction de la responsabilité, le score élevé d'Exact Match du modèle affiné démontre que l'entraînement sur des labels annotés par LLM permet d'ancrer efficacement le modèle à des valeurs de pourcentage spécifiques plutôt que de simplement classer correctement les parties.

Signification et contributions

L'article revendique trois contributions principales :

Nouvelle formulation de tâche : Il introduit l'« Estimation de la distribution des responsabilités » comme une nouvelle tâche pour la compréhension multimodale des accidents, passant d'une classification binaire ou d'une explication causale à une allocation proportionnelle.
Fondation égocentrée : Il souligne la valeur unique des vidéos en vue subjective pour le raisonnement centré sur le conducteur, établissant le premier benchmark pour cette tâche spécifique.
Démonstration de faisabilité : Les résultats établissent un premier benchmark solide, démontrant que les modèles de langage de grande taille multimodaux peuvent effectuer efficacement un raisonnement nuancé et basé sur des contraintes (allocation de pourcentages dont la somme est 100) lorsqu'ils sont affinés avec des données appropriées.

Les auteurs positionnent ce travail comme une fondation pour un « raisonnement multimodal socialement et juridiquement significatif », suggérant que les vidéos égocentrées offrent une base prometteuse pour comprendre l'évitabilité des accidents et la distribution des responsabilités que les points de vue externes ne peuvent fournir.

Limites et considérations éthiques

L'article maintient une position modeste concernant ses affirmations :

Validité des labels : Les labels de responsabilité sont générés par un LLM et servent de proxy pour l'évaluation ; ils ne sont pas des annotations d'experts humains ou une vérité juridique. Le processus actuel ne tient pas compte des lois spécifiques à chaque juridiction.
Portée des données : Le modèle repose sur des images échantillonnées et du texte, manquant de preuves physiques explicites (par exemple, vitesse exacte, force de freinage, trajectoires), ce qui peut limiter le raisonnement temporel fin.
Complexité : La formulation actuelle se concentre sur les interactions entre deux parties ; les accidents impliquant trois agents ou plus nécessitent une décomposition plus complexe qui n'est pas encore abordée.
Avertissement éthique : Le système est explicitement défini comme un prototype de recherche exploratoire. Il ne doit pas être utilisé pour la prise de décision juridique, judiciaire ou d'assurance automatisée. Les auteurs soulignent le risque de biais d'automatisation et la nécessité d'une architecture avec intervention humaine pour toute application future dans le monde réel. De plus, les préoccupations relatives à la vie privée concernant les informations personnellement identifiables dans les vidéos de dashcams sont notées.