💬 NLP

PaSBench-Video: A Streaming Video Benchmark for Proactive Safety Warning

L'article présente PaSBench-Video, un benchmark de vidéo en streaming démontrant que les modèles de langage multimodaux actuels ne parviennent pas à fournir des avertissements de sécurité proactifs opportuns et précis, car ils peinent à distinguer les risques émergents des scènes sûres sans déclencher de faux positifs excessifs.

Auteurs originaux : Yusong Zhao, Yuejin Xie, Youliang Yuan, Junjie Hu, Jitian Guo, Yujiu Yang, Pinjia He

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Yusong Zhao, Yuejin Xie, Youliang Yuan, Junjie Hu, Jitian Guo, Yujiu Yang, Pinjia He

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le gardien d'un terrain de jeux très fréquenté. Votre travail ne consiste pas seulement à crier « Arrête ! » une fois qu'un enfant est déjà tombé du toboggan. Votre véritable mission est de repérer l'oscillation avant la chute, de lancer un avertissement et de donner juste assez de temps au parent pour rattraper l'enfant.

Ce document présente un nouveau « test » pour les caméras d'IA afin de voir si elles peuvent faire exactement cela. Les chercheurs l'appellent PaSBench-Video.

Voici la décomposition de ce qu'ils ont fait, de ce qu'ils ont trouvé et de pourquoi cela importe, en utilisant des analogies simples.

1. Le Problème : L'IA est un détective du « passé »

Les systèmes de sécurité d'IA actuels sont comme des détectives qui ne se présentent qu' après que le crime a eu lieu. Ils regardent une vidéo et disent : « Oh, une voiture a eu un accident ! » ou « Oh, quelqu'un est tombé ! »

Mais pour que la sécurité fonctionne, l'IA doit être une alarme proactive. Elle doit voir le danger se construire (comme une voiture qui freine brusquement ou un bambin qui grimpe sur la barrière d'un lit à barreaux) et déclencher l'alarme pendant qu'il reste encore du temps pour agir.

Les chercheurs ont découvert que les tests existants pour la sécurité de l'IA étaient imparfaits. C'était comme demander à un conducteur de passer un test écrit sur un accident survenu hier, plutôt que de le regarder conduire en temps réel. Les anciens tests ne se souciaient pas du moment où l'IA criait « Danger ! » — ils voulaient seulement qu'elle finisse par le faire.

2. Le Nouveau Test : Un exercice de « tir réel »

L'équipe a créé PaSBench-Video, une vaste collection de 740 clips vidéo. Considérez cela comme un « simulateur de conduite » pour la sécurité de l'IA.

481 clips montrent des choses qui tournent mal (une voiture sur le point de percuter un cycliste, une personne sur le point de glisser, un bébé grimpant à une rambarde).
259 clips montrent des scènes normales et sûres (des voitures circulant normalement, des gens marchant dans un parc).

Les Règles du Test :

Temps réel uniquement : L'IA ne peut voir que ce qui s'est passé jusqu'à présent. Elle ne peut pas jeter un coup d'œil au futur.
La zone « Goldilocks » (ni trop tôt, ni trop tard) : L'IA doit crier « Attention ! » dans la fenêtre de temps parfaite.
- Si elle crie trop tôt (avant que le danger ne soit visible), c'est une fausse alerte (comme un détecteur de fumée qui se déclenche parce que vous avez brûlé des toasts).
- Si elle crie trop tard (après l'accident), elle est inutile.
- Elle doit également expliquer ce qui est dangereux (par exemple, « Cette voiture freine brusquement », et non pas seulement « Quelque chose ne va pas »).
Le Test du Silence : Si la vidéo est sûre, l'IA doit rester silencieuse.

3. Les Résultats : L'IA « crie au loup »

Les chercheurs ont testé 13 des modèles d'IA les plus intelligents disponibles aujourd'hui. Les résultats sont frappants.

Le problème du « Loup » :
Les modèles d'IA sont terribles pour le timing. Ils sont comme un garde nerveux qui hurle « Au feu ! » chaque fois que quelqu'un passe une porte.

Le compromis : Lorsque les chercheurs ont demandé à l'IA d'être plus sensible (pour détecter plus de dangers réels), elle a commencé à hurler constamment lors de scènes sûres.
Les mathématiques : Il existe un lien étroit entre la détection des dangers réels et les fausses alertes. Pour attraper 100 % des dangers réels, l'IA devrait crier « Danger ! » sur 60 à 80 % des vidéos sûres. Cela rendrait le système inutile car les gens finiraient par ne plus l'écouter (un phénomène connu sous le nom de « fatigue d'alarme »).

Le problème de l'« Angle Mort » :
L'IA éprouve le plus de difficultés dans les scénarios de conduite.

Vie quotidienne : À la maison, le danger a souvent un aspect étrange (un bébé qui grimpe sur un mur). L'IA peut repérer cette « étrangeté » facilement.
Conduite : Dans le trafic, une voiture qui change de voie en toute sécurité ressemble presque de la même manière qu'une voiture sur le point de percuter quelqu'un. L'IA ne peut pas faire la différence. Elle voit « des voitures qui bougent » et panique, lançant des avertissements pour un trafic normal.

Le problème de la « Mauvaise Raison » :
Même quand l'IA hurle au bon moment, elle se trompe souvent de raison.

Danger Réel : « Une voiture marron est en train de s'insérer. »
Avertissement de l'IA : « Un bus bleu arrive ! »
Elle voit le danger mais hallucine les détails. C'est comme un agent de sécurité qui crie « Intrusion ! » mais pointe la mauvaise personne.

Le Tableau de Bord :
Sur le test le plus strict (timing correct + raison correcte + pas de fausses alertes), aucun modèle d'IA n'a dépassé les 20 %. Cela signifie que 8 fois sur 10, l'IA soit a manqué le danger, soit a crié trop tôt, soit a crié trop tard, soit a crié pour la mauvaise chose.

4. Le Rappel à la Réalité : Ce n'est pas prêt pour le monde réel

L'article a également examiné l'aspect pratique. Même si l'IA était assez intelligente, elle n'est pas assez rapide ou assez économique pour être utilisée actuellement.

Vitesse : Pour fonctionner en temps réel, l'IA doit prendre une décision toutes les 0,3 seconde. L'IA la plus rapide met environ 3,5 secondes pour réfléchir. C'est comme un garde qui mettrait 10 secondes à réagir à un enfant qui tombe.
Coût : Faire tourner ce système sur une seule caméra toute la journée coûterait des milliers de dollars par jour avec les meilleurs modèles.

La Conclusion

Cet article est un « rappel à la réalité » pour la sécurité de l'IA. Il montre que, bien que l'IA s'améliore dans la compréhension des vidéos, elle n'est pas encore assez intelligente pour être un garde de sécurité proactif.

Actuellement, ces modèles sont comme des étudiants capables de décrire parfaitement un accident de voiture après qu'il a eu lieu, mais incapables de prédire l'accident avant qu'il ne survienne. Ils s'appuient sur une « étrangeté » superficielle plutôt que de comprendre réellement comment le danger se construit. Tant qu'ils ne pourront pas distinguer une voiture normale d'une voiture sur le point de percuter quelqu'un sans hurler à tout ce qui bouge, ils ne sont pas prêts à nous protéger sur la route ou dans nos maisons.

Résumé Technique : PaSBench-Video

Énoncé du Problème

Les modèles de langage multimodaux (MLLM) actuels possèdent des capacités de compréhension vidéo mais manquent de la capacité de fonctionner comme des moniteurs de sécurité proactifs. Bien que les accidents soient souvent précédés de signes d'avertissement visuellement reconnaissables, les benchmarks existants ne parviennent pas à évaluer la fenêtre critique entre le premier signe de danger visible et le moment où le dommage survient. Les benchmarks de sécurité actuels souffrent de trois limitations principales :

Entrées Statiques : Ils reposent sur des images statiques ou des séquences d'images plutôt que sur des flux vidéo continus.
Absence de Calibrage Temporel : Ils ne distinguent pas les avertissements prématurés (émis avant que le risque ne soit visible) des avertissements tardifs (émis après que le dommage est survenu).
Absence de Mesure des Faux Positifs : Ils omettent l'évaluation sur des scènes bénignes, ignorant le problème critique que les fausses alertes fréquentes dégradent la confiance de l'utilisateur et provoquent une fatigue d'alarme.

Par conséquent, il n'existe aucun banc d'essai contrôlé pour déterminer si les MLLM peuvent observer de manière causale un flux vidéo, identifier le moment précis où un risque devient actionnable, émettre un avertissement opportun et rester silencieux lors de scènes sûres.

Méthodologie

Construction du Jeu de Données : PaSBench-Video

Les auteurs introduisent PaSBench-Video, un benchmark comprenant 740 vidéos réparties en quatre domaines : la conduite, la santé, la vie quotidienne (maison intelligente) et la production industrielle.

Lot de Risque (481 vidéos) : Clips vérifiés manuellement contenant des risques de sécurité évolutifs. Chaque vidéo est annotée avec des limites au niveau des images (frames) :
- Début du risque ( $r$ ) : La première image où les preuves visuelles soutiennent un avertissement actionnable.
- Accident ( $a$ ) : L'image où l'événement indésirable commence.
- Source du Risque et Action d'Évitement : Agents de danger spécifiques et interventions recommandées.
Lot Sans Risque (259 vidéos) : Clips bénins issus de la conduite normale, de la surveillance et de la surveillance domestique, utilisés exclusivement pour mesurer les taux de faux positifs.
Sources de Données : Comprend des jeux de données réels (ex. DADA-2000, Nexar, OOPS) et des données synthétiques générées via Kling v3 Omni pour les scénarios de santé et industriels où les données réelles avec une telle granularité d'annotation n'étaient pas disponibles.
Filtrage : Un filtre rigoureux en deux étapes (basé sur des modèles utilisant Qwen3.5 et Gemini-3.1-Pro, suivi d'une adjudication humaine) garantit que les clips sont prévisibles (risque inférable à partir des images passées/actuelles), évitables (intervention possible), non intentionnels (pas de cascades mises en scène) et visuellement ancrés.

Protocole d'Évaluation

Le benchmark utilise un protocole d'évaluation en streaming :

Observation Causale : Les modèles ne reçoivent que les images passées et actuelles dans une fenêtre glissante (fenêtres de 3 secondes, pas de 0,3 s).
Tâche : Le modèle doit décider s'il émet un avertissement structuré (identifiant la source du risque et l'action) ou s'il reste silencieux.
Métriques : Une hiérarchie de métriques de plus en plus strictes paramétrées par le temps de latence d'intervention $\tau$ $τ$ (par défaut 1,0 s) :
1. Any-Det@ $\tau$ : Détection de n'importe quel avertissement avant l'accident.
2. Any-Hit@ $\tau$ : Détection d'un avertissement au sein de la fenêtre de risque valide $[r, a-\tau]$ .
3. First-Hit@ $\tau$ : Le premier avertissement de la vidéo se situe dans $[r, a-\tau]$ .
4. First-Act@ $\tau$ : Le premier avertissement est correctement synchronisé et identifie correctement la source et le contenu du risque.
Taux de Faux Positifs : Mesuré par la fraction de vidéos sans risque déclenchant $\ge K$ avertissements.

Configuration Expérimentale

Les auteurs ont testé 13 MLLM, incluant des modèles à poids ouverts (Qwen3.5, Gemma) et des modèles propriétaires (Gemini, Claude, GPT). Tous les modèles ont été évalués avec des prompts identiques, une température de 0 et un échantillonnage de trames.

Résultats Clés

1. Faible Performance et Échec Qualitatif

Aucun modèle n'a dépassé 20,0 % sur la métrique la plus stricte (First-Act@1). Cela indique que moins d'une vidéo sur cinq reçoit un avertissement correctement synchronisé qui identifie également la source du risque. L'écart entre la détection (Any-Det) et l'avertissement actionnable (First-Act) est massif ; par exemple, Gemini 3.1 Pro détecte le risque dans 93,6 % des vidéos mais n'atteint qu'un score de 20,0 % pour le First-Act.

2. Couplage Serré entre Rappel et Faux Positifs

Il existe une forte corrélation positive (Pearson $\rho=0,64$ ) entre les taux de rappel et de faux positifs. Les modèles ne peuvent pas améliorer la détection sans gonfler proportionnellement les fausses alertes. Cela suggère que les modèles actuels fonctionnent comme des détecteurs de seuil de sensibilité plutôt que comme des systèmes effectuant un véritable raisonnement sur le risque. Augmenter la sensibilité déplace les avertissements de "manqués" à "trop précoces", mais n'augmente pas la proportion de l'avertissements "valides".

3. Performance Dépendante du Domaine

La performance varie fortement selon la discriminabilité visuelle du domaine :

Vie Quotidienne : Les modèles atteignent un rappel modéré avec de faibles taux de faux positifs car les risques sont souvent intrinsèquement anormaux (ex. une chute, des flammes ouvertes).
Conduite : Les modèles performent mal, déclenchant des alertes de manière indiscriminée. Les scènes de routine (insertion, traversée) et les scènes pré-collision se ressemblent visuellement, ce qui pousse les modèles à déclencher des avertissements avant que le risque ne soit réellement visible (90 % des échecs pour les modèles à haute sensibilité étaient des alertes "trop précoces").

4. Modes d'Échec

Même lorsque le timing est correct, les modèles échouent fréquemment à identifier la source du risque :

Mauvais Objet de Risque (36,9 %) : Identifier la bonne classe d'entité mais la mauvaise instance spécifique (ex. prédire un bus au lieu d'une berline).
Inversion de Type d'Entité (33,9 %) : Halluciner une catégorie d'agent différente (ex. prédire un piéton alors que le danger est un véhicule).
Ces erreurs indiquent une dépendance aux indices d'activité au niveau de la scène plutôt qu'à un raisonnement causal sur l'escalade d'une activité vers un dommage.

5. Contraintes de Déploiement

Au-delà des lacunes de capacité, les contraintes d'ingénierie empêchent un déploiement immédiat :

Latence : Même les modèles les plus rapides (GPT-5.4 mini) ont des latences médianes (~3,5 s) dépassant d'un ordre de grandeur le pas de 0,3 s de la fenêtre.
Coût : Les coûts de surveillance continue pour les modèles propriétaires de haut niveau dépassent 2 000 $/jour par caméra, tandis que les modèles à poids ouverts souffrent d'une latence prohibitive.

Signification et Revendications

L'article affirme que PaSBench-Video fournit le premier banc d'essai contrôlé pour évaluer les avertissements de sécurité vidéo proactifs qui isole les progrès algorithmiques des améliorations d'infrastructure. En supprimant la pression de vitesse et en restreignant les modèles à l'observation causale, le benchmark révèle que les MLLM actuels s'appuient sur des indices d'activité superficiels plutôt que sur un raisonnement concernant l'émergence d'un dommage.

Les auteurs soulignent que la tâche d'avertissement proactif n'est pas encore prête pour le déploiement en raison de contraintes techniques (latence, coût) et d'une capacité insuffisante (faible rappel, taux élevé de faux positifs). Cependant, ils soutiennent que le benchmarking de cette capacité est "opportun et nécessaire" pour guider le progrès algorithmique vers un véritable raisonnement temporel sur le risque, passant de la simple détection d'activité à l'anticipation du risque. Le jeu de données est publié pour faciliter cette recherche, avec l'objectif explicite de développer des modèles capables de distinguer une activité de routine d'un danger imminent.