Designing Multi-Robot Ground Video Sensemaking with Public Safety Professionals

En collaboration avec six agences de police, cette étude présente un banc d'essai et l'outil MRVS pour la compréhension de vidéos multi-robots, démontrant que l'intégration de modèles d'IA générative peut réduire la charge de travail des professionnels de la sécurité publique tout en soulevant des préoccupations concernant les fausses alertes et la vie privée.

L'essentiel

🤖 Le Problème : Trop de caméras, pas assez de temps

Imaginez que vous êtes un chef de police. Aujourd'hui, au lieu d'avoir quelques caméras fixes sur les murs, vous avez une armée de petits robots patrouilleurs qui se promènent dans la ville. C'est génial pour la sécurité, n'est-ce pas ?

Mais il y a un gros hic : imaginez que ces 10 robots envoient chacun une vidéo en direct. Vous vous retrouvez avec 10 écrans qui défilent en même temps. C'est comme essayer de regarder 10 films différents en même temps tout en essayant de cuisiner un dîner. Votre cerveau va exploser, et vous risquez de rater l'incident le plus important (un voleur, un accident) parce que vous étiez occupé à regarder un chat qui traverse la rue sur l'écran 3.

C'est le problème que les chercheurs ont voulu résoudre : Comment aider les policiers à comprendre ce qui se passe sans les noyer sous l'information ?

---

🔍 L'Enquête : Écouter les vrais policiers (Étude 1)

Avant de construire une machine, les chercheurs ont fait ce que tout bon détective ferait : ils ont posé des questions aux experts. Ils ont travaillé avec 6 agences de police et 9 professionnels (des détectives, des capitaines, etc.).

Ils ont découvert trois choses essentielles :

1. Ce qui compte vraiment : Les policiers ne veulent pas voir "tout". Ils veulent voir des choses précises : un feu de voiture, une bagarre, quelqu'un qui laisse un sac suspect. Ils ont créé une "liste de courses" de 38 types d'événements importants.
2. La fatigue du regard : Regarder des heures de vidéo à la recherche de 10 secondes d'action est épuisant. C'est comme chercher une aiguille dans une botte de foin, mais la botte de foin est un océan.
3. La collaboration : Souvent, un policier commence une enquête, puis change de poste. Sans un bon système, l'information est perdue. Il faut un "cahier de transmission" numérique.

---

🛠️ La Solution : MRVS, le "Super-Assistant" (Étude 2)

Les chercheurs ont construit un outil appelé MRVS. Imaginez-le comme un chef d'orchestre intelligent pour vos vidéos.

Au lieu de vous montrer 10 écrans chaotiques, MRVS fait ceci :

• Le Résumé Rapide (Le "Résumé de Film") :
  Au lieu de vous faire regarder 30 minutes de vidéo, l'IA (une intelligence artificielle très avancée) regarde la vidéo et vous dit : "Hé, regarde ça ! À 14h02, il y a eu une bagarre. Voici une photo du moment, et voici pourquoi je pense que c'est une bagarre."
  C'est comme si quelqu'un avait déjà vu le film pour vous et vous avait donné les meilleurs moments avec des post-it explicatifs.

• La Recherche par Description (Le "Détective descriptif") :
  Si un témoin dit : "Le voleur portait un manteau rouge et conduisait un camion bleu", vous n'avez pas besoin de regarder toutes les vidéos. Vous tapez "Manteau rouge + Camion bleu" dans MRVS, et l'outil vous montre instantanément tous les endroits où cela apparaît. C'est comme chercher un livre dans une bibliothèque géante en disant juste "Livre rouge", au lieu de parcourir chaque étagée.

• La Carte Vivante (Le "Tableau de Bord") :
  Tout est affiché sur une carte. Vous voyez où sont les robots, et vous voyez des petites icônes colorées qui clignotent là où quelque chose d'intéressant s'est passé. C'est comme un jeu vidéo de stratégie où vous voyez tout le champ de bataille d'un coup d'œil.

• L'Équipe Collaborative :
  Si le policier A trouve quelque chose, il peut le "taguer" et le partager avec le policier B. Ils peuvent laisser des notes, comme sur un tableau blanc virtuel, pour que personne ne perde le fil de l'enquête.

---

🧪 Le Test : Est-ce que ça marche ?

Les chercheurs ont testé cet outil avec de vrais policiers dans leurs bureaux.

Les résultats ?

• Moins de fatigue : Les policiers ont dit qu'ils avaient l'impression d'avoir gagné des heures de travail. Ils ne perdaient plus de temps à chercher l'aiguille dans la botte de foin.
• Plus de confiance : Ils aimaient que l'IA explique pourquoi elle a signalé un événement (ex: "J'ai vu une personne courir et tomber").
• Les inquiétudes : Comme pour toute nouvelle technologie, ils étaient prudents. Ils voulaient s'assurer que l'IA ne se trompait pas trop souvent (fausses alertes) et que la vie privée des gens était respectée. Ils ont insisté sur le fait que l'humain doit toujours rester le capitaine du navire. L'IA est le radar, mais c'est le policier qui prend la décision finale.

---

💡 En résumé

Cette recherche nous dit que l'avenir de la sécurité publique n'est pas de remplacer les policiers par des robots, mais de leur donner des super-pouvoirs numériques.

Imaginez MRVS comme un filtre magique qui transforme un déluge de vidéos brutes en une histoire claire et concise, permettant à un seul policier de surveiller efficacement toute une ville, de rester vigilant, et de protéger les gens plus vite et mieux. C'est l'alliance parfaite entre l'œil humain et la puissance de calcul de la machine.

Résumé technique

1. Problématique

Les professionnels de la sécurité publique (policiers, enquêteurs) sont confrontés à un manque de personnel chronique et à des risques élevés de blessures lors des opérations sur le terrain. Bien que les flottes de robots terrestres offrent un potentiel pour fournir une conscience situationnelle évolutive, leur intégration dans les flux de travail existants pose des défis majeurs :

• Surcharge cognitive : L'analyse manuelle de multiples flux vidéo simultanés est épuisante et lente.
• Décalage opérationnel : Les systèmes de détection d'anomalies existants (basés sur la vision par ordinateur) sont souvent conçus pour des caméras fixes et ne correspondent pas aux besoins réels des agents (définition des événements, contexte juridique, confidentialité).
• Manque de confiance : Les outils actuels manquent d'explicabilité, ce qui rend difficile leur utilisation dans des contextes légaux et décisionnels critiques.
• Absence de testbed : Il n'existait pas d'environnement de test standardisé, de jeu de données étiqueté ou d'exigences de conception validées par des experts pour le sens-making (compréhension de la situation) basé sur des vidéos de robots terrestres multi-agents.

2. Méthodologie

L'étude adopte une approche de conception centrée sur l'humain, structurée en deux études principales (S1 et S2) menées en collaboration avec six agences de sécurité publique américaines.

Étude 1 : Étude Formative et Création du Testbed

• Participants : Collaboration avec 5 professionnels de la sécurité publique (officiers, détectives, superviseurs) ayant 7 à 22 ans d'expérience.
• Phase 1 (Identification des Événements d'Intérêt - EoI) :
  • Analyse de 13 234 dossiers criminels de campus et de 10 jeux de données d'anomalies existants.
  • Définition d'une taxonomie de 38 événements d'intérêt (EoI) pertinents pour la sécurité publique, classés par priorité (Urgence, Urgent, Modéré, Conseillé).
• Phase 2 (Exigences de Conception - DR) :
  • Entretiens semi-structurés pour identifier les défis actuels (analyse de vidéo unique, gestion de multiples flux, recherche d'attributs, collaboration).
  • Définition de 6 Exigences de Conception (DR) pour les futurs systèmes (ex: explication contextuelle des EoI, vue situationnelle unifiée, recherche basée sur les descripteurs).
• Création du Jeu de Données (Dataset) :
  • Enregistrement de 20 vidéos de patrouille (10 jour / 10 nuit) réalisées par un robot terrestre (Frodo Zero) équipé d'une caméra GoPro 4K.
  • Simulation de 156 événements scriptés (joués par 22 acteurs) dans un environnement de campus réel avec des piétons et véhicules non contrôlés pour assurer la validité écologique.
  • Anonymisation complète (floutage des visages et plaques d'immatriculation) et étiquetage ground-truth (GPS, horodatage, type d'événement).

Étude 2 : Développement et Évaluation du Système MRVS

• Système MRVS (Multi-Robot Video Sensemaking) : Développement d'un système interactif intégrant un backend d'IA et une interface utilisateur.
  • Backend : Utilisation d'un Modèle de Langage Multimodal (MLLM) basé sur Gemini 2.0, optimisé par prompt engineering avec la taxonomie des EoI et des protocoles d'analyse spécifiques au domaine. Le modèle génère des cartes d'événements structurées (type, description, justification, niveau de confiance).
  • Frontend : Interface offrant une vue d'ensemble situationnelle, une chronologie vidéo synchronisée, une recherche par descripteurs (couleur, type de véhicule/vêtement) et un espace de travail collaboratif.
• Évaluation Algorithmique : Comparaison du modèle MRVS avec des baselines (HolmesVAD et Gemini 2.0 standard) sur les métriques Précision, Rappel et F1-Score.
• Évaluation Humaine (Expert Review) : Tests avec 9 professionnels de la sécurité publique réalisant des tâches simulées (réponse à incident, revue de patrouille, recherche de suspects) suivis d'entretiens semi-structurés.

3. Contributions Clés

1. Environnement de Test (Testbed) : Premier environnement de recherche pour le sens-making vidéo multi-robots, comprenant une taxonomie validée de 38 EoI, un jeu de données public de 20 vidéos de robots terrestres et 6 exigences de conception.
2. Système Artéfact (MRVS) : Premier système interactif opérationnalisant le sens-making vidéo multi-robots pour la sécurité publique, alignant un backend IA multimodal et une interface centrée sur l'humain.
3. Évaluation Technique et Humaine : Preuve que l'approche MLLM sur mesure surpasse les modèles spécialisés et génériques, et validation par des experts que le système réduit la charge de travail tout en maintenant le contrôle humain.
4. Implications pour la Conception : Identification de considérations éthiques, de confidentialité et de fiabilité pour le déploiement de robots de patrouille.

4. Résultats

Performance Algorithmique (Backend)

Le modèle MRVS a démontré une supériorité significative par rapport aux baselines, en particulier dans des conditions difficiles (nuit) :

• Score F1 Global : MRVS a atteint 0,519, contre 0,453 pour Gemini 2.0 et 0,018 pour HolmesVAD.
• Performance Nocturne : MRVS a obtenu un Rappel de 0,792 et un F1 de 0,540, surpassant largement les autres modèles qui ont chuté drastiquement la nuit (Rappel HolmesVAD = 0,012).
• Compromis Précision/Rappel : Bien que la précision soit légèrement inférieure à celle de Gemini 2.0 (en raison d'une configuration plus libérale pour minimiser les faux négatifs dans un contexte de sécurité critique), le gain en Rappel est crucial pour ne manquer aucun incident potentiel.

Retours des Experts (Frontend)

Les professionnels de la sécurité publique ont rapporté :

• Réduction de la charge de travail : Le système a considérablement réduit le temps de recherche manuelle et l'effort d'analyse vidéo.
• Confiance accrue : Les explications générées par l'IA (rationale, niveau de confiance) ont permis aux agents de trier rapidement les alertes et de valider les preuves.
• Collaboration améliorée : L'espace de travail partagé a facilité la continuité des enquêtes entre les équipes et les changements d'équipe.
• Préoccupations : Des inquiétudes ont été exprimées concernant les fausses alarmes, la vie privée, et la nécessité de garder l'humain dans la boucle de décision finale (l'IA ne peut pas témoigner en justice).
• Fonctionnalités appréciées : La recherche par descripteurs (vêtements, type de véhicule) et la vue situationnelle unifiée (carte + chronologie) ont été jugées essentielles.

5. Signification et Implications

Ce travail marque une avancée significative dans l'intégration de la robotique et de l'IA dans la sécurité publique :

• Passage de la détection à la compréhension : Le système ne se contente pas de détecter des anomalies statistiques, mais fournit un contexte sémantique et des justifications alignées sur les procédures policières.
• Évolutivité des opérations : Il démontre qu'un seul opérateur peut superviser efficacement plusieurs robots, une capacité critique face aux pénuries de personnel.
• Conception Éthique et Responsable : L'étude souligne la nécessité de concevoir des systèmes transparents, explicables et respectueux de la vie privée pour éviter la surveillance excessive et renforcer la confiance communautaire.
• Fondation pour la Recherche Future : Le testbed et le jeu de données fournis ouvrent la voie à de nouvelles recherches en HCI, vision par ordinateur et interaction humain-robot (HRI) pour des scénarios de sécurité publique réalistes.

En conclusion, MRVS valide l'hypothèse qu'une approche de conception centrée sur l'humain, combinant des capacités d'IA avancées et une compréhension profonde des flux de travail policiers, peut transformer l'utilisation des robots terrestres en outils de sécurité publique efficaces et acceptables.