HomeSafe-Bench: Evaluating Vision-Language Models on Unsafe Action Detection for Embodied Agents in Household Scenarios

Ce papier présente HomeSafe-Bench, un nouveau benchmark évaluant la détection d'actions dangereuses par les modèles vision-langage dans les foyers, ainsi que HD-Guard, une architecture hiérarchique innovante conçue pour optimiser le compromis entre latence et précision dans la surveillance de sécurité des agents incarnés.

L'essentiel

Imaginez que vous venez d'acheter un robot domestique ultra-intelligent pour vous aider à ranger la maison, cuisiner et s'occuper des enfants. C'est une merveille de technologie, mais il y a un gros problème : ce robot est comme un enfant très brillant mais qui n'a jamais appris les règles de sécurité de base. Il pourrait essayer de mettre une cuillère en métal dans un four à micro-ondes ou trébucher sur un jouet et renverser une tasse de café bouillante sur vous.

C'est exactement le problème que l'équipe de chercheurs derrière ce papier (HomeSafe-Bench) a voulu résoudre. Voici l'histoire de leur solution, racontée simplement.

1. Le Problème : Le Robot "Aveugle" et les Tests "Statiques"

Jusqu'à présent, on testait la sécurité des robots avec des photos fixes ou des textes. C'est un peu comme essayer d'apprendre à un enfant à faire du vélo en lui montrant une photo d'un vélo, sans jamais le laisser rouler.

• La réalité : Dans une maison, tout bouge. Les objets sont partout, les gens se déplacent, et les dangers arrivent vite.
• Le manque : Les robots actuels, même les plus intelligents, ont du mal à voir le danger avant qu'il n'arrive. Ils manquent de "bon sens physique". Ils ne comprennent pas qu'un verre plein d'eau va se renverser s'il est trop penché.

2. La Solution : HomeSafe-Bench (Le "Terrain d'Entraînement" Ultime)

Pour apprendre aux robots à ne pas se faire mal ou à ne pas vous blesser, il faut d'abord les tester dans un environnement réaliste. Les chercheurs ont créé HomeSafe-Bench.

• C'est quoi ? Imaginez un immense terrain de jeu virtuel avec 438 scénarios différents (chambre, cuisine, salon, etc.).
• Comment ça marche ? Ils ont utilisé des super-ordinateurs pour simuler des accidents : un robot qui lâche une casserole, un enfant qui court devant un robot, un objet qui tombe.
• L'objectif : Ce n'est pas juste de dire "c'est dangereux". C'est de savoir quand le danger commence. Est-ce que le robot a réagi trop tard ? Trop tôt ? Ou au bon moment ?

3. Le Héros : HD-Guard (Le "Double Cerveau" de Sécurité)

Le plus gros défi est le suivant : un cerveau très intelligent (comme un grand modèle d'IA) est lent à réfléchir. Un cerveau très rapide est souvent bête. Pour la sécurité, il faut les deux : réagir instantanément, mais aussi comprendre la situation complexe.

Les chercheurs ont inventé HD-Guard, un système avec deux cerveaux qui travaillent en équipe, comme un gardien de but et un entraîneur tactique :

• Le Cerveau Rapide (FastBrain) : C'est le gardien de but. Il regarde la vidéo en temps réel, très vite. Il ne réfléchit pas trop, il regarde juste les signaux d'alerte : "Oh ! Un objet rouge qui bouge vite vers un humain !" -> STOP IMMÉDIAT.
  • Analogie : C'est comme votre réflexe de retirer la main d'une flamme avant même de penser "ça brûle".
• Le Cerveau Lent (SlowBrain) : C'est l'entraîneur tactique. Si le gardien est incertain ("Est-ce que c'est dangereux ou juste un jeu ?"), il appelle l'entraîneur. Ce dernier analyse la situation en profondeur : "Attends, c'est un enfant qui joue avec une balle, pas un projectile. C'est sûr."
  • Analogie : C'est le moment où vous réfléchissez avant d'agir pour éviter de faire une erreur.

La magie de l'équipe : Le gardien (Rapide) surveille tout le temps. S'il voit un vrai danger, il arrête le robot tout de suite. S'il est hésitant, il laisse l'entraîneur (Lent) vérifier, mais sans attendre que l'entraîneur finisse son analyse pour arrêter le robot si le danger devient évident. C'est le meilleur des deux mondes : rapide et intelligent.

4. Les Résultats : Ce qu'ils ont appris

En testant des dizaines de robots intelligents sur ce nouveau terrain d'entraînement, ils ont découvert des choses surprenantes :

• Les gros modèles ne sont pas toujours les meilleurs : Parfois, un petit modèle d'IA très rapide fait mieux qu'un géant lent et compliqué pour la sécurité.
• Le problème des "fausses alarmes" : Beaucoup de robots sont trop paranoïaques. Ils s'arrêtent pour rien (comme un détecteur de fumée qui se déclenche avec une simple bougie). C'est dangereux car le robot ne fait plus rien du tout.
• Le manque de "bon sens" : Les robots actuels voient les objets, mais ne comprennent pas leurs propriétés (ex: "ce verre est fragile", "ce liquide est chaud").

En Résumé

Ce papier nous dit que pour avoir des robots sûrs dans nos maisons, il ne suffit pas de les rendre plus intelligents. Il faut leur donner deux niveaux de vigilance : un réflexe rapide pour les urgences et une réflexion profonde pour les situations complexes.

Grâce à HomeSafe-Bench (le terrain d'entraînement) et HD-Guard (le double cerveau), nous faisons un grand pas vers des robots qui ne sont pas seulement capables de faire nos tâches ménagères, mais qui sont aussi capables de ne pas nous tuer accidentellement en essayant de le faire. C'est la différence entre un robot qui est un outil dangereux et un robot qui est un véritable membre de la famille.

Résumé technique

1. Problématique

L'évolution rapide des agents incarnés (robots domestiques) accélère leur déploiement dans des environnements ménagers réels. Cependant, contrairement aux usines structurées, les foyers sont des espaces non structurés et imprévisibles introduisant des risques de sécurité majeurs.

Les limitations actuelles des systèmes (latence de perception, manque de connaissances du sens commun, détections visuelles manquées) peuvent entraîner des erreurs dangereuses (ex. : placer un objet métallique dans un micro-ondes). Le problème central identifié par les auteurs est l'absence d'un cadre d'évaluation dédié pour les Vision-Language Models (VLM) dans ce contexte spécifique :

• Les benchmarks existants se concentrent sur des images statiques, du texte ou des dangers généraux, négligeant les risques physiques dynamiques et continus.
• Les benchmarks vidéo existants (comme ASIMOV-v2) sont trop généralistes et ne ciblent pas spécifiquement les comportements des agents incarnés.
• Les benchmarks d'intégration (comme IS-Bench) lient trop étroitement la perception de sécurité à la planification d'actions, empêchant une validation indépendante des VLM en tant que détecteurs de sécurité.

Il n'existe donc pas de framework capable d'évaluer la capacité des VLM à détecter des actions dangereuses en temps réel dans des scénarios domestiques complexes.

2. Méthodologie

Pour combler ce vide, les auteurs proposent une approche double : la création d'un nouveau benchmark (HomeSafe-Bench) et le développement d'une nouvelle architecture de détection (HD-Guard).

A. HomeSafe-Bench : Le Benchmark

C'est un ensemble de données challengant composé de 438 cas vidéo couvrant six zones fonctionnelles ménagères (chambre, salle de bain, salon, salle à manger, bureau, balcon).

• Construction Hybride : Les données sont générées via un pipeline combinant :
  1. Simulation physique : Utilisation de la plateforme BEHAVIOR pour garantir la fidélité physique des interactions.
  2. Génération vidéo avancée : Utilisation du modèle Veo-3.1 pour assurer le réalisme visuel, basé sur des descriptions générées par LLM et des rapports d'hôpitaux réels (NEISS) pour couvrir les risques à longue traîne.
• Annotations Multidimensionnelles : Chaque vidéo est annotée selon quatre dimensions :
  1. Catégorie de danger : Blessure physique (blessure par coupure, écrasement, thermique/électrique) vs Dommages environnementaux.
  2. Sévérité (L1-L4) : De mineur à critique (basé sur les normes NEISS).
  3. Difficulté de raisonnement (D1-D3) : Perceptif (évident), Physique (propriétés des objets), Causal (prédiction d'états cachés).
  4. Phases temporelles : Début de l'intention, point de non-retour (PNR), délai d'intervention, et impact. Un système de scoring dynamique récompense les détections précoces.

B. HD-Guard : L'Architecture de Détection

Les auteurs proposent Hierarchical Dual-Brain Guard for Household Safety (HD-Guard), une architecture de streaming hiérarchique conçue pour équilibrer latence et précision.

• FastBrain (Cerveau Rapide) : Un modèle VLM léger (ex: MiniCPM-o 4.5) fonctionnant en continu à haute fréquence (jusqu'à 10 FPS). Il classe chaque image en "Vert" (sûr), "Jaune" (attention) ou "Rouge" (danger imminent). Il ajuste dynamiquement le taux d'échantillonnage de la caméra.
• SlowBrain (Cerveau Lent) : Un modèle VLM massif (ex: Qwen3-VL-30B) activé uniquement en cas d'alerte "Jaune". Il effectue un raisonnement multimodal profond avec une chaîne de pensée (Chain-of-Thought) structurée pour analyser la physique et l'intention, utilisant des connaissances du sens commun.
• Fusion Asynchrone : Le système maintient une surveillance en temps réel via le FastBrain. Si le FastBrain détecte un danger immédiat ("Rouge"), il déclenche une intervention. S'il est incertain ("Jaune"), il sollicite le SlowBrain tout en continuant de surveiller. Une logique de priorité assure que le FastBrain peut annuler une décision du SlowBrain si une situation dégénère rapidement.

3. Résultats Clés

Les expériences ont été menées sur une large gamme de modèles VLM (Open-source et Closed-source) et sur l'architecture HD-Guard.

• Performance des Modèles Existants :

  • Les modèles Open-source (ex: InternVL3.5-8B) surpassent souvent les modèles fermés (ex: GPT-5.1) en termes de sensibilité de détection.
  • Taux de fausses alarmes élevés : Les modèles performants souffrent d'une "sur-réaction" (over-reaction), générant trop d'alertes prématurées, ce qui les rend impraticables pour un déploiement réel.
  • Limites du scaling : Augmenter la taille du modèle n'améliore pas systématiquement la sécurité. Les petits modèles peuvent parfois mieux performer sur certains métriques.
  • Faiblesses communes : Les VLM actuels manquent souvent d'entités visuelles critiques, ont un ancrage temporel faible et éprouvent des difficultés avec le raisonnement causal pour les dangers physiques latents.

• Performance de HD-Guard :

  • Compromis Latence-Précision : HD-Guard atteint le meilleur compromis sur la frontière de Pareto. Il offre des scores de sécurité élevés avec une latence nettement inférieure aux modèles monolithiques (ex: 3,10s vs 6,25s pour Qwen3-Omni).
  • Réduction des erreurs : L'architecture réduit drastiquement les omissions visuelles (de 30% à 0,5% pour les risques dynamiques) et les déficits de raisonnement (0% pour les scénarios D3 complexes).
  • Fréquence d'échantillonnage : Une étude d'ablation montre que 5 FPS est le point optimal, offrant un équilibre entre la capture de dangers transitoires et le coût computationnel.

4. Contributions Principales

1. HomeSafe-Bench : Le premier benchmark dédié à l'évaluation de la détection d'actions dangereuses pour les agents incarnés dans des foyers, intégrant réalisme physique, diversité des scénarios et annotations temporelles fines.
2. HD-Guard : Une architecture innovante à "double cerveau" qui résout le dilemme latence-précision en découplant la perception rapide du raisonnement profond, permettant une surveillance en temps réel fiable.
3. Analyse Comprehensive : Une évaluation détaillée révélant les goulots d'étranglement actuels des VLM (manque de sens commun physique, ancrage temporel) et démontrant comment une architecture hybride peut les atténuer.

5. Signification et Impact

Ce travail est crucial pour le déploiement sécurisé de la robotique domestique. Il démontre que la sécurité ne peut pas être traitée uniquement par l'augmentation de la puissance des modèles, mais nécessite des architectures système intelligentes.

• Pour la recherche : Il établit un nouveau standard pour l'évaluation de la sécurité des agents physiques, passant de la staticité à la dynamique temporelle.
• Pour l'industrie : HD-Guard propose une solution viable pour le déploiement réel, capable de réagir aux dangers immédiats sans bloquer le système avec des calculs lourds inutiles, tout en évitant les arrêts intempestifs dus aux fausses alarmes.

En conclusion, le papier souligne que la sécurité des agents incarnés exige une approche systémique combinant des données de haute fidélité (HomeSafe-Bench) et des architectures de détection adaptatives (HD-Guard) pour garantir la coexistence sûre des robots et des humains dans les foyers.