🤖 AI

Floorplan2Guide: LLM-Guided Floorplan Parsing for BLV Indoor Navigation

L'article propose Floorplan2Guide, un système de navigation piloté par un modèle de langage de grande taille pour les utilisateurs aveugles et malvoyants qui convertit les plans d'étage en graphes de connaissances pour générer des instructions précises, démontrant que l'apprentissage par quelques exemples et le raisonnement spatial basé sur les graphes surpassent nettement le raisonnement visuel direct dans l'amélioration de la précision de la navigation.

Auteurs originaux : Aydin Ayanzadeh, Tim Oates

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aydin Ayanzadeh, Tim Oates

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de vous orienter dans un labyrinthe géant et inconnu, mais que vous ne pouvez ni voir les murs ni les chemins. Pour les personnes ayant une déficience visuelle, se déplacer dans des espaces intérieurs comme des immeubles de bureaux ou des hôpitaux revient souvent à essayer de résoudre ce labyrinthe les yeux bandés. Les solutions actuelles reposent souvent sur une infrastructure coûteuse et lourde (comme des balises spéciales partout) ou sur des caméras complexes qui doivent être réentraînées pour chaque nouveau bâtiment.

L'article "Floorplan2Guide" propose une méthode plus intelligente et plus légère pour résoudre ce problème. Imaginez que l'on offre à l'utilisateur un GPS ultra-intelligent capable de comprendre les plans.

Voici comment le système fonctionne, décomposé en étapes simples :

1. Le « Traducteur » (Transformer les plans en carte)

Imaginez que vous avez un dessin statique en 2D d'un bâtiment (un plan). Pour un ordinateur, ce n'est qu'une image de lignes et de texte. Pour un humain, c'est une carte.

L'ancienne méthode : Les ordinateurs avaient besoin d'une équipe d'ingénieurs pour mesurer manuellement chaque mur et chaque porte afin de transformer cette image en une carte utilisable.
La nouvelle méthode (Floorplan2Guide) : Les chercheurs utilisent un « Grand Modèle de Langage » (une IA avancée très douée pour lire et comprendre le contexte). Ils soumettent l'image du plan à cette IA. L'IA agit comme un traducteur, lisant le dessin et le convertissant en un Graphe de Connaissances.
- Analogie : Considérez le Graphe de Connaissances comme le squelette du bâtiment. Au lieu de simplement voir une image d'une pièce, l'IA comprend que la « Chambre A » est connectée au « Couloir B » par la « Porte C », et elle connaît exactement la distance qui les sépare. Elle transforme une image plate en une carte mentale 3D des connexions.

2. Le « Guide » (Générer des instructions)

Une fois que l'IA a construit cette « carte squelette », un utilisateur peut demander : « Comment aller aux toilettes ? »

Au lieu de simplement regarder l'image et de deviner, l'IA consulte sa carte squelette. Elle trace le chemin du point de départ jusqu'à la destination.
Elle traduit ensuite ce chemin en instructions orales simples et naturelles : « Avancez de 10 pas, tournez à gauche à l'intersection, et les toilettes sont sur votre droite. »
Le secret (Apprentissage par quelques exemples) : Les chercheurs ont constaté que si l'on montre à l'IA quelques exemples de bonnes directions au préalable (comme montrer à un élève quelques exercices de mathématiques types avant un examen), l'IA devient beaucoup plus performante pour donner des indications. C'est ce qu'on appelle l'« apprentissage par quelques exemples » (few-shot learning), et cela a rendu le système nettement plus précis.

3. Le « Point de contrôle » (Marqueurs ArUco)

Comment le système sait-il où se trouve l'utilisateur dans le bâtiment réel ?

Le système utilise de petits autocollants carrés ressemblant à des codes QR, appelés marqueurs ArUco, placés dans le bâtiment (sur les murs, aux intersections, etc.).
La caméra du téléphone de l'utilisateur scanne ces marqueurs.
Analogie : Considérez ces marqueurs comme des arrêts de bus. Lorsque l'utilisateur scanne un marqueur, le système sait : « Ah, vous êtes à l'arrêt de bus n°4 ». Il consulte ensuite sa « carte squelette » pour voir quelle instruction vient ensuite. Si l'utilisateur s'écarte du chemin, le système le sait immédiatement et peut dire : « Vous êtes hors route, remettons-nous sur la bonne voie. »

Que ont-ils découvert ?

Les chercheurs ont testé ce système dans un bâtiment réel de leur université (le bâtiment Mathématiques et Psychologie) et sur des ensembles de données de test standard.

Mieux que de simplement regarder : Lorsque l'IA utilisait la « carte squelette » (Graphe de Connaissances) pour donner des directions, elle était 15,4 % plus précise que lorsqu'elle tentait simplement de regarder l'image et de deviner. La carte l'a aidée à éviter les « hallucinations » (inventer des chemins qui n'existent pas).
Le meilleur modèle : Parmi les différents modèles d'IA qu'ils ont testés, Claude 3.7 Sonnet s'est révélé être le meilleur navigateur.
Taux de réussite : Avec la bonne configuration (en utilisant la « carte squelette » et en montrant quelques exemples à l'IA au préalable), le système a réussi environ 92 % du temps sur les trajets courts, 77 % sur les trajets moyens et 62 % sur les trajets longs et complexes.

En résumé

Cet article présente un système qui n'a pas besoin de reconstruire le monde avec des capteurs coûteux. Au lieu de cela, il prend une simple image d'un plan, utilise une IA intelligente pour la transformer en une carte logique des connexions, et utilise cette carte pour guider les utilisateurs aveugles ou malvoyants pas à pas. C'est comme offrir à l'utilisateur un guide touristique numérique qui a mémorisé le plan du bâtiment et peut lui indiquer exactement où aller, en utilisant uniquement un smartphone et quelques autocollants sur le mur.

Note : L'article précise explicitement que ce système se concentre sur la recherche d'itinéraires et les instructions de navigation. Il ne gère pas actuellement l'évitement d'obstacles en mouvement (comme des personnes qui passent) ni les changements dynamiques de l'environnement.

Résumé Technique : Floorplan2Guide

Énoncé du Problème

La navigation intérieure demeure un défi critique pour les personnes aveugles ou malvoyantes (BLV), qui rencontrent des obstacles majeurs en matière d'orientation et d'acquisition d'informations spatiales. Bien que les solutions basées sur l'infrastructure (par exemple, balises BLE, RFID) offrent une précision, elles nécessitent une installation et une maintenance coûteuses. À l'inverse, les approches légères basées sur la vision et l'apprentissage profond manquent souvent de généralisation aux nouveaux environnements, exigeant un réentraînement extensif pour des agencements spécifiques et échouant à s'adapter à un éclairage dynamique ou à des structures inédites. De plus, les méthodes traditionnelles d'analyse de plans d'étage reposent sur des heuristiques géométriques et un prétraitement manuel, qui sont laborieux et sujets aux erreurs. Le défi central abordé est la construction automatique d'un graphe de connaissances spatiales robuste à partir d'images statiques de plans d'étage architecturaux afin de permettre un guidage de chemin fiable et une navigation consciente du contexte, sans dépendre d'infrastructures lourdes.

Méthodologie

Le cadre proposé Floorplan2Guide utilise des Modèles de Langage à Grande Échelle (LLM) et des Modèles de Langage à Grande Échelle Multimodaux (MLLM) pour transformer des images statiques de plans d'étage en graphes de connaissances lisibles par machine et navigables. Le système fonctionne via un pipeline structuré en plusieurs étapes :

Prétraitement et Extraction Sémantique :
- Des images de plans d'étage de haute qualité subissent une Reconnaissance Optique de Caractères (OCR) utilisant des outils tels que PaddleOCR, EasyOCR ou Tesseract pour extraire les données textuelles (numéros de pièces, étiquettes).
- Ces données textuelles sont combinées à l'entrée visuelle pour enrichir la compréhension du modèle de l'agencement.
Génération du Graphe de Connaissances Spatiales :
- Un MLLM (par exemple, GPT-4o, Claude 3.7 Sonnet, LLaMA 3.2) traite l'image du plan d'étage et le texte extrait pour générer un graphe structuré $G = (V, E, A, M_\eta, W, S)$ .
- Nœuds ( $V$ ) : Représentent des pièces distinctes, des intersections ou des lieux, stockant les centroïdes géométriques, les attributs sémantiques (type de pièce) et les métadonnées.
- Arêtes ( $E$ ) : Encodent la navigabilité et l'adjacence entre les nœuds (par exemple, portes, passages).
- Poids ( $W$ ) : Capturent les informations de distance et d'accessibilité, mises à l'échelle selon les dimensions du monde réel.
- Le système utilise un prompt système pour guider le LLM dans l'extraction des cartes de nœuds et la validation de la connectivité, en utilisant des rounds d'affinement pour minimiser les erreurs d'extraction.
Génération d'Instructions de Navigation :
- Contrairement au raisonnement visuel direct où le LLM interprète l'image brute, cette approche alimente le graphe de connaissances structuré au LLM.
- Le LLM utilise les relations topologiques et sémantiques explicites du graphe pour générer des instructions de navigation étape par étape, lisibles par l'humain (par exemple, « marchez 15 mètres, tournez à gauche »).
- Le système privilégie la génération de directions optimisées basées sur le graphe plutôt que de s'appuyer uniquement sur des algorithmes traditionnels de plus court chemin, visant des descriptions en langage naturel adaptées aux utilisateurs BLV.
Localisation via des Marqueurs ArUco :
- Pour combler le fossé entre le graphe numérique et l'environnement physique, le système emploie des marqueurs de repère ArUco placés à des emplacements clés (entrées, intersections, pièces).
- Les utilisateurs scannent ces marqueurs via un appareil équipé d'une caméra. L'ID unique du marqueur est lié à un nœud spécifique du graphe de connaissances, permettant au système de localiser la position de l'utilisateur.
- Le système fournit un retour d'information : si l'utilisateur est sur le bon chemin, il répète la dernière instruction ; s'il s'écarte, il l'en alerte. Cette étude utilise les marqueurs pour des points de contrôle de localisation plutôt que pour un réacheminement dynamique.

Contributions Clés

Cadre d'Analyse Novel : Introduction d'une solution qui utilise des modèles de base pour analyser les plans d'étage en transformant les informations spatiales en un graphe de connaissances, permettant une extraction sémantique précise et une représentation structurée pour la navigation.
Intégration de l'Apprentissage Few-Shot : Démonstration que l'apprentissage few-shot améliore significativement les performances de navigation (mesurées par le Taux de Succès) par rapport à l'apprentissage zero-shot, renforçant la cohérence du raisonnement spatial sans nécessiter de fine-tuning du modèle.
Validation en Environnement Réel : Validation réussie du système dans un environnement réel (Bâtiment de Mathématiques et de Psychologie de l'UMBC, MP-1), montrant que les instructions basées sur des graphes spécifiant le nombre d'étapes et les distances sont efficaces pour les utilisateurs BLV.

Résultats Expérimentaux

Le système a été évalué sur le jeu de données CVC-FP (référence standardisée) et dans un environnement réel à l'UMBC. Trois modèles ont été testés : GPT-4o, Claude 3.7 Sonnet et LLaMA 3.2 Vision-Instruct 11B.

Impact de l'Apprentissage Few-Shot :
- Sur le jeu de données CVC-FP, tous les modèles ont montré une amélioration avec le prompting few-shot. Claude 3.7 Sonnet a atteint les taux de succès les plus élevés : 84,6 % (courts), 76,9 % (moyens) et 61,5 % (longs).
- Dans les évaluations en environnement réel (MP-1), Claude 3.7 Sonnet sous prompting 5-shot a atteint la précision la plus élevée : 92,31 % (courts), 76,92 % (moyens) et 61,54 % (longs).
- Généralement, l'apprentissage few-shot a amélioré les Taux de Succès (SR) de 6 à 9 % par rapport au zero-shot, en particulier dans les itinéraires complexes à plusieurs tours.
Raisonnement Basé sur Graphes vs Raisonnement Visuel Direct :
- Une expérience comparative (Expérience III) a évalué l'impact de la représentation explicite de graphe par rapport au raisonnement visuel direct (zero-shot, sans graphe intermédiaire).
- La structuration spatiale basée sur des graphes a amélioré les performances pour tous les modèles. Par exemple, Claude 3.7 Sonnet est passé de 76,92 % à 84,62 % sur les itinéraires courts lors de l'utilisation du graphe.
- Dans l'ensemble, l'approche basée sur des graphes a produit un taux de succès supérieur de 15,4 % par rapport au raisonnement visuel direct, confirmant que l'encodage topologique explicite réduit les hallucinations et renforce la cohérence spatiale.

Importance et Revendications

L'article revendique que Floorplan2Guide offre une solution plus précise et accessible pour la navigation intérieure en exploitant les capacités de raisonnement des LLM combinées à des données spatiales structurées.

Indépendance de l'Infrastructure : Le système ne nécessite qu'une image de plan d'étage et un appareil équipé d'une caméra pour scanner les marqueurs ArUco, évitant ainsi les coûts élevés et la maintenance des systèmes lourds en infrastructure comme les balises BLE.
Fiabilité Accrue : En convertissant les plans d'étage en graphes de connaissances, le système atténue les erreurs d'« hallucination » courantes dans le raisonnement visuel direct, offrant une planification de chemin plus fiable.
Conception Centrée sur l'Utilisateur : La génération d'instructions étape par étape avec des distances et des nombres d'étapes spécifiques rend le résultat plus accessible aux utilisateurs BLV par rapport à des directions abstraites.
Évolutivité : L'approche démontre un potentiel de généralisation à travers différents environnements sans besoin de réentraînement spécifique à l'environnement, à condition que le plan d'étage soit disponible.

Les auteurs reconnaissent des limites, notamment l'absence d'évitement dynamique des obstacles et la nécessité d'études utilisateurs plus larges avec des participants BLV pour valider pleinement la robustesse dans divers environnements réels. Cependant, les résultats suggèrent que l'analyse de graphes guidée par les LLM est une direction viable et prometteuse pour la navigation intérieure assistive.