Résumé Technique : Configuration des Paramètres de Numérisation Consciente de la Tâche pour l'Inspection Robotisée

Définition du Problème

La profilométrie laser robotisée est une méthode standard pour la vérification dimensionnelle et l'inspection de surface dans la fabrication. Cependant, la fidélité des mesures est souvent déterminée non pas par la planification du mouvement du robot, mais par la configuration des paramètres opérationnels du capteur (par exemple, fréquence d'échantillonnage, plage de mesure, temps d'exposition, plage dynamique et éclairage). Actuellement, ces paramètres sont réglés manuellement par essais et erreurs ou via des fonctions de gain automatique agnostiques de la tâche qui maximisent l'intensité du signal sans tenir compte des intentions d'inspection spécifiques (par exemple, contour global par rapport à la détection de défauts fins).

Des configurations incorrectes entraînent une perte de données irréversible, telle que la saturation, le recadrage ou l'absence de retours, que les algorithmes en aval ne peuvent pas récupérer. De plus, les objectifs d'inspection sont généralement communiqués via des instructions en langage naturel (par exemple, « numériser la surface supérieure pour détecter les détails fins »), pourtant les systèmes robotiques actuels traitent la configuration du capteur comme un paramètre statique plutôt que comme une variable de décision adaptative conditionnée à la fois par la scène visuelle et l'intention de la tâche. L'article identifie un écart dans la recherche existante : tandis que la perception active se concentre sur où regarder, elle aborde rarement comment sentir en fonction de la sémantique de la tâche et de l'apparence visuelle.

Méthodologie : ScanHD

Pour répondre à cela, les auteurs proposent ScanHD, un cadre basé sur le Calcul Hyperdimensionnel (HDC) pour la recommandation de paramètres de détection conditionnés par l'instruction. Le système prend une observation RVB pré-numérisation et une instruction d'inspection en langage naturel pour inférer une configuration discrète pour un profilomètre laser.

1. Jeu de Données : Instruct-Obs2Param

Les auteurs introduisent un jeu de données multimodal du monde réel pour évaluer ce problème.

• Matériel : Un manipulateur UR3 équipé d'un profilomètre laser Keyence LJ-X8200 et d'une caméra Intel RealSense D435i.
• Contenu : 16 objets représentatifs (électronique, outils, blocs de calibration) répartis sur 16 objets, 3 conditions d'éclairage et 3 poses/orientations.
• Structure : Le jeu de données relie les intentions d'inspection (encodées sous forme d'emplacements sémantiques structurés), les observations visuelles et les paramètres discrets réels du scanner.
• Génération : Une « Roue de l'Évolution des Données » est utilisée pour synthétiser des triplets instruction-observation-paramètre de haute qualité, en utilisant des LLM pour la génération d'instructions et un calibrage avec expert dans la boucle pour garantir la validité et la cohérence physiques.

2. Le Cadre ScanHD

ScanHD adopte une approche « représentation d'abord » utilisant le HDC pour assurer la robustesse, l'interprétabilité et une faible latence.

• Encodage :
  • Les observations visuelles et les instructions en langage naturel sont intégrées à l'aide d'un modèle Vision-Language pré-entraîné (CLIP).
  • Ces intégrations sont liées pour former une représentation conditionnée par l'instruction.
  • La représentation est projetée dans un espace bipolaire de haute dimension (hypervecteurs) via un encodeur de projection aléatoire.
• Apprentissage (Raisonnement Associatif Paramètre par Paramètre) :
  • Au lieu d'un modèle monolithique de bout en bout, ScanHD utilise des mémoires associatives spécifiques aux paramètres. Chacun des cinq paramètres de numérisation possède son propre ensemble d'hypervecteurs de classe.
  • L'entraînement implique une phase d'apprentissage adaptatif en un seul passage, suivie d'un raffinement itératif optionnel pour affiner les frontières de décision pour les échantillons mal classés.
  • Les opérations d'agrégation et de liaison du HDC permettent la fusion compositionnelle des entrées multimodales tout en maintenant la robustesse au bruit.
• Inférence :
  • Lors du déploiement, l'hypervecteur de requête encodé est comparé aux hypervecteurs de classe appris en utilisant la similarité cosinus.
  • La valeur du paramètre présentant la plus grande similarité est sélectionnée via une opération argmax.
  • Ce processus est léger, interprétable et adapté aux boucles de contrôle robotique en temps réel.

Contributions Clés

1. Formulation du Problème : L'article reformule la configuration du capteur d'un paramètre d'ingénierie statique à une variable de décision consciente de la tâche de premier plan dans l'inspection incarnée, conditionnée à la fois par l'observation visuelle et l'intention en langage naturel.
2. Jeu de Données Instruct-Obs2Param : Un jeu de données multimodal du monde réel reliant les intentions d'inspection, les observations visuelles et les paramètres de numérisation laser discrets à travers divers objets et conditions, comblant le manque de benchmarks standardisés pour ce problème spécifique.
3. Cadre ScanHD : Un cadre de calcul hyperdimensionnel permettant un raisonnement robuste, interprétable et paramètre par paramètre. Il lie les entrées multimodales à des représentations symboliques et effectue une recherche associative pour une inférence à faible latence.
4. Validation Empirique : Des expériences complètes démontrant que ScanHD surpasse les heuristiques basées sur des règles, les modèles multimodaux conventionnels (ResNet, ViT, Fusion Précoce/Tardive) et les Grands Modèles de Langage Multimodaux (MLLM) en termes de précision et de robustesse.

Résultats Expérimentaux

Évalué sur le jeu de données Instruct-Obs2Param, ScanHD a obtenu les résultats suivants :

• Précision : 92,7 % de Précision Exacte moyenne et 98,1 % de Précision Win@1 moyenne sur les cinq paramètres.
• Comparaison :
  • vs. Basé sur des règles : Surpasse significativement les heuristiques basées sur des règles (50,4 % de Précision Exacte moyenne), en particulier pour les paramètres nécessitant un ancrage visuel.
  • vs. Modèles Unimodaux : Les modèles basés uniquement sur l'instruction ont échoué sur les paramètres sensibles à l'apparence (par exemple, temps d'exposition), tandis que les modèles basés uniquement sur l'observation ont échoué sur les paramètres guidés par l'intention (par exemple, fréquence d'échantillonnage). ScanHD a réussi à fusionner les deux modalités.
  • vs. MLLM : Les LLM multimodaux (variantes Qwen3-VL) ont obtenu de mauvais résultats (<50 % de Précision Exacte), peinant à mapper le raisonnement libre à des choix discrets précis et contraints par le matériel sans biais inductif spécifique au domaine.
• Généralisation : Le modèle a démontré une forte généralisation inter-ensemble à travers les changements de position, de rotation et d'éclairage, maintenant une Précision Exacte >91 % dans la plupart des scénarios de division.
• Efficacité des Données : Le modèle a atteint >90 % de Précision Win@1 avec seulement 20 % des données d'entraînement, indiquant une haute efficacité des données.
• Efficacité : ScanHD a présenté la latence d'inférence la plus faible parmi toutes les méthodes testées, le rendant adapté au déploiement en temps réel, tandis que les MLLM ont montré une latence d'ordres de grandeur supérieure.

Signification et Revendications

L'article revendique que ScanHD permet une configuration de détection autonome conditionnée par l'instruction, éliminant efficacement le besoin de réglage manuel et élevant la configuration du capteur d'un paramètre statique à une variable de décision adaptative.

Les auteurs soulignent que leur approche répond à la réalité « détection d'abord » de l'inspection industrielle, où les erreurs introduites au stade de l'acquisition sont irréversibles. En utilisant le Calcul Hyperdimensionnel, le système atteint un équilibre entre robustesse (gestion des variations d'apparence), interprétabilité (chemins de décision transparents) et efficacité (inférence à faible latence), qui sont des exigences critiques pour le déploiement dans les cellules robotiques industrielles. Le travail valide que l'adaptation de la détection consciente de la tâche est un problème d'apprentissage distinct et soluble que les approches actuelles d'apprentissage profond de bout en bout et de LLM ne sont pas optimalement adaptées à traiter sans contraintes structurelles spécifiques.