Human-in-the-Loop Uncertainty Analysis in Self-Adaptive Robots Using LLMs

Cet article présente RoboULM, une méthodologie et un outil intégrant l'humain dans la boucle qui exploitent les grands modèles de langage pour aider les praticiens à identifier, analyser et atténuer systématiquement les incertitudes des robots auto-adaptatifs lors de la phase de conception, comme le confirment les retours positifs de praticiens industriels issus de quatre cas d'usage.

L'essentiel

Imaginez que vous construisez un robot capable de naviguer dans une ville animée, de réparer un ordinateur portable ou de naviguer sur un navire. Le monde est désordonné, imprévisible et plein de surprises. Si votre robot n'est pas préparé à ces surprises (que l'article appelle « incertitudes »), il pourrait percuter, casser quelque chose ou rester bloqué.

Le problème est que déterminer toutes les choses possibles qui pourraient mal tourner est incroyablement difficile. C'est comme essayer de lister chaque manière possible dont une maison pourrait prendre feu avant même de la construire. Habituellement, les ingénieurs doivent deviner en se basant sur leur expérience, ce qui omet souvent des dangers cachés.

Cet article présente un nouvel outil appelé RoboULM pour aider à résoudre ce problème. Considérez RoboULM comme un assistant ultra-intelligent et infatigable qui aide les ingénieurs à brainstormer chaque scénario possible de « et si » avant même que le robot ne soit construit.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. La « Liste de Contrôle Principale » (La Taxonomie)

Premièrement, les chercheurs ont créé une gigantesque et organisée « Liste de Contrôle Principale » appelée UncerTax.

• L'analogie : Imaginez un manuel de mécanique qui ne se contente pas de lister les pièces d'une voiture, mais qui catégorise chaque chose possible qui pourrait mal tourner : S'agit-il d'un pneu crevé (matériel) ? D'une carte confuse (logiciel) ? D'une pluie soudaine (environnement) ?
• Ce qu'elle fait : Cette liste de contrôle aide les ingénieurs humains du robot et l'assistant informatique à parler le même langage. Elle garantit qu'ils ne pensent pas seulement aux « pièces cassées », mais aussi aux « données confuses » ou aux « problèmes éthiques ».

2. Le « Partenaire de Brainstorming » (Le LLM)

L'outil utilise un Modèle de Langage à Grande Échelle (LLM), qui est comme une IA très savante mais parfois bavarde.

• L'analogie : Imaginez que vous essayez de trouver une aiguille dans une botte de foin. Vous demandez à un ami (l'IA) de vous aider. Si vous dites simplement « Trouve l'aiguille », il risque de la manquer. Mais si vous lui donnez une stratégie spécifique, il devient beaucoup plus efficace.
• Ce qu'il fait : RoboULM ne demande pas simplement à l'IA de « deviner ». Il fournit à l'IA un ensemble spécifique d'instructions (prompts) basé sur la Liste de Contrôle Principale. Il dit à l'IA : « Examine les exigences du robot et indique-moi exactement où se trouvent les risques, en utilisant ces 12 catégories spécifiques. »

3. L'« Homme dans la Boucle » (Le Raffinement)

C'est la partie la plus importante. L'IA n'est pas laissée seule pour faire le travail ; un humain reste toujours aux commandes.

• L'analogie : Considérez l'IA comme un stagiaire junior enthousiaste mais qui fait parfois des erreurs. Vous (l'ingénieur senior) examinez son travail.
  • Classement : Vous donnez une note au stagiaire. « Tu as bien compris la partie 'sécurité' (10/10), mais ton hypothèse sur le 'matériel' était faible (3/10). Réessaie. »
  • Exemples : Vous dites : « Souviens-toi de cette fois où le robot a glissé sur un sol mouillé ? Pense à cela quand tu évalues les risques. »
  • Liste de contrôle : Vous pointez vers la Liste de Contrôle Principale et dites : « Tu as manqué la catégorie 'environnement'. Retourne en arrière et remplis-la. »
• Ce qu'il fait : L'outil permet à l'ingénieur humain d'affiner continuellement les réponses de l'IA jusqu'à ce qu'elles soient parfaites. C'est une conversation d'échange, pas une commande unique.

4. Le Test du Monde Réel

Les chercheurs ont testé cet outil avec 16 experts réels travaillant avec quatre types différents de robots :

1. Robots Mobiles Autonomes (comme les robots de livraison dans les entrepôts).
2. Robots de Démontage Industriel (robots qui démontent des ordinateurs portables).
3. Robots de Fabrication Collaboratifs (robots travaillant côte à côte avec des humains dans les usines).
4. Vaisseaux Autonomes (navires à conduite autonome).

Les Résultats :

• Les experts ont trouvé l'outil très utile et facile à comprendre.
• Ils ont adoré les prompts structurés (les instructions claires données à l'IA).
• Ils ont trouvé que le raffinement itératif (la capacité de noter l'IA et de lui demander de réessayer avec des exemples) était la partie la plus utile.
• Les experts ont estimé que cet outil les a aidés à identifier des risques qu'ils auraient autrement manqués, rendant les robots plus sûrs avant même qu'ils n'affrontent le monde réel.

Résumé

En bref, RoboULM est un atelier numérique où les ingénieurs humains et une IA intelligente travaillent ensemble. L'humain fournit l'expérience et le jugement final, tandis que l'IA agit comme un moteur puissant qui parcourt une immense « Liste de Contrôle Principale » pour trouver des dangers potentiels. En travaillant ensemble dans une boucle de questions, de vérifications et de raffinements, ils peuvent construire des robots plus sûrs et plus fiables, prêts pour le monde réel imprévisible.

Résumé technique

Résumé technique : Analyse des incertitudes avec boucle humaine dans les robots auto-adaptatifs utilisant des modèles de langage

Énoncé du problème
Les robots auto-adaptatifs (SAR) opèrent dans des environnements dynamiques et imprévisibles où des incertitudes non traitées peuvent entraîner des violations de sécurité et des défaillances opérationnelles. Bien que l'identification précoce des incertitudes lors de la phase de conception soit plus rentable que la correction post-déploiement, l'analyse systématique de ces incertitudes reste un défi majeur. Les approches existantes reposent souvent sur l'intuition, l'expérience antérieure ou des taxonomies statiques, qui ne révèlent que des sous-ensembles limités d'incertitudes et peinent à suivre l'évolution des technologies robotiques et l'intégration des modèles de langage (LLM). Le problème central réside dans l'absence d'une méthode systématique, rigoureuse et évolutive permettant aux praticiens d'explorer et de catégoriser les incertitudes dans des SAR complexes dès la phase de conception.

Méthodologie : RoboULM
Pour répondre à ce besoin, les auteurs proposent RoboULM, une méthodologie et un outil intégrant une boucle humaine, conçus pour aider les praticiens à explorer systématiquement les incertitudes à l'aide de LLM. La méthodologie intègre trois composants novateurs :

1. Taxonomie des incertitudes (UncerTax) : Une catégorisation structurée des incertitudes dérivée de quatre études de cas industrielles et validée par des praticiens. UncerTax organise les incertitudes selon 12 dimensions : nature (statique/dynamique), type (épistémique/aleatoire), phase (conception/développement/test/exploitation), durée temporelle, source d'occurrence (matériel/environnement/logiciel), source d'adaptation, portée (locale/globale), sévérité du risque, attributs de qualité affectés, schémas de propagation, caractéristiques des données et implications éthiques.
2. Exploration pilotée par LLM : L'outil utilise des LLM pour raisonner sur les exigences du système et identifier les incertitudes. Il emploie quatre stratégies de prompt spécifiques :
   • Prompting basé sur un rôle : Établit un contexte orienté persona.
   • Prompting basé sur une grille d'évaluation : Intègre des classements attribués par l'humain pour un raffinement qualitatif.
   • Prompting few-shot : Fournit des exemples pour un guidage basé sur l'expérience.
   • Prompting contraint par une ontologie : Guide le modèle en utilisant les éléments d'UncerTax.
3. Flux de travail de raffinement itératif : RoboULM fonctionne via un processus en trois étapes :
   • Compréhension du contexte : L'utilisateur fournit les exigences du système et les définitions de rôle ; le LLM résume sa compréhension du contexte robotique.
   • Requête initiale : L'utilisateur pose une question relative aux incertitudes. Le LLM répond par une sortie structurée catégorisée selon les 12 dimensions d'UncerTax, fournissant un raisonnement pour chacune.
   • Raffinement itératif : Si la réponse initiale est insatisfaisante, l'utilisateur affine la sortie en utilisant l'une des trois méthodes suivantes :
     • Raffinement basé sur le classement : L'utilisateur note des segments de réponse (1–10) pour mettre en évidence les zones à améliorer.
     • Raffinement piloté par des exemples : L'utilisateur fournit des scénarios concrets du monde réel pour clarifier les interprétations visées.
     • Raffinement guidé par la taxonomie : L'utilisateur sélectionne des éléments spécifiques de la taxonomie pour orienter le raisonnement du LLM.

L'outil est implémenté sous forme d'application web (frontend React, backend Express) utilisant le modèle Gemini 2.5 Flash (choisi pour son raisonnement hybride et sa grande fenêtre de contexte), bien qu'il soit compatible avec d'autres modèles tels que ChatGPT et Llama.

Contributions clés

• UncerTax : Une taxonomie complète des incertitudes spécifiquement conçue pour les SAR, détaillant les méthodes d'identification, les sources, les impacts et les stratégies d'atténuation à travers 12 dimensions.
• Outil RoboULM : Un prototype fonctionnel qui opérationnalise l'analyse des incertitudes avec boucle humaine, combinant un prompting structuré avec des capacités de raffinement itératif.
• Stratégies de prompting : Une suite de techniques de prompt avancées (basées sur le classement, pilotées par des exemples et guidées par la taxonomie) conçues pour raffiner itérativement les analyses d'incertitudes générées par les LLM.

Évaluation et résultats
Les auteurs ont évalué RoboULM auprès de 16 praticiens (incluant des chercheurs, des ingénieurs logiciels et des ingénieurs roboticiens) à travers quatre cas d'usage industriels : Robot Mobile Autonome (AMR), Robot de Démantèlement Industriel (IDR), Robot de Fabrication Collaboratif (CMR) et Bateau Autonome (AV).

• Utilisabilité : L'outil a généralement été perçu comme utile et facile à comprendre. L'étude de cas AMR a reçu les notes les plus élevées (médiane de 4,5/5 pour l'utilité et la compréhension).
• Préférence pour les fonctionnalités : Le prompting structuré a été la fonctionnalité la plus constamment valorisée (Moyenne : 4,25, score Top-Two-Box : 87,5 %). Le raffinement itératif (étape 3) a été identifié par les participants comme l'aspect le plus utile.
• Méthodes de raffinement : Le raffinement basé sur le classement a été le plus fréquemment utilisé et perçu comme direct. Le raffinement piloté par des exemples a obtenu de fortes notes lorsque les participants pouvaient fournir des exemples pertinents. Le raffinement guidé par la taxonomie a été moins apprécié par certains participants (particulièrement dans les cas CMR et AV) en raison de la difficulté à identifier les éléments de taxonomie pertinents et de l'attention occasionnelle du LLM à expliquer la taxonomie plutôt qu'à affiner la réponse.
• Journaux d'interaction : La plupart des participants ont terminé les tâches, explorant plusieurs questions sur les incertitudes. L'analyse a confirmé que les participants ont couvert un large éventail de sources d'incertitudes (environnement, matériel, logiciel, humain) et d'impacts.

Signification et affirmations
L'article affirme que RoboULM démontre la faisabilité pratique de l'utilisation de LLM pour l'analyse systématique des incertitudes dans des robots complexes. Les résultats suggèrent que la combinaison d'un prompting structuré avec un raffinement itératif guidé par l'humain permet aux praticiens d'explorer les incertitudes plus exhaustivement que les méthodes traditionnelles. Les auteurs positionnent RoboULM comme une solution viable pour relever le défi de l'analyse rigoureuse des incertitudes dans les SAR, en particulier en tirant parti des capacités de raisonnement des LLM tout en maintenant une supervision humaine grâce à la taxonomie et aux boucles de raffinement.

Les auteurs restent modestes quant à leurs affirmations, notant que ce travail présente un « premier prototype fonctionnel » et une étude d'utilisabilité. Ils reconnaissent des limites dans la validité externe dues à la taille de l'échantillon (16 participants) mais soutiennent que la diversité des cas industriels et des rôles des participants renforce les résultats. Des travaux futurs sont prévus pour intégrer les fonctionnalités suggérées par les participants et évaluer l'outil sur des cas robotiques supplémentaires et d'autres LLM.