Cognition Envelopes for Bounded Decision Making in Autonomous UAS Operations

Cet article propose le concept d'enveloppes de cognition pour encadrer les décisions des systèmes cyber-physiques autonomes, en particulier des drones de recherche et de sauvetage utilisant des modèles d'IA, afin de mitiger les erreurs comme les hallucinations tout en identifiant les défis d'ingénierie logicielle pour leur validation systématique.

L'essentiel

🚁 Le Dilemme du Drone "Intelligent"

Imaginez que vous avez un drone très intelligent, capable de voir et de comprendre le monde comme un humain. C'est ce qu'on appelle un modèle fondamental (comme les IA qui écrivent des textes ou reconnaissent des images). Ce drone est envoyé pour chercher une personne perdue dans la forêt (une mission de sauvetage).

Le problème ? Ces IA sont parfois un peu "rêveuses". Elles peuvent inventer des choses qui n'existent pas (des hallucinations), confondre un rocher avec un sac à dos, ou proposer un plan de recherche totalement fou, juste parce qu'elles se sentent confiantes. Si le drone suit aveuglément ces idées farfelues, il pourrait perdre du temps précieux ou mettre la vie du sauveteur en danger.

🛡️ La Solution : La "Coiffe de Cognition" (Cognition Envelope)

Pour résoudre ce problème, les chercheurs de l'Université de Notre Dame ont inventé un concept génial : la Coiffe de Cognition (ou Cognition Envelope).

Pour faire simple, imaginez que le drone est un jeune pilote très doué mais un peu étourdi.

• Le pilote (l'IA) propose un plan : "Je vais voler vers ce lac pour chercher la personne !".
• La Coiffe de Cognition est comme un vieux capitaine de marine expérimenté assis juste à côté, avec une carte et une boussole.

Le capitaine ne vole pas le drone. Il ne fait que vérifier le plan du pilote avant qu'il ne soit exécuté. Il se pose trois questions simples :

1. Est-ce que ça a du sens ? (Le pilote a-t-il vu quelque chose de réel ou a-t-il halluciné ?)
2. Est-ce que c'est possible ? (Le drone a-t-il assez de batterie pour aller là-bas ?)
3. Est-ce que ça correspond à la réalité ? (La personne perdue a-t-elle pu physiquement arriver à cet endroit en aussi peu de temps ?)

Si le plan est bon, le capitaine dit : "C'est parti !" (Vert).
Si le plan est douteux, il dit : "Attends, je ne suis pas sûr, demandons à un humain de vérifier." (Orange).
Si le plan est impossible, il dit : "Non, c'est trop dangereux ou faux, annule ça." (Rouge).

🧩 Comment ça marche dans la vraie vie ?

Dans l'article, ils testent cette idée avec des drones qui cherchent des indices (comme des lunettes cassées ou un sac à dos) dans la forêt. Voici le processus :

1. La Découverte : Le drone voit un objet. Son cerveau IA (l'IA de vision) dit : "C'est une paire de lunettes cassées ! La personne est sûrement là !".
2. Le Plan : Le drone propose de fouiller toute la zone autour.
3. La Vérification (La Coiffe) :
   • Le système de la Coiffe regarde la carte. Il sait que la personne a été vue il y a 30 minutes.
   • Il calcule : "Si la personne marche à pied, elle ne peut pas être de l'autre côté de cette rivière en 30 minutes."
   • Résultat : Même si le drone pense que c'est là, la Coiffe dit : "Non, c'est physiquement impossible. Le drone hallucine ou se trompe de contexte. On ne va pas là-bas."

🎯 Pourquoi c'est important ?

Avant, on avait des "limites de sécurité" (comme une clôture invisible qui empêche le drone de voler trop haut). Mais ici, on parle de limites de "bon sens".

• La Coiffe de Sécurité empêche le drone de s'écraser.
• La Coiffe de Cognition empêche le drone de prendre des décisions bêtes ou inutiles.

C'est comme si vous aviez un assistant personnel très rapide mais qui fait des erreurs de logique, et que vous aviez un superviseur qui vérifie chaque email avant qu'il ne soit envoyé.

🚧 Les Défis pour l'Avenir

Les chercheurs disent que c'est une excellente idée, mais qu'il reste du travail :

• Comment construire ces superviseurs ? Il faut des règles très claires.
• Comment ne pas être trop strict ? Si le superviseur dit "non" tout le temps, le drone ne sert à rien.
• Comment savoir si le superviseur lui-même ne fait pas d'erreur ? (C'est le défi de "vérifier celui qui vérifie").

En résumé

Ce papier propose de ne pas faire confiance aveuglément aux IA les plus intelligentes. Au lieu de cela, il faut les encadrer avec un système de contrôle externe (la Coiffe de Cognition) qui utilise la logique, les probabilités et les contraintes réelles pour s'assurer que les décisions prises par les robots sont sensées, sûres et utiles avant d'être exécutées. C'est une étape cruciale pour faire confiance aux robots dans des missions vitales comme le sauvetage.

Résumé technique

Titre : Enveloppes de Cognition pour la Prise de Décision Bornée dans les Opérations de Systèmes Aériens Sans Équipage Autonomes (UAS)

1. Problématique

Les systèmes cyber-physiques (CPS), en particulier les petits systèmes aériens sans équipage (sUAS) utilisés pour la recherche et le sauvetage (SAR), s'appuient de plus en plus sur des modèles fondamentaux (LLM et VLM) pour améliorer la perception, l'inférence et la planification. Cependant, ces modèles introduisent de nouveaux types d'erreurs critiques, notamment :

• Hallucinations : Génération de faits ou de contextes inexistants.
• Généralisations excessives : Application incorrecte de règles à des situations spécifiques.
• Désalignement contextuel : Incompréhension des contraintes opérationnelles réelles.

Ces erreurs peuvent conduire à des décisions erronées, compromettant la mission et mettant en danger des vies humaines. Les mécanismes existants, tels que les enveloppes de sécurité (qui limitent les états physiques comme l'altitude ou la vitesse) et la métacognition (auto-critique interne du modèle), sont insuffisants. La métacognition reste couplée au processus génératif et peut hériter des mêmes biais, tandis que les enveloppes de sécurité ne vérifient pas la sémantique ou la logique de la décision par rapport aux preuves externes.

2. Méthodologie : L'Enveloppe de Cognition

Les auteurs proposent le concept d'Enveloppe de Cognition (Cognition Envelope), défini comme une couche d'assurance temps réel qui agit comme un filtre sémantique indépendant.

Définition Formelle :
Une Enveloppe de Cognition est un tuple $E = \langle d, e, M, s, G \rangle$ :

• $d$ : Décision candidate produite par le pipeline de modèle fondamental.
• $e$ : Preuves externes et contexte d'exécution disponibles.
• $M$ : Modèle sémantique externe qui évalue $d$ sous $e$ pour produire un signal d'acceptabilité $s$.
• $G$ : Règle de filtrage (gate) qui utilise $s$ pour décider d'accepter, de rejeter, de réviser ou de déléguer la décision à un humain.

Cas d'Étude : Pipeline d'Analyse de Indices (CAP)
L'approche est appliquée à un scénario SAR où un sUAS détecte un indice (ex. : lunettes cassées, sac à dos).

1. Pipeline CAP (LLM/VLM) : Utilise GPT-4o et RAG (Retrieval-Augmented Generation) pour :
   • Décrire l'indice (Captioner).
   • Évaluer sa pertinence par rapport à la personne perdue (Relevance Checker).
   • Planifier une action (Task Planner).
   • Décider de l'exécution (Triager).
2. L'Enveloppe de Cognition (Validateur Externe $M$) : Comprend deux composants principaux :
   • pSAR (Modèle de Probabilité de Personne Perdue) : Un modèle probabiliste basé sur un champ de potentiel. Il calcule la probabilité de présence de la personne ($POA$) en fonction de la faisabilité (temps de marche, terrain, obstacles) et de l'affinité (préférence pour les sentiers, l'eau, etc.). Il met à jour dynamiquement la carte de probabilité en fonction des indices découverts.
   • MCE (Évaluateur de Coût de Mission) : Vérifie les contraintes de ressources (batterie, temps) pour éviter des plans trop coûteux.

Processus de Décision :
Le signal d'acceptabilité $s$ est généré en comparant la décision du CAP avec la distribution de probabilité du pSAR. Trois issues sont possibles via la règle $G$ :

• ACCEPT : La décision est cohérente avec les probabilités et les coûts.
• ALERT : La décision est borderline (nécessite une revue humaine).
• REJECT : La décision est incohérente (ex. : chercher dans une zone inaccessible ou à faible probabilité malgré un indice pertinent).

3. Contributions Clés

1. Concept d'Enveloppe de Cognition : Introduction d'un cadre formel pour séparer la génération de décisions (LLM) de leur validation sémantique (modèles probabilistes/règles), comblant le vide entre les enveloppes de sécurité physiques et la métacognition interne.
2. Architecture Hybride : Intégration réussie d'un pipeline LLM/VLM avec un validateur probabiliste (pSAR) et heuristique (MCE) pour des décisions autonomes bornées.
3. Évaluation Empirique Rigoureuse : Conception et exécution de 350 tests basés sur 10 scénarios (vignettes) de missions SAR réelles et hypothétiques, couvrant divers types d'indices, conditions météorologiques et états de la flotte de drones.
4. Identification des Défis Ingénierie Logicielle : Mise en lumière des défis spécifiques liés à la spécification, la validation, l'alignement avec la vérité terrain incertaine et l'engagement humain dans les systèmes CPS basés sur l'IA.

4. Résultats

L'évaluation a permis de répondre à deux questions de recherche principales :

• RQ1 : Où sont nécessaires les vérifications externes ?

  • Les étapes 1 et 2 du pipeline (description et pertinence de l'indice) sont gérées avec une précision de 95 % par la métacognition interne du LLM.
  • Les étapes 3 et 4 (planification de l'action et déclenchement) nécessitent impérativement l'enveloppe de cognition. Le LLM seul peut proposer des plans physiquement sûrs mais sémantiquement erronés (ex. : chercher dans une zone inaccessible ou peu probable).

• RQ2 : Efficacité des garde-fous de l'enveloppe ?

  • Sans mise à jour du modèle : Lorsque le pSAR n'intègre pas la nouvelle preuve de l'indice, il rejette 44 % des plans pour les indices situés hors de la zone de recherche active, même si l'indice est pertinent.
  • Avec mise à jour du modèle : Après que le pSAR a mis à jour ses probabilités en fonction de l'indice trouvé, le taux d'approbation des plans augmente significativement, permettant une autonomie plus élevée tout en maintenant la sécurité.
  • Facteurs d'inhibition : La distance par rapport au point de dernière connaissance (LKP), le temps écoulé et les barrières terrain (rivières, falaises) sont les principaux facteurs de rejet, confirmant que l'enveloppe filtre efficacement les décisions non plausibles.

5. Signification et Implications

• Sécurité et Confiance : Cette approche offre un mécanisme pratique pour déployer des agents autonomes basés sur l'IA dans des environnements critiques sans sacrifier la sécurité. Elle permet de détecter les "hallucinations de décision" avant leur exécution.
• Évolutivité : Le concept est généralisable au-delà du SAR (ex. : exploration de UAV, contrôle de formation, oncologie de précision), suggérant que les enveloppes de cognition peuvent être adaptées à divers domaines CPS.
• Ingénierie Logicielle pour l'IA : L'article établit une feuille de route pour les défis futurs, notamment la nécessité de traiter l'enveloppe comme un composant de premier ordre, la gestion de l'incertitude des données de capteurs, et la définition claire des critères de délégation à l'humain (Human-in-the-loop).

En conclusion, les Enveloppes de Cognition ne garantissent pas une correction absolue, mais elles définissent des limites de raisonnement acceptables, assurant que les décisions autonomes restent ancrées dans la réalité opérationnelle et les preuves disponibles.