💻 computer science

Effective Task Planning with Missing Objects using Learning-Informed Object Search

Cet article présente un cadre de planification de tâches pour robots mobiles capable de gérer l'incertitude liée à la localisation d'objets manquants en intégrant des actions de recherche basées sur l'apprentissage (LIOS) dans des solveurs de planification déterministes, surpassant ainsi les méthodes existantes dans des environnements simulés et réels.

Auteurs originaux : Raihan Islam Arnob, Max Merlin, Abhishek Paudel, Benned Hedegaard, George Konidaris, Gregory J. Stein

Publié 2026-02-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Raihan Islam Arnob, Max Merlin, Abhishek Paudel, Benned Hedegaard, George Konidaris, Gregory J. Stein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un robot domestique dans une grande maison. Votre mission est de préparer un petit-déjeuner ou de servir un café. Le problème ? Vous savez quoi faire, mais vous ne savez pas où sont les objets. Le café est-il dans le frigo ? Le pain est-il sur la table ou dans le placard ?

C'est là que se situe le défi principal de cette recherche. Les robots classiques sont comme des chefs cuisiniers qui ont une recette parfaite, mais qui paniquent dès qu'ils ne trouvent pas un ingrédient sur le comptoir. Ils s'arrêtent, car ils ne savent pas comment chercher sans tout casser.

Voici comment les auteurs de cette étude ont résolu le problème, expliqué simplement :

1. Le Problème : Le Chef qui ne voit pas l'arrière-boutique

Traditionnellement, les robots utilisent des plans très rigides (comme une liste de courses précise). Si l'objet n'est pas là où le plan dit qu'il devrait être, le robot est perdu.
D'un autre côté, il existe des robots très intelligents capables de chercher des objets grâce à l'apprentissage automatique (comme un chien qui renifle partout), mais ils sont trop "spécialisés". Ils savent chercher, mais ils ne savent pas quand chercher ni quoi chercher en premier pour préparer un repas complet. C'est comme avoir un excellent détective, mais qui ne sait pas cuisiner.

2. La Solution : Le "Super-Acte" Magique

Les chercheurs ont créé une astuce géniale. Ils ont inventé un nouvel outil qu'ils appellent "LIOS" (Recherche d'Objet Informée par l'Apprentissage).

Imaginez que le plan du robot est un livre de recettes. Au lieu d'écrire "Ouvre le frigo, regarde, ferme, ouvre le placard...", ils écrivent simplement : "Trouve le café".

L'astuce : Pour le planificateur (le chef), cette action "Trouve le café" semble magique et certaine. Il ne se soucie pas du chaos de la recherche.
La réalité : Derrière ce bouton magique, il y a un système très intelligent qui utilise l'IA pour deviner où le café a le plus de chances d'être (par exemple, "les robots ont souvent trouvé du café dans les placards de la cuisine, pas dans la chambre").

3. Comment ça marche ? (L'Analogie du GPS Intelligent)

Voici le processus en trois étapes simples :

L'Intuition (L'IA) : Le robot a appris, en regardant des milliers de maisons virtuelles, que certains objets sont souvent dans certains endroits. C'est comme un GPS qui vous dit : "Il y a 90 % de chances que le pain soit dans le four, pas dans le salon."
Le Calcul du Coût (L'Économiseur) : Le robot ne cherche pas au hasard. Il calcule : "Si je vais au salon, je vais marcher 5 minutes et je risque de ne rien trouver. Si je vais au four, je marche 1 minute et j'ai de grandes chances de trouver. Donc, le 'coût' de chercher au four est faible."
Le Plan Global (Le Chef) : Le planificateur utilise ces calculs pour décider de l'ordre des tâches. Il dit : "D'abord, allons chercher le pain (car c'est facile et rapide), puis le café, et enfin les œufs."

4. Le Résultat : Un Robot qui ne perd pas de temps

Dans leurs tests (simulés dans des maisons virtuelles et réels avec un robot Boston Dynamics "Spot"), cette méthode a fait des merveilles :

Moins de marches inutiles : Le robot ne fouille pas tous les tiroirs au hasard. Il va directement là où il a le plus de chances de trouver l'objet.
Meilleure organisation : Il sait quel objet chercher en premier pour gagner du temps global.
Robustesse : Même si le robot se trompe de fois en fois, il peut recalculer son plan instantanément, comme un humain qui dit "Ah, ce n'est pas ici, je vais essayer l'autre endroit".

En résumé

Cette recherche donne au robot une intuition (savoir où chercher grâce à l'apprentissage) et une stratégie (savoir quand chercher grâce aux calculs de coût), le tout en restant compatible avec les plans rigides existants.

C'est comme passer d'un robot qui lit une carte au doigt mouillé à un robot qui a un instinct de détective couplé à un stratège militaire, lui permettant de préparer votre petit-déjeuner même si la maison est en désordre et que les objets sont cachés !

1. Problématique

Le domaine de la planification de tâches pour les robots mobiles repose souvent sur des hypothèses d'environnements entièrement connus (via des langages comme PDDL et des solveurs comme FASTDOWNWARD). Cependant, dans des scénarios réels ("in the wild"), les robots doivent souvent accomplir des tâches dont les objets critiques sont manquants ou dont les emplacements sont inconnus.

Les défis principaux sont :

Incompatibilité des outils : Les planificateurs classiques supposent des effets d'actions déterministes, alors que la recherche d'objets est intrinsèquement stochastique (non déterministe).
Intégration du apprentissage : Bien que des approches d'apprentissage par renforcement ou des modèles prédictifs existent pour la recherche d'objets, ils fonctionnent souvent comme des modules autonomes. Il est difficile de les intégrer dans un planificateur de haut niveau qui doit décider quoi chercher, quand le chercher, et dans quel ordre pour minimiser le coût global de la tâche.
Complexité computationnelle : La planification complète sous incertitude (POMDP) ne se généralise pas bien aux environnements de grande taille et de complexité domestique.

2. Méthodologie : Planification de Tâches Informée par l'Apprentissage (LIOS)

Les auteurs proposent un cadre hybride qui combine la planification symbolique déterministe avec des politiques de recherche d'objets apprises par machine learning.

A. L'Action "Find" (Trouver) comme Abstraction

Pour contourner le problème de la stochasticité, les auteurs introduisent une nouvelle action de haut niveau appelée find (trouver).

Concept : Cette action est traitée comme déterministe par le planificateur de haut niveau (PDDL), mais elle est instanciée en réalité par une politique de recherche complexe.
Sémantique : L'action find(objet, départ, cible) englobe :
1. Le départ d'une position.
2. La recherche séquentielle dans les conteneurs jusqu'à la découverte de l'objet.
3. La saisie de l'objet.
4. Le déplacement vers une position cible avec l'objet.
Avantage : Cela permet d'utiliser des solveurs PDDL optimisés tout en encapsulant l'incertitude de la recherche à l'intérieur de l'action elle-même.

B. Politique de Recherche d'Objets Informée par l'Apprentissage (LIOS)

Pour instancier l'action find, les auteurs développent une politique LIOS (Learning-Informed Object Search) basée sur un modèle :

Estimation de probabilité : Un modèle d'apprentissage automatique (réseau de neurones entraîné sur des données PROCTHOR) prédit la probabilité $P_{FOUND}$ de trouver un objet spécifique dans chaque conteneur non exploré.
Calcul du Coût Attendu ( $Q_{\pi_o}$ ) : La politique utilise une équation de Bellman pour calculer le coût attendu de la recherche. Ce coût intègre :
- Le coût de déplacement ( $R_{move}$ ).
- Le coût de recherche ( $R_{search}$ ).
- La probabilité de succès et le coût de récupération si l'objet est trouvé.
- La probabilité d'échec et le coût de la recherche dans le conteneur suivant.
Optimisation : La politique LIOS génère une séquence de conteneurs à visiter qui minimise ce coût attendu.

C. Boucle de Planification et Re-planification

Le planificateur de haut niveau utilise les coûts attendus des actions find pour générer un plan séquentiel (quel objet chercher en premier, dans quel ordre).
Pendant l'exécution, le robot explore les conteneurs. Dès qu'un nouvel objet est découvert ou qu'un conteneur est vidé, le robot re-planifie en utilisant la nouvelle information, tout en conservant la compatibilité avec le solveur déterministe.

3. Contributions Clés

Abstraction "Find" : Introduction d'une action de haut niveau qui encapsule la stochasticité de la recherche d'objets, permettant l'utilisation de solveurs PDDL classiques dans des environnements partiellement observables.
Stratégie LIOS : Développement d'une politique de recherche qui combine des prédictions de localisation apprises (via des réseaux de neurones) et de la planification basée sur un modèle pour minimiser le coût attendu.
Intégration Coût/Planification : Utilisation du coût attendu calculé par LIOS pour guider le planificateur de haut niveau dans la prise de décision stratégique (choix de l'objet à chercher et moment de la recherche), résolvant ainsi le problème de "scouting" (repérage).
Validation Multi-niveaux : Démonstration que cette approche surpasse les méthodes purement gourmandes (Greedy) et les méthodes d'apprentissage isolées, tant en simulation qu'en réel.

4. Résultats Expérimentaux

Les expériences ont été menées dans l'environnement simulé PROCTHOR (maisons générées procéduralement) et en monde réel avec le robot Spot de Boston Dynamics.

A. Performance de la Recherche d'Objets (LIOS seul)

Comparé à une stratégie "Greedy" (recherche du conteneur le plus proche), la politique LIOS a réduit le coût de recherche de 59,9 % sur 200 essais.
LIOS réussit à cibler directement les zones à forte probabilité (ex: cuisine pour un grille-pain) plutôt que de chercher au hasard ou séquentiellement.

B. Planification de Tâches Complexe

L'évaluation a porté sur cinq scénarios : livraison de 3 objets, préparation du petit-déjeuner, préparation du café, combinaison des deux, et choix parmi trois objets.

Stratégie "ModelLIOS" (approche complète) : Elle a obtenu les meilleurs résultats globaux en termes de coût moyen et de taux de réussite.
Comparaison :
- Les approches utilisant LIOS (OptLIOS, PesLIOS, ModelLIOS) surpassent systématiquement les approches basées sur la recherche "Greedy" (OptGreedy, PesGreedy).
- L'utilisation du coût attendu calculé par le modèle (Eq. 1) est cruciale : elle permet au planificateur de choisir l'ordre optimal de recherche (ex: chercher l'objet le plus facile à trouver en premier) et d'éviter des recherches inutiles.
- Dans le scénario "Any-of-Three" (trouver n'importe lequel de trois objets), ModelLIOS a excellé car il a pu raisonner sur quel objet était le moins coûteux à récupérer.

C. Expériences Réelles (Robot Spot)

Dans un environnement domestique réel (cuisine + chambre), le robot a dû livrer une bouteille d'eau et un téléphone.
Résultat : La stratégie ModelLIOS a complété la tâche en 174 secondes en ne fouillant que 2 conteneurs.
Comparaison : Les stratégies de base (PesGreedy et PesLIOS) ont dû fouiller 9 et 6 conteneurs respectivement, prenant 311s et 264s. Cela démontre l'efficacité du raisonnement à long horizon basé sur les coûts attendus.

5. Signification et Conclusion

Ce travail représente une avancée significative pour la robotique mobile autonome dans des environnements non structurés.

Compatibilité : Il résout le problème de l'intégration des méthodes d'apprentissage (souvent stochastiques) dans les planificateurs symboliques classiques (déterministes), permettant de bénéficier de la puissance des solveurs existants.
Efficacité : En apprenant à prédire où se trouvent les objets et en calculant précisément le coût de la recherche, le robot évite les comportements naïfs et optimise son temps d'exécution.
Limites et Perspectives : L'approche suppose actuellement la connaissance a priori des types d'objets existants et de la carte des conteneurs. De plus, elle traite l'état des objets (ex: propre/sale) de manière optimiste, nécessitant une re-planification si les préconditions ne sont pas remplies.

En résumé, cette méthode permet aux robots de planifier efficacement des tâches complexes malgré l'incertitude sur la localisation des objets, en combinant intelligemment la prédiction par apprentissage et la planification symbolique.