Pendant des décennies, le rêve d'un robot utile a été limité par une simple réalité : les machines sont excellentes pour suivre des instructions strictes mais terribles pour comprendre la nature désordonnée et changeante de la conversation humaine. Si vous dites à un robot traditionnel « apporte-moi la canette rouge », il trouvera la canette rouge et l'apportera, même si vous changez d'avis au milieu du processus. Il lui manque l'intelligence sociale pour réaliser que votre intention a évolué, pour interrompre son action et pour adapter son comportement en fonction d'une nouvelle information. Ce fossé entre la programmation rigide et l'interaction humaine fluide est le défi central que les chercheurs tentent aujourd'hui de résoudre. Le domaine dépasse l'enseignement aux robots de simplement voir et bouger ; le nouvel objectif est de leur apprendre à écouter, à se souvenir, à raisonner et à changer d'avis en temps réel, tout comme les humains le font lorsqu'ils travaillent ensemble.

Une équipe de Ludo Robotics a franchi une étape significative vers cet objectif avec un nouveau système appelé Ludi0.1. Il ne s'agit pas d'un seul morceau de logiciel qui tente de tout faire à la fois, mais plutôt d'une équipe coordonnée d'outils spécialisés travaillant ensemble sous la direction d'un « cerveau » central. Ce cerveau est un type d'intelligence artificielle entraînée à comprendre à la fois les images et le langage, mais il a été spécifiquement enseigné pour gérer les va-et-vient d'une véritable conversation. Les chercheurs ont construit un système où ce cerveau peut regarder ce qu'il voit, écouter ce qu'une personne dit, se souvenir de ce qui s'est passé un instant auparavant, puis décider s'il doit parler, bouger, saisir un objet ou attendre. L'innovation clé est que le système est conçu pour gérer les interruptions et les corrections. Si une personne commence à demander un Coca, et que le robot commence à l'atteindre, mais que la personne dit soudainement : « En fait, elle préfère Pepsi », Ludi0.1 comprend que l'ancien plan n'est plus valide. Il arrête de tendre la main vers le Coca, change sa cible pour le Pepsi, et poursuit la tâche avec la nouvelle instruction, le tout sans briser le flux de l'interaction.

Pour construire cela, les chercheurs ne se sont pas appuyés sur un modèle unique et massif qui tente d'apprendre tout à partir de zéro. Au lieu de cela, ils ont créé une structure où un modèle de raisonnement central agit comme un gestionnaire. Ce gestionnaire reçoit un flux d'informations : un flux vidéo en direct provenant des yeux du robot, le texte de ce que l'humain vient de dire, et un enregistrement de tout ce que le robot a fait ou pensé jusqu'à présent. Sur la base de cette image complète, le gestionnaire décide quel outil utiliser ensuite. Ces outils sont des programmes spécialisés pour des tâches spécifiques, comme vérifier si un objet est à portée de bras, naviguer vers une pièce nommée comme la chambre, ou réellement saisir un objet. Le gestionnaire peut décider de poser une question de clarification, ou il peut décider de marcher vers un bureau. Crucialement, le système est conçu pour fonctionner localement sur une station de travail GPU sur site connectée au robot, ce qui signifie qu'il n'a pas besoin d'attendre une connexion Internet pour réfléchir ou agir. Cela permet au robot de réagir instantanément, même lorsqu'il est en train de parler ou de bouger.

L'équipe a testé ce système sur un Unitree G1, un robot humanoïde qui se tient debout et marche comme une personne. Ils ont créé une simulation d'un environnement domestique pour entraîner le robot, générant des milliers d'exemples d'interactions complexes. Dans ces scénarios d'entraînement, le robot s'est exercé à gérer des demandes ambiguës, à traiter des corrections en cours de tâche et à gérer des courses à étapes multiples. Par exemple, le robot a appris que si un utilisateur dit « apporte l'ordinateur portable du milieu », il doit d'abord observer la scène pour identifier quel ordinateur portable se trouve au milieu avant de pouvoir essayer de le saisir. Les données d'entraînement comprenaient des situations où l'utilisateur changeait d'avis, interrompait le robot ou fournissait de nouvelles informations pendant que le robot était déjà en action. Les chercheurs ont constaté qu'en affinant leur modèle de raisonnement central sur ces schémas d'interaction spécifiques, le robot devenait bien meilleur pour accomplir les tâches avec succès. Dans leurs tests, le système a réussi à compléter 20 scénarios complexes de bout en bout sur 28, une amélioration significative par rapport à la version non entraînée du même modèle.

Le succès de Ludi0.1 réside dans sa capacité à maintenir la conversation et l'action physique ancrées dans la même réalité. Le robot ne se contente pas de prononcer des mots ; il prononce des mots qui sont directement liés à ce qu'il voit et à ce qu'il fait. Si le robot marche vers une pièce, il peut expliquer où il va. S'il ne peut pas atteindre un objet, il peut le dire honnêtement. Le système maintient un historique partagé de l'interaction, permettant de se souvenir que l'utilisateur voulait initialement un Coca mais qu'il est ensuite passé au Pepsi. Cette mémoire n'est pas seulement une liste de faits ; c'est un contexte vivant qui façonne chaque nouvelle décision du robot. Les chercheurs ont démontré cela lors d'un test en conditions réelles où un utilisateur a demandé au robot d'apporter une boisson à une personne dans une chambre. Lorsque l'utilisateur a corrigé la commande de Coca à Pepsi alors que le robot tendait déjà la main vers la première canette, le robot s'est immédiatement arrêté, a changé pour la bonne boisson, a navigué vers la chambre et a posé la boisson sur le bureau, tout en expliquant ses actions à l'utilisateur.

Bien que le système soit impressionnant, les chercheurs sont clairs sur ses limites actuelles. L'intelligence du robot est un mélange d'un cerveau central et d'outils séparés et spécialisés. Le cerveau décide de ce qu'il faut faire, et les outils font le travail, mais ils ne sont pas encore un esprit unique et unifié. Cette séparation peut parfois causer des délais ou donner l'impression que le comportement du robot est légèrement fragmenté, comme si différentes parties du système se parlaient au lieu d'agir comme une seule. L'équipe reconnaît que la prochaine étape est de dépasser cette approche modulaire. Ils travaillent vers une version future, Ludi 1.0, qui serait un modèle de fondation unique intégrant profondément la perception, le langage, la mémoire et le contrôle physique en un système cohérent. Pour l'instant, Ludi0.1 sert de prototype fonctionnel et de source de données précieuses. En observant comment le robot interagit avec les gens, les chercheurs collectent les traces du monde réel nécessaires pour entraîner cette prochaine génération de robots sociaux véritablement intégrés.

Le travail présenté dans ce document démontre qu'une collaboration fluide entre l'homme et le robot est possible aujourd'hui, à condition que le système soit conçu pour gérer l'imprévisibilité de l'intention humaine. Les chercheurs ont montré qu'en combinant un noyau de raisonnement avec des compétences physiques spécialisées et une mémoire robuste de l'interaction, un robot peut s'adapter aux changements au milieu d'une tâche. Ce n'est pas un problème résolu, et le système actuel repose toujours sur une architecture structurée plutôt que sur une intelligence unifiée entièrement apprise. Cependant, les résultats suggèrent une voie claire à suivre. La capacité de faire une pause, d'écouter, de réviser et de continuer n'est plus seulement un concept théorique ; c'est une capacité qui peut être construite et testée dès maintenant. À mesure que l'équipe continue d'affiner ces systèmes, le fossé entre les machines rigides du passé et les partenaires collaboratifs du futur continue de se réduire.