World-Model-Grounded LLM Planning for AUV and ASV Navigation Near Offshore Wind Farms

Imaginez un robot capable de comprendre une phrase simple comme « va inspecter cette éolienne » et de déterminer ensuite les étapes pour s'y rendre. Pendant des années, des scientifiques ont enseigné à l'intelligence artificielle comment faire exactement cela en utilisant des modèles de langage étendus, le même type de technologie qui alimente les assistants intelligents et les agents conversationnels. Ces systèmes sont excellents pour décomposer un grand objectif en actions plus petites, comme « avancer », « tourner à gauche » ou « s'arrêter ». Cependant, ils présentent un angle mort critique : ils ne comprennent pas la physique. Ils connaissent les mots pour déplacer un bateau ou un sous-marin, mais ils ne peuvent pas ressentir le poids de l'eau, la traînée du courant ou le délai nécessaire pour qu'un moteur réponde. Si vous demandez à un modèle de langage standard de diriger un navire autour d'une éolienne, il pourrait suggérer un virage qui semble parfait sur le papier, mais qui échoue dans la réalité parce que l'eau pousse le bateau sur le côté ou que le moteur accuse un retard, provoquant la dérive du vaisseau droit sur la structure. Ce fossé entre ce qu'un ordinateur pense qu'il va se passer et ce qui se passe réellement dans l'océan est le problème central que les chercheurs de l'Établissement de recherche de la défense de Norvège et de l'Université Heriot-Watt ont cherché à résoudre.

L'équipe a développé une nouvelle façon de guider les robots autonomes à proximité des parcs éoliens offshore en leur donnant un « modèle de monde ». Voyez cela non pas comme un second cerveau qui réfléchit, mais comme un simulateur hautement précis qui tourne en arrière-plan. Dans ce système, le modèle de langage agit toujours comme le commandant, décidant de la séquence d'actions basée sur la description de la mission. Mais avant que le robot ne bouge, le modèle de monde intervient pour répondre aux questions de « combien de temps » et « à quel point ». Il calcule la durée précise de chaque mouvement et vérifie si le plan survivra aux réalités physiques de l'océan, telles que les vagues, les courants et la manière spécifique dont les propulseurs du robot fonctionnent. Si le plan semble mener à une collision, le modèle de monde ajuste le timing ou la trajectoire, garantissant que le robot reste en sécurité tout en atteignant son objectif.

Pour tester cette approche, les chercheurs ont travaillé avec deux types de robots très différents : un véhicule sous-marin capable de se déplacer dans toutes les directions, y compris latéralement, et un bateau de surface qui ne peut que avancer, reculer et tourner, un peu comme une voiture. Ils ont créé un système hybride où un simulateur physique standard fournissait les règles de base du mouvement, et un réseau neuronal apprenait à corriger les petites erreurs désordonnées que commettent les machines du monde réel. Cette combinaison a permis au système de prédire l'état futur du robot avec une précision extrême. Dans leurs simulations, le système pouvait prédire où le robot sous-marin se trouverait après une minute avec une erreur de moins d'un millimètre, et où le bateau de surface se trouverait avec une erreur de moins d'un demi-mètre.

Les résultats de leurs tests ont été frappants. Lorsque les robots recevaient des missions pour naviguer autour de tours d'éoliennes et de câbles, le modèle de langage agissant seul échouait complètement. Il percutait des obstacles lors de chaque essai car il ne pouvait pas tenir compte de la dérive causée par les courants marins ou du retard des moteurs. En revanche, lorsqu'un modèle de langage était couplé au modèle de monde, tant le véhicule sous-marin que le bateau de surface atteignaient leurs destinations sans une seule collision. Le système a réduit la distance entre l'endroit où le robot s'est arrêté et sa cible prévue d'environ 93 % pour le véhicule sous-marin et de 70 à 82 % pour le bateau de surface, par rapport aux tentatives non guidées.

Une partie particulièrement ingénieuse du travail concernait le bateau de surface, qui est souvent trop petit et trop peu coûteux pour transporter des capteurs onéreux comme des sonars ou des scanners laser pour cartographier le fond marin en temps réel. Au lieu de s'appuyer sur des capteurs embarqués, les chercheurs ont appris au système à « voir » l'environnement en utilisant des images satellites, des cartes nautiques et des prévisions météorologiques. Un modèle de vision-langage a analysé ces cartes existantes pour identifier des obstacles tels que des rochers peu profonds ou des structures submergées, les transformant en une carte numérique que le robot pouvait utiliser. Cette méthode s'est avérée aussi efficace que si un humain avait dessiné manuellement les obstacles sur une carte, atteignant un taux de précision de 96 % pour distinguer les zones navigables des zones non navigables. Cela signifie que des robots à bas coût pourraient bientôt naviguer dans des zones côtières complexes sans avoir besoin de transporter des équipements lourds et coûteux.

Les chercheurs ont également testé la capacité de ce système à résister à une simulation plus réaliste et de haute fidélité, incluant des motifs de vagues complexes et des courants imprévisibles. Même dans cet environnement exigeant, les robots sont restés sans collision. Le système comprenait un mécanisme de sécurité qui réévaluait constamment le plan pendant que le robot se déplaçait. Si le robot déviait de sa trajectoire à cause d'une vague soudaine, le système recalculait rapidement le chemin restant pour s'assurer qu'il puisse toujours atteindre l'objectif en toute sécurité. Ce processus en boucle fermée, qui agit comme un contrôle et un équilibre constants, était crucial pour le succès, surtout lors de manœuvres serrées où une petite erreur pourrait entraîner un crash.

En fin de compte, l'étude démontre que si l'intelligence artificielle est puissante pour comprendre le langage et planifier des séquences, elle a besoin d'un ancrage dans la réalité physique pour être utile dans le monde réel. En combinant le raisonnement de haut niveau d'un modèle de langage avec un modèle de monde conscient de la physique, les chercheurs ont créé un système capable de guider en toute sécurité des véhicules autonomes à travers l'environnement complexe et dynamique des parcs éoliens offshore. Ce travail suggère que l'avenir de la robotique marine ne réside pas dans le fait de rendre le modèle de langage plus intelligent, mais dans le fait de lui donner une meilleure compréhension du monde physique dans lequel il opère, lui permettant de prendre des décisions qui ne sont pas seulement logiques, mais aussi physiquement possibles.