A 3DGS-Driven Dynamic Viewpoint and Vibrotactile Framework for Subsea Teleoperation Validated via fNIRS

Stellen Sie sich vor, Sie versuchen, ein Auto durch ein Labyrinth aus riesigen, nebligen Rohren zu steuern, aber Sie können nur ein winziges, wackeliges Quadrat der Straße direkt vor Ihrer Stoßstange sehen. Stellen Sie sich nun vor, dass sich das Auto jedes Mal, wenn Sie das Lenkrad drehen, erst nach einer vollen Sekunde bewegt. Das ist das Albtraumszenario für Bediener von Unterwasserrobotern, auch bekannt als ROVs (Remotely Operated Vehicles). Diese Maschinen sind die Taucher der Tiefen, die dazu entsandt werden, versunkene Schiffe, Ölplattformen und überflutete Tunnel zu inspizieren, wohin Menschen nicht gelangen können. Aber die Steuerung von ihnen ist unglaublich schwierig. Das Wasser ist oft trübe, die Räume sind eng und das Signal von der Oberfläche braucht lange, um zu reisen. Dies erzeugt einen „perzeptuellen Flaschenhals“: Das menschliche Gehirn muss raten, wo sich der Roboter befindet und was sich um ihn herum befindet, was zu mentaler Erschöpfung und Fehlern führt. Wissenschaftler haben lange versucht, dies zu beheben, indem sie den Bedienern bessere Kameras oder Vibrationsanzüge zur Verfügung stellten, aber sie waren sich nicht sicher, welche Methode tatsächlich verhindert, dass das menschliche Gehirn unter dem Druck zusammenbricht.

Diese Arbeit taucht genau in dieses Problem ein und testet eine neue Methode, um Menschen bei der Steuerung dieser Unterwasserroboter zu helfen. Die Forscher entwickelten ein System, das zwei Tricks kombiniert: ein „magisches Auge“, das automatisch den besten Winkel findet, um den Roboter zu sehen, und eine „vibrierende Weste“, die summt, wenn der Roboter einer Wand zu nahe kommt. Sie testeten diesen Aufbau in einem simulierten Unterwasserlabyrinth mit 30 Freiwilligen und führten dabei Verzögerungen im Steuersignal ein, die von null Sekunden bis zu einer vollen Sekunde reichten. Sie beobachteten nicht nur, wie gut die Roboter abschnitten; sie ließen die Freiwilligen auch in einen speziellen Helm schnallen, der den Blutfluss in ihren Gehirnen maß, um zu sehen, wie hart ihre Köpfe arbeiteten.

Die Ergebnisse waren überraschend. Wenn das Signal schnell war, war die vibrierende Weste großartig darin, den Roboter auf einem geraden Pfad zu halten, wie ein sanftes Anstupsen durch einen Freund. Aber wenn das Signal langsam war (0,5 bis 1,0 Sekunden), gewann das „magische Auge“-System haushoch. Dieses System nutzte eine bahnbrechende Technologie namens 3D Gaussian Splatting, um ein Echtzeit-3D-Modell der Unterwasserwelt aufzubauen und die virtuelle Kamera dann automatisch zu bewegen, um dem Bediener eine klare Third-Person-Ansicht des Roboters zu zeigen, selbst wenn der Roboter hinter einem Rohr verborgen war. Die Studie fand heraus, dass diese proaktive Sicht verhinderte, dass das Gehirn des Bedieners „abschaltete“. Tatsächlich zeigten die Bediener bei der Verwendung der Standard-Kameraperspektive bei hoher Verzögerung Anzeichen von kognitiver Desengagement – ihre Gehirne gaben im Grunde auf, den Raum im Blick zu behalten. Das neue System jedoch hielt ihre Gehirne aktiv engagiert und unter Kontrolle, was es ihnen ermöglichte, selbst bei verzögertem Signal sicher zu navigieren.

Das Problem: Blind durch ein nebliges Rohr fahren

Einen Roboter unter Wasser zu steuern ist, als würde man versuchen, eine Nadel einzufädeln, während man Boxhandschuhe trägt und durch einen Strohhalm schaut. Der Bediener sitzt auf einem Schiff oder einem Dock und blickt auf einen Bildschirm, der zeigt, was die Kamera des Roboters sieht. Aber diese Kamera ist fest an der Nase des Roboters montiert. Wenn der Roboter in einem engen Tunnel ist, kann der Bediener die Wände erst sehen, wenn er direkt neben ihnen ist. Um es noch schlimmer zu machen: Schallwellen bewegen sich langsam durch Wasser, daher gibt es oft eine Verzögerung zwischen dem Zeitpunkt, an dem der Bediener einen Knopf drückt, und dem Zeitpunkt, an dem der Roboter tatsächlich reagiert. Wenn die Verzögerung 1,0 Sekunde beträgt, steuert der Bediener im Grunde ein Auto, bei dem das Lenkrad und die Bremsen um eine volle Sekunde entkoppelt sind.

In diesen Situationen muss das menschliche Gehirn viel Schwerstarbeit leisten. Es muss die 3D-Form des Tunnels imaginieren, raten, wo der Roboter ist, und vorhersagen, wo er in einer Sekunde sein wird. Dies wird als „mentale Rotation“ bezeichnet und ist erschöpfend. Wenn die Verzögerung zu lang wird, kann das Gehirn überfordert sein. Die Forscher vermuteten, dass sie, wenn sie einen Teil dieser mentalen Arbeit an einen Computer auslagern könnten, der Bediener länger ruhig und konzentriert bleiben könnte.

Die Lösung: Eine magische Kamera und eine summende Weste

Das Team entwickelte ein neues System, um den Bediener zu unterstützen, basierend auf einem Framework, das ein Robotersteuerungssystem (ROS) mit einer Game Engine (Unity) verbindet. Sie teilten die Aufgabe in zwei Teile auf: einen für die Vorausplanung und einen für die schnelle Reaktion.

1. Die magische Kamera (DAVS):
Anstatt nur die Ansicht der Roboter-Nasenkamera zu zeigen, baut das System eine Live-3D-Karte der Unterwasserwelt mithilfe einer Technologie namens 3D Gaussian Splatting auf. Stellen Sie sich das wie eine Wolke aus Millionen winziger, farbiger, leuchtender Punkte vor, die die Wände, Rohre und den Roboter selbst repräsentieren. Da der Computer diese 3D-Karte besitzt, kann er sofort eine neue Ansicht aus jedem beliebigen Winkel generieren. Das System nutzt ein „Dynamic Adaptive Viewpoint System“ (DAVS), um ständig den besten Ort für eine virtuelle Kamera zu berechnen. Es sucht nach einem Punkt, an dem der Roboter sichtbar und der Weg nach vorne frei ist, und rendert dann diese Ansicht für den Bediener. Es ist wie eine Drohne, die automatisch um den Roboter herumfliegt, um Ihnen den besten Winkel zu zeigen, aber das geschieht augenblicklich auf Ihrem Bildschirm.

2. Die summende Weste (Haptik):
Während die magische Kamera Ihnen hilft, Ihre Route zu planen, hilft der zweite Teil Ihnen beim Reagieren. Der Bediener trägt eine Weste mit kleinen Motoren (Vibratoren) am Torso. Wenn der Roboter zu nah an einer Wand auf der linken Seite ist, summt die linke Seite der Weste. Ist er rechts nah dran, summt die rechte Seite. Dies gibt dem Bediener einen „sechsten Sinn“ für unmittelbare Gefahr, ohne dass er den Blick vom Bildschirm abwenden muss.

Das Experiment: Das Gehirn und den Roboter testen

Um zu sehen, ob dieses neue System tatsächlich funktionierte, richteten die Forscher ein kontrolliertes Experiment ein. Sie luden 30 Personen ein, ein Videospiel zu spielen, in dem sie einen simulierten BlueROV2 durch eine komplexe, überflutete Industrieanlage voller Rohre und enger Lücken steuern mussten.

Sie testeten drei verschiedene Arten, den Roboter zu steuern:

1. Egozentrisch (Die Baseline): Nur die Standardansicht der Kamera an der Roboter-Nase.
2. Haptisch (Die Reaktive): Die Standardansicht plus die summende Weste.
3. Exozentrisch (Die Proaktive): Die magische 3D-Kameraperspektive (DAVS) ohne die summende Weste.

Sie führten auch vier verschiedene Stufen von „Lag“ oder Verzögerung im Steuersignal ein: 0,0 Sekunden (sofort), 0,2 Sekunden, 0,5 Sekunden und eine volle Sekunde (1,0 s).

Während die Teilnehmer spielten, trugen sie eine spezielle Kappe, die mittels Licht den Blutfluss in ihrem präfrontalen Kortex maß – dem Teil des Gehirns, der für Planung, Entscheidungsfindung und Arbeitsgedächtnis verantwortlich ist. Dies ermöglichte es den Forschern, genau zu messen, wie hart das Gehirn arbeitete, anstatt die Teilnehmer nur zu fragen, wie müde sie sich fühlten.

Die Erkenntnisse: Wenn das Gehirn aufgibt

Die Ergebnisse zeigten ein klares Muster, abhängig davon, wie schnell das Signal war.

Wenn das Signal schnell war (0,0 bis 0,2 Sekunden):
Die summende Weste war der Gewinner. Da sich der Roboter fast instantan bewegte, konnten die Bediener die Vibrationen nutzen, um winzige, präzise Anpassungen vorzunehmen. Sie blieben besser auf dem perfekten Pfad als mit den anderen Methoden. Die magische Kamera bot hier keinen großen Vorteil, da die Standardansicht bereits gut genug war.

Wenn das Signal langsam war (0,5 bis 1,0 Sekunden):
Die magische Kamera übernahm das Ruder. Bei einer Verzögerung von 0,5 Sekunden begann die Standardansicht zu versagen. Die Bediener machten mehr Fehler und kollidierten häufiger. Doch die interessanteste Entdeckung kam aus den Gehirnscans. Bei der Verwendung der Standardansicht mit einer Verzögerung von 0,5 Sekunden sank der Blutfluss im präfrontalen Kortex. Die Forscher nennen dies „kognitive Desengagement“. Das bedeutet, dass die Verzögerung so verwirrend war, dass die Gehirne der Bediener aufhörten, eine mentale Karte des Raums aufzubauen; sie gaben im Grunde auf, was zu einer schlechten Leistung führte.

Im Gegensatz dazu hielten die Bediener, die die magische 3D-Kamera verwendeten, ihre Gehirne voll aktiv. Die klare Third-Person-Ansicht half ihnen, ihre mentale Karte der Umgebung aufrechtzuerhalten, selbst bei der Verzögerung. Ihre Gehirne zeigten eine hohe Aktivität in den Planungszentren, und sie navigierten das Labyrinth viel schneller und sicherer als die anderen. Bei der extremen Verzögerung von 1,0 Sekunde war das magische Kamerasystem das einzige, das es den Bedienern ermöglichte, die Aufgabe signifikant schneller und mit weniger Kollisionen als die anderen beiden Methoden abzuschließen.

Was das bedeutet

Die Studie legt nahe, dass die Art der Hilfe, die man für Unterwasserroboter benötigt, davon abhängt, wie schnell die Verbindung ist. Wenn die Verbindung instantan ist, sind einfache Vibrationen großartig, um den Roboter auf Kurs zu halten. Aber wenn die Verbindung langsam und verzögert ist, benötigt man ein System, das einem ein klares, globales Bild der Welt vermittelt.

Die wichtigste Entdeckung ist, dass ein gutes Interface nicht nur den Roboter besser bewegt, sondern auch verhindert, dass das Gehirn des menschlichen Bedieners abschaltet. Indem das System die harte Arbeit der Frage „Wo bin ich?“ und „Was ist um mich herum?“ mithilfe der 3D-magischen Kamera übernimmt, wird das Gehirn des Bedieners frei, um sich auf die eigentliche Aufgabe zu konzentrieren. Dies könnte ein Wendepunkt für die Inspektion von Unterwasserinfrastruktur sein, wo Verzögerungen häufig vorkommen und Fehler kostspielig sein können. Obwohl das System in einer Simulation und noch nicht im echten Ozean getestet wurde, weist das Ergebnis einen vielversprechenden Weg auf, um die Steuerung von Unterwasserrobotern für Menschen einfacher und sicherer zu machen.