Embodied AI in the Operating Room: A Voice-Interactive Robotic Scrub Technician for Surgical Instrument Handoffs
Dieses Paper präsentiert einen sprachinteraktiven, verkörperten KI-Roboter-Instrumentenassistenten, der erfolgreich autonome Übergaben und Rückgaben chirurgischer Instrumente mit einer Gesamterfolgsquote von 81 % demonstriert, was sein Potenzial für die Integration in den Operationssaal hervorhebt, während gleichzeitig die Greiferwerbung als einen zentralen Bereich für zukünftige Verbesserungen identifiziert wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Roboter nicht nur einem strengen, vorab geschriebenen Skript folgen wie ein Saugroboter, der gegen Wände stößt, sondern tatsächlich „verkörpert“ sind – das heißt, sie besitzen einen physischen Körper, Augen und ein Gehirn, das die chaotische, reale Welt verstehen kann. Dies ist die Grenze der „Embodied AI“ (verkörperten KI). Denken Sie daran wie beim Training eines Hundes, ihm nicht nur beizubringen, auf Kommando zu sitzen, sondern ihn dazu zu bringen, einen Ball anzusehen, zu verstehen, dass Sie „Apport“ gesagt haben, und tatsächlich herauszufinden, wie er den Ball greifen und zurückbringen kann, selbst wenn der Ball unter das Sofa rollt. In der hochriskanten, schnelllebigen Welt der Chirurgie verspricht diese Technologie, Roboter von Werkzeugen, die Chirurgen halten und kontrollieren müssen, zu Partnern zu machen, die zuhören, hinsehen und eigenständig handeln können. Die große Frage, die sich Forscher stellen, ist: Kann ein Roboter intelligent genug sein, um ein chirurgischer Assistent zu sein, der die Stimme eines Arztes hört, ein bestimmtes Instrument auf einem überfüllten Tablett entdeckt und es überreicht, ohne es fallen zu lassen oder verwirrt zu sein?
Dieses Paper stellt einen „Robotic Scrub Technician“ (robotischen Instrumentenassistenten) vor, einen Roboterarm, der darauf ausgelegt ist, wie der menschliche Assistent zu agieren, der neben dem Chirurgen steht und Instrumente hin und her reicht. Die Forscher entwickelten ein System, das die „Augen“ des Roboters (Kameras), seine „Ohren“ (Mikrofone) und ein leistungsstarkes KI-Gehirn, ein sogenanntes „Vision-Language-Action“-Modell, kombiniert. Anstatt Schritt für Schritt programmiert zu werden, um sich zu spezifischen Koordinaten zu bewegen, wurde der Roboter dadurch „gelehrt“, dass er Menschen 350 Mal bei der Arbeit beobachtete. Er lernte, natürliche Sprachbefehle wie „Reich mir die Pinzette“ oder „Nimm den Nadelhalter zurück“ zu verstehen, das richtige Instrument auf einem Tablett zu finden, es zu greifen und es dem Chirurgen zu übergeben. Er lernte auch den umgekehrten Weg: ein gebrauchtes Instrument zurückzunehmen und wegzuräumen.
Die Ergebnisse ihrer Tests, die in einem simulierten Operationssaal statt an echten Patienten durchgeführt wurden, zeigen, dass der Roboter diesen Tanz immer besser beherrscht. Bei 100 Versuchen, Instrumente zu übergeben oder zurückzunehmen, war der Roboter in 81 % der Fälle erfolgreich. Er war ein Star beim Zurücknehmen von Instrumenten, wobei er in 95 % der Fälle erfolgreich war, und er verstand die Sprachbefehle des Chirurgen fast perfekt (in 99 % der Fälle). Er hatte jedoch etwas mehr Schwierigkeiten, wenn die Instrumente in neuen, unbekannten Anordnungen platziert waren oder wenn die Instrumente knifflig waren, wie etwa eine winzige Nadel mit einem biegsamen Faden daran, bei denen er nur in 50 % der Fälle erfolgreich war. Der Hauptgrund für das Scheitern war nicht, dass er vergaß, was zu tun war, oder sich nicht bewegen konnte; es lag meistens daran, dass er das Instrument beim ersten Versuch mit seinem Greifer verfehlte.
Das Paper macht deutlich, dass dies ein „Proof-of-Concept“ ist, was bedeutet, dass es ein erfolgreicher Test der Idee ist, aber noch kein fertiges Produkt, das bereit für das Krankenhaus ist. Der Roboter zeigte, dass er aus Fehlern lernen konnte, wie etwa seinen Griff anzupassen, wenn er etwas verfehlte, ohne die gesamte Aufgabe neu starten zu müssen. Aber die Autoren weisen vorsichtig darauf hin, dass dies alles in einer kontrollierten, simulierten Umgebung geschah. Sie haben ihn noch nicht in einem echten, chaotischen Operationssaal mit echten Patienten, unterschiedlicher Beleuchtung oder einem vollen Tablett mit Dutzenden verschiedener Instrumente getestet. Zwar hat der Roboter bewiesen, dass er lernen kann, ein hilfreicher, sprachgesteuerter Partner zu sein, doch die Forscher sagen, dass wir viel mehr Trainingsdaten und Tests in der realen Welt benötigen, bevor er jemals einen menschlichen Instrumentenassistenten ersetzen kann. Für den Moment ist es ein sehr vielversprechender Schritt in Richtung einer Zukunft, in der Roboter und Chirurgen als Team zusammenarbeiten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.