Towards Expert-level Medical AI for Real-time Video Consultations
Dieses Paper stellt AMIE (Video) vor, ein auf Gemini basierendes Multi-Agenten-System, das durch die Integration von audiovisueller Wahrnehmung und klinischer Argumentation eine Expertenleistung in Echtzeit-Klinik-Videoskonsultationen erreicht und in einer randomisierten Studie mit Ärzten und Patientenschauspielern demonstriert, dass es in der diagnostischen Genauigkeit und Anamneseerhebung menschliche Ärzte erreicht oder übertrifft, während es gleichzeitig eine bevorzugte Schnittstelle für die Patientenkommunikation bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Ihr Arzt nicht nur jemand ist, mit dem Sie sprechen, sondern jemand, der Sie auch sehen kann. Lange Zeit war künstliche Intelligenz (KI) in der Medizin wie ein sehr kluger Bibliothekar, der nur Bücher lesen kann. Er ist großartig darin, Fragen zu beantworten, wenn man sie eintippt, aber er kann nicht Ihr blasses Gesicht sehen, das Keuchen in Ihrem Atem hören oder bemerken, dass Sie nervös mit dem Fuß wippen. Dies ist ein großes Problem, denn menschliche Ärzte hören nicht nur auf Worte; sie beobachten Ihre Körperhaltung, Ihre Mimik und wie Sie sich bewegen, um herauszufinden, was nicht stimmt. Sie nutzen diese visuellen Hinweise, um Vertrauen aufzubauen und bessere Vermutungen über Ihre Gesundheit anzustellen. Aber einem Computer beizubringen, dies in Echtzeit zu tun, während Sie ein Videotelefonat führen, ist so, als würde man versuchen, einem Roboter beizubringen, zu jonglieren, während er auf einem Einrad auf einem Drahtseil fährt. Er muss schnell sein, er muss alles sehen und er muss gleichzeitig tief über das nachdenken, was er sieht.
Dieses Papier stellt eine neue Art von medizinischer KI namens AMIE (Articulate Medical Intelligence Explorer) vor, die versucht, diesen Drahtseilakt zu meistern. Anstatt nur Ihre getippten Nachrichten zu lesen, sieht und hört AMIE (Video) Ihnen durch einen Videoanruf zu, genau wie ein echter Arzt. Die Forscher wollten sehen, ob diese KI wie ein erfahrener Arzt während einer Echtzeit-Videoskonsultation agieren kann. Sie haben die KI nicht einfach nur raten lassen; sie haben sie in einer riesigen Simulation getestet, die als OSCE (Objective Structured Clinical Examination) bezeichnet wird. In diesem Test spielten professionelle Schauspieler die Rolle von Patienten mit verschiedenen gesundheitlichen Problemen und führten Videoanrufe mit entweder der KI oder mit echten, staatlich geprüften Hausärzten durch. Das Ziel war es zu sehen, wer die richtigen Fragen stellen, die richtigen körperlichen Anzeichen erkennen und den besten Plan zur Hilfe des Patienten entwerfen konnte.
Hier ist, was sie herausgefunden haben: Die KI war überraschend gut. Tatsächlich war sie in vielerlei Hinsicht ebenso gut wie oder sogar besser als die menschlichen Ärzte. Als unabhängige Experten die Konsultationen bewerteten, schnitt die KI besser ab als die menschlichen Ärzte bei der Erhebung der Krankengeschichte, der Diagnosestellung, der Behandlungsplanung und der Anleitung des Patienten durch körperliche Untersuchungen über das Video. Die KI war besonders gut darin, den Video-Feed zu nutzen, um Dinge zu „sehen“, wie zum Beispiel einen Patienten zu bitten, den Kopf zu drehen oder die Arme zu heben, um nach Schmerzen oder Steifheit zu suchen. Auch die menschlichen Schauspieler, die die Rollen der Patienten übernahmen, mochten die Videoversion der KI viel lieber als einen reinen Text-Chat; sie fanden, dass die Video-Schnittstelle einfacher zu bedienen war und ihnen das Gefühl gab, verstanden zu werden.
Die Geschichte ist jedoch kein Märchen, in dem der Roboter den Menschen vollständig ersetzt hat. Während die KI ein Superstar bei den medizinischen Fakten und den körperlichen Untersuchungen war, gewannen die menschlichen Ärzte den Popularitätswettbewerb um die Aufbauung einer warmen, freundlichen Verbindung. Die Schauspieler hatten das Gefühl, dass die menschlichen Ärzte besser darin waren, eine Beziehung (Rapport) aufzubauen und ihnen das Gefühl zu geben, Partner in ihrer Versorgung zu sein. Die KI hatte auch einige „Fehler“ in ihren Superkräften. Sie übersah manchmal sehr subtile Dinge, wie ein winziges Zittern in einer Hand oder eine flüchtige Veränderung der Stimmung eines Menschen, und sie hatte Schwierigkeiten mit schnellen Bewegungen. Außerdem war die Studie eine Simulation mit Schauspielern, nicht mit echten Patienten in einer echten Klinik, wessofern die Ergebnisse zwar ein riesiger Meilenstein sind, die KI aber noch nicht bereit ist, Ihren Arzt zu ersetzen. Sie ist eher wie ein brillanter neuer Praktikant, der großartig in der technischen Arbeit ist, aber noch lernt, ein warmherziger, empathischer Mensch zu sein. Das Papier legt nahe, dass diese Technologie mit weiterer Arbeit eines Tages Ärzten überall helfen könnte, indem sie die schwere Last der Beobachtung und Diagnose übernimmt, wodurch sie mehr Zeit haben, sich auf die menschliche Verbindung zu konzentrieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.