Development of a Multimodal Large Language Model for Early Warning and Diagnosis of Dry Eye Disease
Diese Studie stellt DED-MLLM vor, ein auf Qwen2-VL basierendes, instruktionsgesteuertes multimodales großes Sprachmodell, das klinische Daten, Fragebögen und ophthalmologische Bildgebung integriert, um eine hohe Genauigkeit bei der Frühwarnung und Diagnose des trockenen Auges gemäß sowohl chinesischen als auch internationalen Diagnosekriterien zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Paar Augen vor, die sich sandig anfühlen, unter der Sonne brennen oder verschwimmen, wenn Sie versuchen, einen Bildschirm zu lesen. Dies ist das Trockene Auge, eine häufige und oft frustrierende Erkrankung, bei der die Oberfläche des Auges nicht über genügend Feuchtigkeit oder die richtige Art von Öl verfügt, um gesund zu bleiben. Es ist nicht nur eine kleine Unannehmlichkeit; es kann das Sehvermögen schädigen und das tägliche Leben erschweren. Die Diagnose ist jedoch knifflig. Ein Arzt kann sich nicht auf einen einzelnen Test verlassen. Stattdessen muss er ein Puzzle zusammensetzen, das aus vielen verschiedenen Hinweisen besteht: wie der Patient seine Schmerzen beschreibt, seine Krankengeschichte, seine Lebensgewohnheiten wie die Zeit, die er vor dem Computer verbringt, und das, was der Arzt sieht, wenn er durch ein Mikroskop auf die Augenoberfläche blickt. Jahrelang war künstliche Intelligenz gut darin, Bilder anzusehen oder Zahlen zu lesen, aber sie hatte Schwierigkeiten, beides gleichzeitig auf eine Weise zu tun, die dem sorgfältigen Denken eines menschlichen Arztes nachempfunden ist.
Ein Forscherteam aus Krankenhäusern und Forschungsinstituten in ganz China hat ein neues Programm entwickelt, das genau dieses Problem lösen soll. Sie haben ein System geschaffen, das wie ein digitaler Experte fungiert, der in der Lage ist, die schriftlichen Antworten eines Patienten auf Fragebögen zu lesen, seine Krankengeschichte zu verstehen und gleichzeitig hochauflösende Fotos seiner Augen zu untersuchen. Dieses System, das sie ein multimodales großes Sprachmodell nennen, wurde darauf trainiert, die komplexen Muster zu erkennen, die auf ein trockenes Auge hindeuten. Durch die Kombination dieser verschiedenen Arten von Informationen zielt das Modell darauf ab, die Erkrankung frühzeitig zu erkennen, noch bevor sie schwerwiegend wird, und die Diagnose mit hoher Genauigkeit zu bestätigen. Die Forscher testeten dieses Werkzeug an Hunderten von Patienten und fanden heraus, dass es effektiv zwischen gesunden Augen und Augen, die unter einem trockenen Auge leiden, unterscheiden konnte, wobei es selbst dann gut abschnitt, wenn es mit Daten aus verschiedenen Krankenhäusern und mit unterschiedlicher Ausrüstung getestet wurde.
Die Studie begann mit der Sammlung einer großen Menge an Realwelt-Daten aus vier verschiedenen Krankenhäusern. Das Team nahm 874 Teilnehmer auf und teilte sie in zwei Gruppen auf. Die erste Gruppe, bestehend aus 743 Patienten aus einem einzigen Krankenhaus in Peking, wurde verwendet, um den Computer darauf zu trainieren, die Krankheit zu erkennen. Die zweite Gruppe, mit 131 Patienten aus drei anderen Städten, wurde separat gehalten, um zu testen, ob der Computer das Gelernte auf neue, unbekannte Situationen anwenden kann. Jeder Teilnehmer unterzog sich einer gründlichen Untersuchung. Sie füllten detaillierte Fragebögen über ihre Symptome aus, wie etwa wie oft sich ihre Augen trocken anfühlten oder wie stark ihre Sehkraft schwankte. Sie gaben auch ihre Krankengeschichte an, einschließlich Informationen über ihr Alter, andere Gesundheitszustände und ihre täglichen Gewohnheiten, wie zum Beispiel die Zeit, die sie vor elektronischen Bildschirmen verbrachten.
Zusätzlich zu diesen schriftlichen Antworten machten die Ärzte detaillierte Fotografien der Augen der Patienten. Diese Bilder zeigten die Oberfläche des Auges, die winzigen Drüsen in den Augenlidern und die Blutgefäße. In einigen Fällen verwendeten die Ärzte einen speziellen Farbstoff, um geschädigte Bereiche auf der Augenoberfläche hervorzuheben. Die Forscher speisten all diese Informationen – die Antworten aus den Fragebögen, die Krankengeschichte und die Augenbilder – in ihr neues Computermodell ein. Das Modell basierte auf einer leistungsstarken bestehenden Technologie der künstlichen Intelligenz, wurde aber speziell darauf abgestimmt, medizinische Sprache und Bilder zu verstehen. Ein wesentlicher Teil des Designs war eine Methode, um die strukturierten Zahlen aus den Krankenakten, wie etwa die Werte aus den Fragebögen, in natürliche Sprache zu übersetzen, die der Computer zusammen mit den Bildern verarbeiten konnte. Dies ermöglichte es dem Modell, die Verbindungen zwischen der Aussage eines Patienten, dass seine Augen brennen, und der sichtbaren Rötung in einem Foto zu erkennen.
Die Forscher baten das Modell, zwei Hauptaufgaben auszuführen. Die erste war die Frühwarnung, bei der das System versuchte, das Risiko eines trockenen Auges allein basierend auf den Fragebogenantworten und Lebensfaktoren vorherzusagen, noch bevor Augenbilder aufgenommen wurden. Die zweite Aufgabe war die Diagnose, bei der das Modell alle verfügbaren Informationen, einschließlich der Augenbilder, nutzte, um zu bestimmen, ob ein Patient definitiv an der Erkrankung leidet. Das Team testete das Modell gegen zwei verschiedene Regelsätze, die von Ärzten angewendet werden: einen Satz internationaler Richtlinien und einen Satz spezifischer Richtlinien für China. Diese Regeln definieren genau, welche Kombination aus Symptomen und Anzeichen als die Erkrankung gilt.
Die Ergebnisse zeigten, dass das Modell äußerst effektiv war. Bei dem Versuch, das Risiko eines trockenen Auges mithilfe der Fragebogendaten vorherzusagen, war das Modell gemäß den chinesischen Richtlinien in 96 Prozent der Fälle korrekt und gemäß den internationalen Richtlinien in etwa 82 Prozent der Fälle. Es war besonders gut darin, die Krankheit zu erkennen, wenn sie vorhanden war, und ließ nur sehr wenige Fälle unentdeckt. Wenn das Modell zusätzlich zu den Fragebogenantworten die Augenbilder erhielt, um eine endgültige Diagnose zu stellen, verbesserte sich seine Genauigkeit weiter. Es identifizierte die Erkrankung in mehr als 92 Prozent der Fälle unter internationalen Regeln und über 93 Prozent unter chinesischen Regeln korrekt. Das Modell war auch sehr gut darin, Menschen korrekt zu identifizieren, die nicht an der Erkrankung litten, und vermied so Fehlalarme.
Um zu verstehen, wie das Modell seine Entscheidungen traf, untersuchten die Forscher, auf welche Informationen es am meisten vertraute. Sie fanden heraus, dass die strukturierten Daten aus den Fragebögen und Krankenakten der wichtigste Faktor waren. Wenn sie diese Information entfernten und das Modell baten, sich nur auf die Augenbilder zu verlassen, sank die Leistung signifikant. Dies deutet darauf hin, dass für das trockene Auge die eigene Beschreibung der Symptome durch den Patienten und seine Krankengeschichte die stärksten Indikatoren sind. Dennoch waren die Bilder wertvoll. Das Modell nutzte sie, um seine Vermutungen zu bestätigen und auf spezifische physische Anzeichen hinzuweisen, wie etwa blockierte Drüsen oder winzige Stellen der Schädigung auf der Augenoberfläche. Der Computer lernte, seine Aufmerksamkeit auf genau die Bereiche des Auges zu richten, die ein menschlicher Arzt untersuchen würde, indem er die Rötung und die Textur der Liddrüsen hervorhob.
Das Team testete das Modell auch an der separaten Gruppe von Patienten aus den anderen drei Krankenhäusern, um zu sehen, ob es in anderen realen Umgebungen funktionieren würde. Diese Krankenhäuser verwendeten unterschiedliche Kameras und Geräte, um die Augenfotos aufzunehmen. Trotz dieser Unterschiede behielt das Modell sein hohes Maß an Genauigkeit bei. Es diagnostizierte die Erkrankung in der neuen Patientengruppe erfolgreich und bewies damit, dass es in der Lage ist, sich an Variationen in der Datenerhebung anzupassen. Dies deutet darauf hin, dass das Werkzeug in einer Vielzahl von Kliniken nützlich sein könnte, nicht nur in der, in der es ursprünglich entwickelt wurde. Die Forscher merkten an, dass das Modell besonders gut darin war, die Erkrankung bei älteren Erwachsenen zu identifizieren, einer Gruppe, in der die Bedingung am häufigsten auftritt, räumten jedoch ein, dass die Daten weniger Fälle von sehr milden Verläufen enthielten.
Die Studie kommt zu dem Schluss, dass dieser neue Ansatz eine vielversprechende Möglichkeit bietet, die Erkennung und Diagnose des trockenen Auges zu verbessern. Durch die Kombination der Stimme des Patienten mit den visuellen Beweisen des Arztes erstellt das Modell ein vollständigeres Bild der Gesundheit des Patienten, als es eine der beiden Methoden allein könnte. Die Forscher betonen, dass das Werkzeug zwar leistungsstark ist, aber dazu gedacht ist, Ärzte zu unterstützen und nicht sie zu ersetzen. Es bietet eine robuste, skalierbare Methode, um die Erkrankung zu screenen und klinische Entscheidungen zu unterstützen, was potenziell dazu beitragen kann, die Erkrankung früher zu erfassen und die Belastung für Patienten, die unter chronischem Augenunbehagen leiden, zu verringern. Die Arbeit zeigt, dass die künstliche Intelligenz, wenn sie darauf trainiert wird, sowohl die Zahlen als auch die Bilder zu verstehen, die Ärzte jeden Tag verwenden, ein zuverlässiger Partner in der Pflege der Augengesundheit werden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.