Modality-Invariant Coarse-to-Fine Retinal Image Registration
Dieses Papier schlägt ein verallgemeinerbares, zweistufiges, modalitätsinvariantes Framework für die Registrierung von Netzhautbildern vor, das ein gefäßgesteuertes, spärliches Merkmalsabgleichsmodell für die grobe globale Ausrichtung mit einem modalitätsinvarianten optischen Fluss-Netzwerk (MI-RAFT) zur dichten lokalen Verfeinerung kombiniert und dabei bestehende modalitätsabhängige Methoden über verschiedene Bildkombinationen hinweg übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Augenheilkunde verlassen sich Ärzte auf eine Reihe verschiedener Kameras, um das Innere der Retina zu sehen, die lichtempfindliche Schicht an der Rückseite des Auges. Einige Kameras nutzen die Standard-Farbfotografie, andere verwenden Infrarotlicht, und einige erfassen, wie das Auge auf bestimmte Wellenlängen reagiert, um Krankheiten sichtbar zu machen. Jede dieser Bildgebungsverfahren erzeugt eine einzigartige Ansicht, so als würde man dieselbe Landschaft durch unterschiedlich farbige Brillen betrachten. Um Erkrankungen wie Diabetes oder Makuladegeneration zu diagnostizieren, müssen Ärzte diese verschiedenen Ansichten oft nebeneinander legen oder sogar überlagern, um zu sehen, wie ein bestimmtes Blutgefäß oder eine Läsion in allen ihnen erscheint. Da die Kameras jedoch unterschiedlich sind und sich das Auge zwischen den Aufnahmen leicht bewegt, liegen diese Bilder allein selten perfekt übereinander. Das Ausrichten ist ein schwieriges Rätsel, und bis jetzt waren die Computerprogramme, die dazu entwickelt wurden, nur für ein spezifisches Paar von Kameratypen konzipiert. Wenn ein Arzt ein Farbfoto mit einem Infrarotbild abgleichen wollte, benötigte er ein spezielles Werkzeug; wollte er ein Farbfoto mit einem anderen Typ eines Scans abgleichen, brauchte er ein völlig anderes Werkzeug. Dieser Mangel an einer universellen Lösung machte es schwierig, Informationen aus der breiten Vielfalt moderner Augenuntersuchungen zu kombinieren.
Ein Forschungsteam hat nun einen neuen Ansatz entwickelt, der wie ein universeller Übersetzer für diese retinalen Bilder fungiert und in der Lage ist, jede Kombination gängiger Augenscans abzugleichen, ohne für jedes neue Paar neu trainiert werden zu müssen. Ihre Methode arbeitet in zwei distinkten Phasen, die von einer groben Schätzung zu einer präzisen Passform führen. Zuerst, um die Bilder grob an die richtige Stelle zu bringen, ignoriert das System die verwirrenden Unterschiede in Farbe und Textur zwischen den Kameras. Stattdessen wandelt es jedes Bild in eine einfache Karte der Blutgefäße des Auges um. Da das Netzwerk aus Venen und Arterien gleich aussieht, unabhängig davon, welche Kamera das Bild aufgenommen hat, ermöglicht diese gemeinsame Karte dem Computer, passende Punkte schnell und genau zu finden, selbst zwischen Bildern, die dem menschlichen Auge völlig unähnlich erscheinen. Dieser Schritt liefert eine solide globale Ausrichtung und bringt die beiden Bilder in denselben Referenzrahmen.
Sobald die Bilder grob ausgerichtet sind, geht das System in die zweite Phase über, um die winzigen, lokalen Verzerrungen zu korrigieren, die noch bestehen bleiben. Hier haben die Forscher ein neues Modell namens MI-RAFT eingeführt. Im Gegensatz zu bisherigen Werkzeugen, die Schwierigkeiten hatten, wenn sich die Bildstile änderten, lernt dieses Modell, die exakte Pixel-für-Pixel-Verbindung zwischen zwei beliebigen retinalen Scans zu finden. Es tut dies, indem es zwei Arten von Informationen kombiniert: eine, die versteht, wie Bilder normalerweise sich bewegen und verformen, und eine andere, die die einzigartigen strukturellen Muster des Auges erkennt, die über verschiedene Kameras hinweg gleich bleiben. Um dieses Modell zu trainieren, ohne Tausende von perfekt abgestimmten Echtweltbeispielen zu benötigen – die sehr schwer zu sammeln sind –, entwickelten die Forscher eine clevere Trainingsmethode. Sie nahmen einzelne Augenbilder und verformten sie mathematisch, um zu simulieren, wie sie aussehen würden, wenn sie aus leicht unterschiedlichen Winkeln oder mit unterschiedlicher Beleuchtung aufgenommen worden wären. Dies ermöglichte es dem Computer, die Regeln der Ausrichtung mithilfe synthetischer Daten zu erlernen, wodurch er effektiv lernte, mit realen Variationen umzugehen, die er zuvor noch nie gesehen hatte.
Die Ergebnisse dieser Arbeit zeigen, dass das neue System genauer ist als die derzeit besten Methoden, die meist auf spezifische Kamerapaare beschränkt sind. Die Forscher testeten ihren Ansatz auf vier verschiedenen Datensätzen, einschließlich einer neuen Sammlung gepaarter Bilder, die sie speziell für diese Studie zusammengestellt haben, welche Kombinationen aus Farbfotos, Infrarot-Scans und Autofluoreszenz-Bildern abdeckt. In jedem Test gelang es der neuen Methode, die Bilder mit hoher Präzision auszurichten und dabei spezialisierte Werkzeuge übertraf, die für diese spezifischen Paare feinabgestimmt worden waren. Das System erwies sich als robust genug, um die natürlichen Unterschiede in der Art und Weise zu handhaben, wie verschiedene Kameras das Auge erfassen, von leichten Fokusverschiebungen bis hin zu Änderungen des Kontrasts. Obwohl die Methode am besten funktioniert, wenn die Bilder einen ähnlichen Bereich des Auges abdecken, stellt sie einen bedeutenden Schritt nach vorn bei der Schaffung eines flexiblen, universellen Werkzeugs für die Augenheilkunde dar. Indem sie die Notwendigkeit einer separaten Softwarelösung für jede Kamerakombination beseitigt, ebnet diese Arbeit den Weg für eine nahtlosere Integration multimodaler Daten, die Klinikern hilft, ein klareres, vollständigeres Bild der retinalen Gesundheit zu erhalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.