Image transmission through a multimode fibre in reflection mode with physics-guided deep learning towards ultrathin endoscopy
Diese Arbeit präsentiert ein physikgestütztes Deep-Learning-Framework, das eine reflektierte, reellwertige Intensitäts-Transmissionsmatrix mit Bildrestaurierungsnetzwerken kombiniert, um eine einschüssige, phasenrückgewinnungsfreie Bildwiederherstellung durch Multimode-Fasern im Reflexionsmodus zu ermöglichen, wodurch die Bildqualität und Generalisierbarkeit für die ultradünne Endoskopie signifikant verbessert wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wollten in den menschlichen Körper blicken, ohne eine große Inzision vorzunehmen. Ärzte verlassen sich seit langem auf Endoskope – flexible Schläuche mit Kameras –, um in enge Passagen wie Atemwege oder Blutgefäße zu schauen. Es ist jedoch eine enorme technische Herausforderung, ein klares Bild durch einen Schlauch zu erhalten, der sowohl unglaublich dünn als auch flexibel ist. Traditionelle dünne Endoskope verwenden oft Bündel aus tausenden winzigen Glasfasern, die jedoch nur Bilder mit einer wabenartigen Textur und begrenzter Schärfe erzeugen können. Eine vielversprechendere Alternative ist ein einzelner, ultrafeiner Glasfaden, eine sogenannte Multimode-Faser. Während dieser Faden flexibel genug ist, um durch die schwierigsten Winkel des Körpers zu gleiten und sich zu winden, streut er das Licht so gründlich, dass das Licht, das am anderen Ende austritt, wie ein zufälliges, glitzerndes Chaos aus Punkten aussieht, wenn man ein Bild hindurchscheint. Jahrelang haben Wissenschaftler versucht, dieses Chaos zu entwirren, um das ursprüngliche Bild wiederherzustellen, insbesondere wenn die Faser im „Reflektionsmodus“ verwendet wird, bei dem derselbe Strang Licht aussendet und das zurückgestreute Licht vom Gewebe auffängt.
Ein Team von Forschern am King's College London hat nun einen neuen Weg gefunden, um dieses Rätsel zu lösen, indem es ein chaotisches Speckle-Muster in ein einziges Augenblick in ein klares Bild verwandelt. Ihr Ansatz, der in einer kürzlich veröffentlichten Studie detailliert beschrieben wird, kombiniert eine clevere physikbasierte Berechnung mit einer Art künstlicher Intelligenz, die darauf spezialisiert ist, Bilder zu bereinigen. Anstatt zu versuchen, die komplexe Streuung des Lichts auf einmal rückwärts zu berechnen, erstellen sie zuerst mithilfe einer mathematischen Karte eine grobe, verschwommene Skizze des Objekts. Dann nimmt ein spezialisiertes Computernetzwerk diese Skizze und verfeinert sie, indem es die fehlenden Details ergänzt und das Rauschen entfernt. Dieser zweistufige Prozess ermöglicht es ihnen, durch die Faser zu sehen, ohne komplexe Geräte zur Messung der Lichtwellenphase zu benötigen – eine Anforderung, die bisherige Methoden in realen medizinischen Umgebungen schwierig gemacht hat.
Die Forscher bauten ein System auf, bei dem ein Laserstrahl durch eine 2 Meter lange Multimode-Faser mit einem Kerndurchmesser von 600 Mikrometern geschickt wird. Am fernen Ende trifft das Licht auf ein Objekt und wird über denselben Strang zurückgeschickt. Da das Licht hinunter und wieder hoch reist, wird es zweimal gestreut, was am nahen Ende der Kamera zu einem hochkomplexen Muster aus hellen und dunklen Punkten führt. Um dies zu verstehen, führte das Team einen Kalibrierungsprozess durch. Sie projizierten eine Serie bekannter Muster auf einen digitalen Spiegel an der Spitze der Faser und zeichneten auf, wie das Licht auf seinem Rückweg gestreut wurde. Aus diesen Messungen erstellten sie eine „reflektierte, reellwertige Intensitätstransmissionsmatrix“. Vereinfacht ausgedrückt ist dies eine riesige Nachschlagetabelle, die vorhersagt, wie ein verschwommenes, gestreutes Muster für ein gegebenes Objekt aussehen sollte, basierend rein auf der Helligkeit des Lichts, ohne die unsichtbare Phase der Lichtwellen kennen zu müssen.
Unter Verwendung dieser Nachschlagetabelle kann das System augenblicklich eine erste Schätzung des Bildes aus einer einzigen Aufnahme des gestreuten Lichts generieren. Dieses Anfangsbild ist nicht perfekt; es ist oft körnig und weist einen geringen Kontrast auf, fängt aber die grundlegende Form und Anordnung des Objekts ein. Die Forscher speisten dieses grobe Bild anschließend in vier verschiedene Arten von Deep-Learning-Netzwerken ein – Computerprogramme, die darauf trainiert sind, visuelle Details zu erkennen und wiederherzustellen. Diese Netzwerke fungieren wie ein digitaler Editor, der den körnigen Ausgangspunkt nimmt und die Kanten schärft, den Kontrast erhöht und die zufälligen Flecken entfernt, um ein klares Bild zu enthüllen. Das Team testete diese Methode mit drei verschiedenen Bildersätzen: handgeschriebenen Ziffern, Bildern von Kleidung und natürlichen Szenen. In jedem Fall lieferte die Kombination aus der physikbasierten Nachschlagetabelle und dem KI-Reiniger signifikant bessere Ergebnisse als der Versuch, das Bild allein durch die KI aus dem rohen, gestreuten Licht zu erraten.
Der wahre Test für diese Methode kam, als die Forscher fragten, ob sie auch Bilder verarbeiten könne, die sie noch nie gesehen hatte. Sie trainierten ihre KI-Netzwerke ausschließlich mit Bildern von Kleidung, baten sie dann aber, Bilder natürlicher Szenen zu rekonstruieren, wie etwa Tiere und Landschaften, die sich sehr stark von Kleidung unterscheiden. Wenn die KI versuchte, dies ohne die Hilfe der physikbasien Nachschlagetabelle zu tun, waren die Ergebnisse schlecht; das System konnte die neuen Formen nicht erkennen und produzierte verschwommene, unerkennbare Klumpen. Wenn die KI jedoch zuerst die grobe Skizze aus der Nachschlagetabelle erhielt, funktionierte sie bemerkenswert gut. Sie rekonstruierte die natürlichen Szenen erfolgreich und bewahrte dabei die Struktur der Objekte, obwohl sie nie darauf trainiert worden war. Dies deutet darauf hin, dass der physikbasierte Schritt ein solides Fundament bietet, das der KI hilft, auf neue Situationen zu generalisieren, anstatt nur spezifische Beispiele auswendig zu lernen.
Um zu beweisen, dass das System in der realen Welt funktioniert, platzierten die Forscher tatsächliche physische Objekte an der Spitze der Faser, darunter ein Metalllüftungsgitter, eine Nähnadel und einen gedruckten Buchstaben. Diese Objekte waren nicht Teil der Trainingsdaten. Das System erfasste das Licht, das von diesen Gegenständen zurückgeworfen wurde, und rekonstruierte unter Anwendung desselben Kalibrierungs- und KI-Prozesses klare Bilder der Löcher des Gitters, des Nadelschafts und der Striche des Buchstabens. Die Ergebnisse waren scharf genug, um feine Details zu unterscheiden, was zeigt, dass die Methode über Computersimulationen hinausgehen und die unvorhersehbare Natur der Lichtstreuung in der realen Welt bewältigen kann. Die Forscher merkten an, dass das System derzeit dadurch begrenzt ist, dass es neu kalibriert werden muss, wenn sich die Faser erheblich biegt oder sich die Temperatur ändert, doch die Fähigkeit, ein klares Bild aus einer einzigen Aufnahme ohne Phasenmessungen zu erzeugen, ist ein großer Schritt nach vorn.
Diese Arbeit bietet einen vielversprechenden Pfad hin zur ultrafeinen Endoskopie, bei der eine so dünne Sonde wie ein Haar in die tiefsten, engsten Teile des Körpers geführt werden könnte, um Echtzeitbilder mit hoher Auflösung zu liefern. Durch die Trennung des Problems in einen physikgesteuerten ersten Schritt und einen datengesteuerten Reinigungsschritt haben die Forscher ein System geschaffen, das sowohl robust als auch anpassungsfähig ist. Es erfordert nicht die komplexen Interferometrie-Aufbauten, die bisherige Versuche der Bildgebung im Reflexionsmodus behindert haben, was es für den klinischen Einsatz praktikabler macht. Die Ergebnisse legen nahe, dass durch die Kombination der Vorhersehbarkeit der Physik mit der Anpassungsfähigkeit künstlicher Intelligenz Wissenschaftler das Potenzial von Single-Fiber-Endoskopen erschließen können, was Ärzten potenziell ermöglichen würde, in das Innere des Körpers mit einem Detailgrad und einer Flexibilität zu blicken, die zuvor unmöglich war.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.