Implementation of panoramic image acquisition system based on stitching in microscopic imaging
Dit artikel presenteert een microscopisch panoramisch beeldvormingssysteem dat gebruikmaakt van visual servoing om de pan-tilt-beweging te besturen en technieken voor beeldstitching toepast om hoogresolutie panoramische beelden (15488 × 15456) te genereren uit laagresolutie (640 × 480) inputs, waardoor het beperkte gezichtsveld dat inherent is aan traditionele microscopie wordt overwonnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de biologie en materiaalkunde is het essentieel om de minuscule details van een cel of een microchip te kunnen zien, maar er is een hardnekkige afweging tussen hoe dicht je kijkt en hoeveel je tegelijkertijd kunt zien. Krachtige microscopen werken als een vergrootglas dat zeer dicht bij één enkel punt wordt gehouden; ze onthullen ongelooflijke details, maar het gezichtsveld is zo smal dat de omgeving verdwijnt. Traditioneel hebben wetenschappers een dia onder de lens handmatig moeten verschuiven, op één minuscuul punt een foto moeten maken, weer verschuiven en opnieuw een foto maken, in de hoop een mentale kaart van de hele scène te kunnen samenstellen. Dit handmatige proces is traag, foutgevoelig en slaagt er vaak niet in om het volledige beeld van een monster vast te leggen. Om dit op te lossen, hebben onderzoekers zich gericht op een methode genaamd beeldstitching (image stitching), waarbij een computer vele kleine, overlappende foto's neemt en deze samenvoegt tot één grote, hoogresolutie panorama. Het is echter een uitdaging om deze beelden perfect uit te lijnen, wat precieze beweging en een manier vereist waarop de camera precies weet waar hij zich ten opzichte van het object bevindt, een uitdaging die vaak complexe, dure machines vereiste.
Een team onderzoekers van de Nanjing Universiteit en de Nanjing University of Aeronautics and Astronautics heeft een toegankelijkere manier ontwikkeld om dit panoramische uitzicht te bereiken. Ze bouwden een systeem dat een standaard industriële camera combineert met een eenvoudig, gemotoriseerd platform dat het monster heen en weer beweegt. De kerninnovatie ligt in de manier waarop het systeem deze beweging aanstuurt. In plaats van te vertrouwen op vooraf geprogrammeerde paden of dure sensoren, gebruikt het systeem een techniek die bekend staat als visuele servo-regeling (visual servoing). In eenvoudige bewoordingen: de camera "kijkt" constant naar de rand van het monster dat hij fotografeert. Door de helderheid en de randen in de hoeken van het huidige gezichtsveld te analyseren, kan de computer zien of hij zich in het midden van het monster bevindt, nabij de bovenkant, of aan de onderkant. Op basis van deze visuele feedback stuurt de computer instructies naar de motoren om het monster net genoeg te bewegen om het volgende overlappende deel vast te leggen, waarbij het automatisch stopt wanneer het nieuwe beeld perfect is uitgelijnd met het vorige beeld.
De onderzoekers construeerden een tweedimensionale bewegingsplaat met behulp van drie stappenmotoren voor slides en een goedkope controller. Ze plaatsten een testmonster op deze plaat en bedekten de omliggende ruimte met een zwart mat glas om ervoor te zorgen dat de camera alleen het object van belang zag. Voordat het systeem kon werken, moest het team de relatie tussen de beweging van de motoren en de pixels op het camerascherm aanleren. Ze gebruikten een kalibratieplaat met bekende afmetingen om exact te bepalen hoeveel moterstappen nodig waren om het beeld met één pixel te verplaatsen. Ze stelden ook een conversiefactor vast, zodat de uiteindelijke beelden een schaalbalk zouden bevatten, waardoor een gebruiker de werkelijke fysieke grootte van kenmerken direct aan de digitale foto kan meten. Deze kalibratie zorgde ervoor dat het systeem precies wist hoe ver het moest bewegen om de benodigde overlap tussen de beelden te creëren, zonder een deel van het monster te missen of te veel lege ruimte vast te leggen.
Zodra het gekalibreerd was, begon het systeem aan zijn werk door de grenzen van het monster te identificeren. De software verdeelde het camerabeeld in secties en controleerde de gemiddelde helderheid van de randen. Als de bovenrand van het gezichtsveld donker was, wist het systeem dat het monster zich onder die rand bevond en bewoog het de plaat omhoog. Als de linker rand donker was, bewoog het de plaat naar rechts. Dit proces ging door totdat het gehele monster bedekt was met een raster van overlappende beelden. De onderzoekers selecteerden specifieke gebieden aan de randen van elke foto om als referentiepunten te dienen. Met behulp van een methode genaamd template matching vond de computer deze zelfde referentiepunten in de volgende foto en berekende exact hoe deze uit te lijnen. Omdat het monster in een rechte lijn bewoog zonder te roteren of van grootte te veranderen, konden de beelden als tegels op een vloer op elkaar worden gestapeld zonder dat er complexe geometrische correcties nodig waren.
De resultaten van deze aanpak waren opmerkelijk. Met behulp van een camera met een relatief lage resolutie van 640 bij 480 pixels, slaagde het systeem erin om een enorm panoramisch beeld te samenvoegen met een resolutie van 15.488 bij 15.456 pixels. Dit uiteindelijke beeld legde de gehele scène vast met hoge helderheid, waarbij details die verloren zouden gaan in een enkele opname met lage resolutie, werden behouden. De onderzoekers testten het systeem met zowel horizontale als verticale bewegingen, waarmee werd bevestigd dat er geen informatie verloren is gegaan of vervormd tijdens het stitchingproces. Hoewel het uiteindelijke panoramische beeld enkele zichtbare naden vertoonde waar de individuele foto's elkaar ontmoetten, bewees het systeem succesvol dat een eenvoudige, goedkope opstelling de opname van hoogresolutie microscopische scènes kon automatiseren. De studie concludeert dat deze methode een praktisch alternatief biedt voor dure, hoogwaardige imagingsystemen, waardoor het mogelijk is om gedetailleerde, volledige scène-uitzichten van biologische cellen en microstructuren te genereren met minimale handmatige interventie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.