Spectrally Enriched 3D Models for Representation and Interpretation of Elemental Data in Augmented Reality

Stel je voor dat je een kwetsbaar, eeuwenoud artefact in je handen houdt. Het zou een geschilderd keramisch fragment kunnen zijn, een delicaat sieraad, of een botanisch model gemaakt van papier en lijm. Om te begrijpen waar het van gemaakt is, gebruiken wetenschappers vaak een techniek die Laser-Induced Breakdown Spectroscopy wordt genoemd. Deze methode werkt door kleine, hoogenergetische lichtpulsen op het oppervlak van een object af te vuren. Elke puls verdampt een microscopische hoeveelheid materiaal, wat een korte flits van plasma creëert die de aanwezige chemische elementen op die exacte plek onthult. Het is een krachtig hulpmiddel om de geschiedenis van materialen te ontrafelen, van het identificeren van oude pigmenten tot het detecteren van sporenelementen. Er is echter een addertje onder het gras: het proces laat een klein kratertje achter waar de laser de inslag heeft gemaakt. Als een wetenschapper het volledige oppervlak van een object wil in kaart brengen om te zien hoe de samenstelling verandert van het ene naar het andere gebied, moet hij duizenden van deze pulsen afvuren. Op een plat, stevig oppervlak zou dit acceptabel kunnen zijn. Maar op een fragiel, gebogen of driedimensionaal object kan het cumulatieve effect van duizenden kleine kraters zichtbare schade veroorzaken, waardoor het object dat de onderzoekers juist proberen te bestuderen, verandert.

De uitdaging is dan om alles wat mogelijk is te leren over de chemische samenstelling van een object zonder het te vernietigen. Voor platte objecten hebben onderzoekers een slimme workaround ontwikkeld: ze maken een foto, gebruiken een computer om vergelijkbare kleuren bij elkaar te groeperen, en vuren de laser vervolgens alleen af op een paar representatieve plekken binnen elke groep. Dit vermindert het aantal schoten aanzienlijk. Maar deze aanpak valt uiteen wanneer het object niet plat is. Een foto vlakt de wereld af en verbergt de rondingen, bobbels en verborgen hoekjes van een echt object. Als je een gebogen oppervlak probeert in kaart te brengen met alleen een plat beeld, kun je twee gebieden groeperen die in de foto op elkaar lijken, maar in werkelijkheid ver uit elkaar liggen op het echte object, of je kunt een cruciaal detail missen dat verborgen ligt in een schaduw of een holle curve. Om dit op te lossen, heeft een team van onderzoekers van INESC TEC en de Universiteit van Porto in Portugal een nieuwe manier ontwikkeld om deze complexe vormen te analyseren. Ze zijn verder gegaan dan platte afbeeldingen en hebben een systeem gecreëerd dat de ware driedimensionale vorm van een object begrijpt, waardoor ze de chemie ervan in kaart kunnen brengen met veel minder laserinslagen en een aanzienlijk kleiner risico op schade.

De onderzoekers testten hun nieuwe methode op een specifiek, delicaat object: een negentiende-eeuws papier-maché model van een paddenstoel, specifelijk de Amanita muscaria, die wordt bewaard in het Natuurhistorisch en Wetenschappelijk Museum van de Universiteit van Porto. Het model bestaat uit twee afzonderlijke stukken, een steel en een hoed, en werd oorspronkelijk gemaakt voor educatieve demonstraties. Omdat het materiaal fragiel is en het object een complexe, ronde vorm heeft, was het een ideale kandidaat voor dit experiment. Het team begon met het maken van een nauwkeurige digitale tweeling van de paddenstoel. Met een 3D-scanner die blauw laserlicht projecteert, legden ze de exacte geometrie en oppervlaktestructuur van het object vast. Dit proces produceerde een gedetailleerd digitaal model dat niet alleen de vorm, maar ook de kleur en fijne oppervlaktedetails bevatte, opgeslagen als een hoogwaardige textuurkaart die om de 3D-vorm is gewikkeld.

Met het digitale model in de hand, stond het team voor de taak om te beslissen waar de laser op afgevuurd moest worden. In plaats van naar een platte foto te kijken, keken ze rechtstreeks naar het 3D-model. Ze gebruikten een computeralgoritme om het oppervlak van de paddenstoel op te delen in duizenden kleine, onregelmatige vlakken die superpixels worden genoemd. Cruciaal was dat dit algoritme niet alleen naar kleur keek; het hield ook rekening met de fysieke locatie van elk vlak in de driedimensionale ruimte. Het zorgde ervoor dat een rood vlak op de hoed van de paddenstoel niet werd gegroepeerd met een rood vlak op de steel als die zich in werkelijkheid ver van elkaar bevonden, zelfs als ze in een plat beeld op elkaar leken. Deze stap creëerde een kaart van het object die de ware geometrie respecteerde, de grenzen tussen de verschillende delen van de paddenstoel behield en het oppervlak tegelijkertijd verdeelde in beheersbare, samenhangende regio's.

Zodra het oppervlak in deze geometrisch bewuste vlakken was verdeeld, vereenvoudigde het team de gegevens. Ze berekenden de gemiddelde kleur voor elk vlak en groepeerden de vlakken vervolgens in grotere clusters op basis van hoe vergelijkbaar hun kleuren waren. Dit proces verminderde de complexiteit van het oppervlak van de paddenstoel van miljoenen individuele pixels naar een veel kleiner aantal onderscheidende regio's. Het resultaat was een segmentatie die de belangrijkste visuele gebieden van het object identificeerde, zoals de rode hoed met witte stippen en de witte steel, terwijl de rondingen en contouren van het fysieke model werden gerespecteerd. Vanuit elk van deze definitieve clusters selecteerden de onderzoekers slechts één of enkele representatieve punten om met de laser te analyseren.

Deze strategie leidde tot een dramatische vermindering van het aantal benodigde laserinslagen. In plaats van het hele oppervlak te scannen met meer dan 221.000 potentiële punten, wat het fragiele papier-maché vol met kraters zou hebben achtergelaten, selecteerde het team slechts 40 specifieke schoten. Deze 40 schoten waren voldoende om de essentiële chemische informatie van het gehele object vast te leggen. Door het licht te analyseren dat van deze enkele punten werd uitgezonden, konden ze de elementaire samenstelling van de omliggende gebieden binnen elk cluster afleiden. De laserpulsen werden ingesteld op een laag energieniveau, waardoor ablatieplekken van slechts ongeveer 300 micrometer in diameter ontstonden, wat ervoor zorgde dat de schade microscopisch en gelokaliseerd bleef.

De laatste stap was om deze gegevens weer tot leven te brengen op een manier die gemakkelijk te begrijpen is. Het team bracht de resultaten van hun 40 laserinslagen terug naar het 3D-digitale model. Vervolgens gebruikten ze augmented reality-technologie om de bevindingen te visualiseren. Door een speciale headset te dragen, kon een gebruiker naar de digitale paddenstoel kijken die in de ruimte zweefde en de verschillende chemische clusters direct op het oppervlak zien. De interface stelde hen in staat om het model te draaien, in te zoomen en specifieke elementen te selecteren om te zien waar deze werden gevonden. Dit bood een ruimtelijk gecontextualiseerd beeld, waardoor experts en niet-experts zowel precies konden zien hoe de chemische samenstelling gerelateerd was aan de fysieke vorm en textuur van het artefact.

De studie toont aan dat het mogelijk is om de voordelen van slimme bemonstering van platte, tweedimensionale afbeeldingen uit te breiden naar complexe, driedimensionale objecten. Door de werkelijke geometrie van een object in de analyse te betrekken, kunnen onderzoekers de vervormingen en fouten voorkomen die gepaard gaan met het afvlakken van een gebogen oppervlak. Deze aanpak bespaart niet alleen tijd; het verandert fundamenteel de relatie tussen analyse en behoud. Het stelt wetenschappers in staat om rijke, ruimtelijk gedetailleerde chemische gegevens te verzamelen van fragiele historische objecten zonder ze bloot te stellen aan de cumulatieve schade van een volledige scan. Het werk suggereert een nieuwe weg voor de culturele erfgoedwetenschap, waarbij de integriteit van het object prioriteit krijgt en waarbij de analysemiddelen worden aangepast aan de ware, driedimensionale aard van de wereld die we proberen te begrijpen.