Artificial Intelligence for the Characterization of Particles and Fibers by Optical Microscopy

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van vingerafdrukken of voetstappen, zijn je aanwijzingen minuscule stofjes, vezels en pigmenten die je alleen onder een krachtige microscoop kunt zien. Decennialang hebben experts deze "microscopische vergrootglazen" gebruikt om alles te identificeren, van oud Egyptisch pigment tot de vacht op een historische jas. Het probleem is dat deze kleine aanwijzingen er anders uitzien afhankelijk van hoe het licht erop valt, hoeveel je inzoomt, of welke microscoop er is gebruikt. Het is alsof je een vriend probeert te herkennen op een foto waarbij de belichting verandert van zonnig naar donker, en de camera willekeurig in en uit zoomt. Om het nog moeilijker te maken, zijn de oude aantekeningen die deze afbeeldingen beschrijven slordig; de ene expert noemt een blauwe steen "Azuriet", terwijl een ander het "Blauw Bice" noemt, ook al zijn ze hetzelfde. Dit is een enorme hoofdpijn voor computers die proberen te leren van deze beelden, omdat ze in de war raken door de inconsistente labels en de lastige verlichting.

Dit is waar Kunstmatige Intelligentie (AI) in beeld komt, maar niet zomaar een AI. De onderzoekers in dit artikel wilden een computer leren een meester-microscopist te zijn met een slimme truc genaamd "knowledge distillation" (kennisdestillatie). Denk aan een meesterkok (de "Docent") die precies weet hoe hij een gerecht moet proeven en de ingrediënten, de bereidingswijze en het specifieke type pan moet beschrijven. De chef schrijft een gedetailleerd recept op dat de smaak, de geur en de context bevat. Vervolgens probeert de chef een student te onderwijzen die alleen het eten kan zien, maar het niet kan ruiken of het recept kan lezen. Het doel is dat de student naar het bord kijkt en het recept perfect raadt, enkel door visuele aanwijzingen te observeren. Het paper suggereert dat door deze "Docent-Student"-methode te gebruiken, de computer kan leren om de verwarrende verlichting en zoomniveaus te negeren en zich te concentreren op de ware identiteit van het deeltje, zelfs wanneer de oude data rommelig en slecht gelabeld zijn.

Het verhaal van het paper: Een computer leren het onzichtbare te zien

De onderzoekers gingen aan de slag om een zeer specifieke puzzel op te lossen: Hoe kunnen we een AI leren om minuscule deeltjes en vezels te herkennen in oude microscopische beelden wanneer de data rommelig zijn, de labels inconsistent zijn en de lichtomstandigheden enorm variëren? Ze hebben niet zomaar een standaard AI op het probleem gezet; ze bouwden een speciaal leersysteem geïnspireerd door hoe mensen leren van mentoren.

De Docent met een superkracht
Eerst creëerden ze een "Docent"-AI. Deze Docent is een superintelligent model met twee hersenen: één voor het bekijken van afbeeldingen en één voor het lezen van tekst. De Docent kijkt naar een foto van een deeltje en leest de rommelige, oude aantekeningen die erbij horen (zoals "synthetische vezel", "blauw pigment" of "bekeken onder gepolariseerd licht"). De Docent combineert deze twee informatiestromen tot één enkele, gigantische, 2304-dimensionale "vingerafdruk" (een lange lijst met getallen) die perfect vastlegt wat het object is, hoe het eruitziet en hoe het gefotografeerd is. Omdat de Docent zowel de foto als de tekst heeft, weet de Docent precies wat wat is, zelfs als de tekst een beetje vreemd is of de verlichting vreemd is.

De Student die alleen ziet
Vervolgens bouwden ze een "Student"-AI. Deze Student is een Vision Transformer (een type AI dat erg goed is in het bekijken van plaatjes), maar er is een addertje onder het gras: de Student mag alleen naar de afbeelding kijken. De Student mag de tekstnotities niet lezen of de lichtomstandigheden niet kennen. De taak van de Student is om naar de afbeelding te kijken en te proberen de gigantische vingerafdruk van de Docent te recreëren met alleen de ogen.

Om dit te doen, probeert de Student de vingerafdruk van de Docent te raden. Als de Student het fout raadt, meet het systeem het verschil (met behulp van iets dat "Mean Absolute Error" wordt genoemd) en vertelt de Student om het opnieuw te proberen. Maar er is een twist: het systeem controleert ook of de Student niet gewoon hetzelfde antwoord voor elke foto uit het hoofd leert (een probleem dat "collapse" wordt genoemd). Om dit te voorkomen, groepeert het systeem vergelijkbare foto's bij elkaar (met behulp van een clusteringmethode genaamd HDBSCAN) en geeft de Student een bonus voor het onderscheidend houden van verschillende groepen deeltjes. Het is alsof een docent tegen een student zegt: "Zeg niet voor alles gewoon 'blauw'; zorg dat je het verschil kunt zien tussen een blauwe auto en een blauwe vogel."

De magie van "Semantic Anchoring"
Het geheime ingrediënt is iets wat de auteurs "semantic anchoring" noemen. De Docent gebruikt de tekstbeschrijvingen om de afbeeldingen te verankeren aan hun ware betekenis. Bijvoorbeeld, als de tekst "gekruist gepolariseerd licht" zegt, weet de Docent dat de donkere achtergrond in de afbeelding niet zomaar een schaduw is, maar een specifieke wetenschappelijke conditie. De Student leert deze subtiele visuele patronen te herkennen — zoals de manier waarop licht door een kristal buigt of de specifieke interferentiekleuren in een vezel — omdat de Student probeert te matchen met het "verankerde" begrip van de Docent.

Wat ze ontdekten
De resultaten waren zeer veelbelovend. De Student leerde zo goed dat hij naar een foto van een deeltje kon kijken en de meest vergelijkbare foto's in een database kon vinden met een nauwkeurigheid van ongeveer 80% voor brede categorieën en 75% nauwkeurigheid voor zeer specifieke beschrijvingen (zoals het identificeren van een specif kind type blauw pigment).

Een van de coolste ontdekkingen gebeurde toen ze keken naar hoe de Student leerde. Ze ontdekten dat de Student niet alleen een label zoals "darkfield illumination" (donkerveldverlichting) uit het hoofd leerde, maar dat de Student het ruimtelijke patroon van het licht leerde zien. Bijvoorbeeld, wanneer de Student naar een vezel kijkt onder "darkfield"-licht (waarbij de achtergrond zwart is en het object oplicht), licht de interne "vingerafdruk" van de Student op een specifieke manier op die overeenkomt met het contrast tussen de donkere achtergrond en de heldere vezel. Het paper suggereert dat de Student leerde om de tekstuele kennis van de Docent te vertalen naar een visuele taal, waarbij het de Student herkende dat een specifiek contrastpatroon "darkfield" betekent, zelfs zonder dat het woord werd genoemd.

De beperkingen en de toekomst
Het paper merkt voorzichtig op dat dit geen toverstaf is die alles oplost. Het systeem werkt het beste wanneer er genoeg voorbeelden zijn om van te leren. Wanneer de onderzoekers naar zeldzame soorten deeltjes keken (die slechts enkele afbeeldingen in de database hadden), daalde de nauwkeurigheid van de Student, wat logisch is omdat de Student niet genoeg voorbeelden had gezien om het patroon te leren. Ze ontdekten ook dat het systeem erg goed is in het identificeren van brede categorieën (zoals "vezel" of "pigment") en lichtomstandigheden (zo zoals "gepolariseerd" versus "darkfield"), maar dat het nog steeds een beetje worstelt met de meest specifieke, zeldzame beschrijvingen.

Desalniettemin heeft de studie succesvol aangetoond dat je een rommelige, oude collectie microscopische beelden met inconsistente labels kunt omzetten in een krachtig, doorzoekbaar hulpmiddel. Door een "Docent" te gebruiken die de tekst kent en een "Student" die leert zien als een menselijke expert, hebben de onderzoekers aangetoond dat AI kan worden getraind om de subtiele, microscopische details te herkennen die culturele erfgoedanalyse zo moeilijk maken. Het paper concludeert dat deze methode een levensvatbare manier is om het potentieel van deze historische archieven te ontsluiten, waardoor ze veranderen van stoffige fotoalbums in een slimme, doorzoekbare bibliotheek van de microscopische wereld.