TrueEBSD in MTEX: automatic image matching for correlative microscopy applications

Dit artikel introduceert TrueEBSD, een open-source MATLAB-add-on voor MTEX die automatische beelduitlijning en ruimtelijke vervormingscorrectie mogelijk maakt om correlatieve microscopie-analyse te faciliteren door EBSD-kaarten te integreren met andere beeldvormingsgegevens voor verbeterde kwantitatieve kristallografische metingen.

De kern

Stel je voor dat je een gigantische legpuzzel probeert op te lossen, maar de stukjes die je hebt, komen uit twee verschillende dozen. De ene doos bevat een kaart van het "skelet" van de puzzel (die de vormen en richtingen van de stukjes toont), en de andere doos bevat een foto van het "oppervlak" van de puzzel (die de kleuren en texturen toont).

Het probleem is dat deze twee afbeeldingen op iets verschillende tijdstippen en vanuit iets verschillende hoeken zijn gemaakt. Hierdoor is de "skelet"-kaart uitgerekt, gekanteld of verschoven ten opzichte van de "oppervlakte"-foto. Als je ze probeert op elkaar te leggen, passen de randen niet, en ziet het plaatje wazig en verkeerd uit. Je kunt geen waarheidsgetrouw beeld van de puzzel krijgen omdat de twee weergaven niet op elkaar aansluiten.

Dit is precies het probleem waar wetenschappers mee geconfronteerd worden bij het bestuderen van materialen zoals metaallegeringen of koper. Ze maken gebruik van twee krachtige hulpmiddelen:

1. EBSD: Een microscooptechniek die het interne "kristalskelet" van een materiaal in kaart brengt (hoe de atomen zijn gerangschikt).
2. SEM-afbeelding: Een standaard microscoopfoto die de oppervlaktetextuur, scheuren of verschillende materiaalfasen toont (zoals een zwart-witfoto versus een kleurenfoto).

Meestal sluiten deze twee afbeeldingen niet perfect op elkaar aan vanwege kleine verschuivingen, kantelingen of drifts in de microscoop.

De Oplossing: TrueEBSD

Het artikel introduceert een nieuwe softwaretool genaamd TrueEBSD (nu ingebouwd in een populaire toolbox genaamd MTEX). Denk aan TrueEBSD als een slimme, automatische "lijm" en "rechtstrekker" voor deze niet-overeenkomende afbeeldingen.

In plaats dat een mens handmatig punten moet kiezen om de afbeeldingen op elkaar af te stemmen (wat traag is en vatbaar voor menselijke fouten), doet TrueEBSD het werk automatisch. Het zoekt naar gemeenschappelijke kenmerken in beide afbeeldingen – zoals de randen van korrels of specifieke patronen – en berekent precies hoeveel de ene afbeelding moet worden uitgerekt, verschoven of gekanteld om overeen te komen met de andere.

Hoe het werkt in simpele stappen:

1. Het neemt een stapel afbeeldingen: Het begint met de meest vervormde afbeelding en werkt zich naar de "perfecte" referentieafbeelding toe.
2. Het meet het wiebelen: Het breekt de afbeelding op in kleine stukjes en meet hoeveel elk stukje is verplaatst ten opzichte van de anderen.
3. Het corrigeert de wiskunde: Het gebruikt wiskundige modellen om deze bewegingen glad te strijken, waardoor de vervormde afbeelding effectief wordt "vervormd" totdat deze perfect over de referentieafbeelding past.
4. Het creëert een super-kaart: Zodra ze zijn uitgelijnd, combineert het de gegevens. Je hebt nu één enkele kaart die zowel de interne kristalstructuur als de oppervlaktekenmerken in perfecte registratie toont.

Wereldwijde Voorbeelden uit het Artikel

De auteurs hebben deze "digitale lijm" getest op twee specifieke materialen om te laten zien hoe krachtig het is:

1. De "Harde Metaal"-puzzel (WC-Co composieten)

• Het Materiaal: Een mengsel van harde wolfraamcarbide (WC) korrels die aan elkaar zijn geplakt door een kobalt (Co) bindmiddel. Dit wordt gebruikt voor snijgereedschap.
• Het Probleem: De microscoop die wordt gebruikt om de kristallen in kaart te brengen (EBSD) is slecht in het zien van het kobaltbindmiddel. Het denkt vaak dat er minder kobalt is dan er echt is, net als een wazige foto die details mist. Dit leidt tot verkeerde berekeningen over hoe strak de harde korrels tegen elkaar zijn gepakt.
• De Oplossing: TrueEBSD heeft de wazige kristalkaart uitgelijnd met een scherpe, hoog-contrast foto van het oppervlak. Vervolgens heeft het de juiste kobaltgebieden op de kristalkaart "geschilderd".
• Het Resultaat: Wetenschappers konden eindelijk precies meten hoeveel kobalt er was en hoe de harde korrels elkaar raakten, waardoor een veel accurater beeld ontstond van de sterkte van het materiaal.

2. De "Koper"-puzzel (Korrelgrenzen en Holtes)

• Het Materiaal: Een blok kopermetaal.
• Het Probleem: Onder spanning ontstaan er kleine gaatjes (holtes) in het koper, meestal langs de grenzen waar verschillende kristallen samenkomen. Wetenschappers willen weten: Ontstaan deze gaatjes willekeurig, of vermijden ze bepaalde soorten grenzen?
• De Oplossing: Ze hebben de kristalkaart uitgelijnd met een foto die de kleine gaatjes toont. Omdat de afbeeldingen nu perfect waren over elkaar gelegd, konden ze precies zien op welk type kristalgrens een gat zat.
• Het Resultaat: Ze ontdekten dat een specifiek type grens (een "Sigma 3 twin boundary" genoemd) werkt als een schild – het krijgt zelden gaatjes. Andere grenzen zijn echter kwetsbaar. Dit helpt ingenieurs bij het ontwerpen van koper dat langer meegaat.

Waarom Dit Belangrijk Is

Voor dit hulpmiddel moesten wetenschappers deze uitlijning handmatig doen, wat tijdrovend en subjectief was (verschillende mensen konden tot verschillende resultaten komen). TrueEBSD automatiseert het hele proces. Het is alsof je upgradet van het handmatig tekenen van een kaart naar het gebruik van een GPS die automatisch corrigeert voor verkeer en wegverschuivingen.

Het artikel benadrukt dat dit hulpmiddel open-source is (gratis voor iedereen om te gebruiken), snel (het gebruikt slimme code-trucs om snel te draaien) en flexibel (het kan omgaan met allerlei verschillende microscoopopstellingen). Door deze afbeeldingen perfect op elkaar af te stemmen, stelt het wetenschappers in staat om vragen te stellen en te beantwoorden die voorheen onoplosbaar waren omdat de data te rommelig was om te combineren.

Technische samenvatting

Hier volgt een gedetailleerde technische samenvatting van het artikel "TrueEBSD in MTEX: automatic image matching for correlative microscopy applications."

1. Probleemstelling

Correlatieve microscopie, die gegevens combineert uit meerdere beeldvormingsmodaliteiten (bijvoorbeeld Elektronen Backscatter Diffraction (EBSD) en Scanning Electron Microscopy (SEM)), is essentieel voor een uitgebreide materiaalcharacterisatie. Een significante barrière voor effectieve correlatieve analyse is echter ruimtelijke misalignering veroorzaakt door vervormingen tussen verschillende beeldvormingsmodi.

• Bronnen van Vervorming: Deze omvatten specimenhelling, temporele drift, elektromagnetische veldverschuivingen en rolling-shutter-effecten.
• Gevolgen: Zonder nauwkeurige pixel-voor-pixel uitlijning kunnen gegevens niet correct worden overlegd. Dit verhindert de verrijking van kristallografische kaarten met complementaire gegevens (bijvoorbeeld fasefracties of topografie), wat leidt tot systematische fouten.
  • Voorbeeld: EBSD onderschat systematisch het volumefractie van fasen met een laag atoomnummer (zoals Kobalt in WC-Co composieten) door asymmetrische ruimtelijke resolutie.
  • Voorbeeld: Het identificeren van nucleatieplaatsen van holtes op specifieke korrelgrenzen vereist het uitlijnen van holtes (zichtbaar in BSE-afbeeldingen) met kristallografische grenzen (zichtbaar in EBSD), wat onmogelijk is als de kaarten misaligneren.
• Beperkingen van Eerdere Hulpmiddelen: Het oorspronkelijke TrueEBSD MATLAB-programma vereiste handmatige ingrepen (controlepunten) of was star in zijn workflow, wat automatisering en flexibiliteit voor grote of complexe datasets beperkte.

2. Methodologie

De auteurs hebben het TrueEBSD-algoritme opnieuw geïmplementeerd als een modulaire, open-source add-on voor MTEX, een veelgebruikte MATLAB-toolbox voor EBSD-gegevensanalyse. De nieuwe implementatie (v2.1.0) introduceert een op klassen gebaseerde workflow en verschillende technische verbeteringen.

A. Algorithmische Workflow

Het proces aligneert een reeks afbeeldingen (of kaarten) met een definitieve referentieafbeelding door lokale verschuivingen te meten en te corrigeren:

1. Invoer: Een lijst met vervormde afbeeldingen/kaarten (bijvoorbeeld EBSD band contrast, FSE, BSE).
2. Hersampling: Afbeeldingen worden hersampled naar een gemeenschappelijk pixelrooster met behulp van lineaire interpolatie (voor afbeeldingen) of nearest-neighbor (voor categorische gegevens zoals oriëntaties).
3. Kruiscorrelatie: Het algoritme gebruikt FFT-gebaseerde (Fast-Fourier Transform) kruiscorrelatie op Gebieden van Interesse (ROIs) aan de randen van afbeeldingen om lokale verschuivingsvectoren te meten.
4. Modelaanpassing: Gemeten verschuivingen worden aangepast aan wiskundige modellen gebaseerd op fysieke vervormingstypen:
   • Affiene Transformatie: Voor elektromagnetische veldverschuivingen.
   • Projectieve Transformatie: Voor specimenhelling.
   • Lineaire Spline: Voor rolling-shutter drift.
5. Correctie: Afbeeldingen worden vervormd met het aangepaste model om ze pixel-voor-pixel uit te lijnen met de referentieafbeelding.

B. Belangrijkste Technische Innovaties

• Op Klassen Gebaseerde Architectuur: De software is gestructureerd rond drie hoofdklassen:
  • @distortedImg: Bewaart afbeeldingsreeksen en metadata.
  • @pairShifts: Bewaart verplaatsingsvelden en ROI-parameters.
  • @trueEbsd: Het hoofdworkflow-object dat de correctiestappen beheert.
  • Voordeel: Dit zorgt voor eenvoudige integratie met MTEX-objecten (bijvoorbeeld het opslaan van EBSD-oriëntaties naast afbeeldingen) en herbruikbaarheid over verschillende experimentele opstellingen.
• Automatische ROI-Optimalisatie: In plaats van vaste ROI-groottes, past het algoritme de ROI-breedte iteratief aan. Als de residufout na uitlijning meer dan 2 pixels bedraagt, wordt de ROI-grootte verdubbeld. Dit balanceert de behoefte aan kenmerkrijke correlatie tegen de "uitsluitingszone" aan de randen van afbeeldingen.
• Prestatieoptimalisatie: De rekenintensieve kruiscorrelatiefunctie is herschreven als MEX-bestanden (C-binaries gecompileerd uit MATLAB-code). Dit verwijdert de afhankelijkheid van de Parallel Computing Toolbox terwijl de verwerkingssnelheid aanzienlijk wordt verhoogd.
• Grafische Gebruikersinterface (GUI): Een nieuwe GUI stelt gebruikers in staat gegevens te laden (inclusief HDF5-containers van Oxford Instruments), afbeeldingen voor te bekijken, reeksen te herschikken en parameters aan te passen zonder code te schrijven.

3. Belangrijkste Bijdragen

1. Software Her-engineering: De overgang van TrueEBSD van een standalone script naar een volledig geïntegreerde MTEX add-on, waarbij gebruik wordt gemaakt van de robuuste gegevensverwerking en kristallografische analysehulpmiddelen van MTEX.
2. Automatisering: Het elimineren van de behoefte aan handmatige controlepunten, waardoor het proces volledig geautomatiseerd is en geschikt voor grote datasets (bijvoorbeeld 3D EBSD).
3. FAIR-Principes: De code wordt onderhouden op GitHub, waardoor deze vindbaar, toegankelijk, interoperabel en herbruikbaar is.
4. Verhoogde Flexibiliteit: Het modulaire ontwerp stelt gebruikers in staat verschillende afbeeldingstypen te mengen en te matchen (bijvoorbeeld het combineren van FSE- en BSE-afbeeldingen opgenomen bij verschillende spanningen of hellingen) zonder de kerncode te wijzigen.

4. Resultaten: Casestudies

Casestudie 1: WC-Co Composieten (Fasefractie & Aaneengeslotenheid)

• Doel: Het nauwkeurig meten van de Kobalt (Co) fasefractie en de aaneengeslotenheid van Tungsten Carbide (WC) korrels.
• Methode: Uitgelijnde EBSD-kaarten (20 kV) met FSE-afbeeldingen (10 kV). De FSE-afbeeldingen boden nauwkeurig fasecontrast (Co versus WC) dat EBSD vaak verkeerd identificeert door resolutielimieten.
• Vondsten:
  • Fasefractie: Standaard EBSD onderschatte het Co-gehalte met ongeveer 50% in vergelijking met FSE/Thermo-Calc-modellen. De verrijkte kaart corrigeerde dit.
  • Aaneengeslotenheid: De aaneengeslotenheid van WC-korrels (het fractie van de korrelgrens die wordt gedeeld met andere WC-korrels) werd herberekend.
    • Origineel EBSD overschatte de aaneengeslotenheid in fijnkorrelige microstructuren (0,69 versus 0,59 voor BSE lineaire intercepten).
    • De FSE-verrijkte EBSD leverde een nauwkeurigere waarde op (0,49), wat onthulde dat EBSD dunne Co-lagen mist, waardoor WC-korrels lijken aan te raken terwijl ze dat niet doen.
  • Conclusie: De methode maakt kwantitatieve kristallografische metingen mogelijk die onmogelijk zijn met gescheiden analyse.

Casestudie 2: Koper Polycristallen (Korrelgrensholtes)

• Doel: Het bepalen van de gevoeligheid van specifieke korrelgrenzen (GB's) en drievoudige punten (TP's) voor krimpholtevorming.
• Methode: Uitgelijnde EBSD-kaarten met BSE-afbeeldingen (0° helling) waar holtes verschijnen als donkere pixels. Holtes werden gesegmenteerd en in kaart gebracht op de EBSD-oriëntatiegegevens.
• Vondsten:
  • Holte Locatie: 90,2% van de holtes bevond zich op of nabij korrelgrenzen.
  • Kristallografische Analyse: Misoriëntatieanalyse onthulde dat $\Sigma3$ twin grenzen (60°/<111>) significant ondervertegenwoordigd waren onder holtebevattende grenzen, wat aangeeft dat ze zeer resistent zijn tegen holtenucleatie.
  • Drievoudige Punten: Geen specifiek type drievoudige verbinding toonde weerstand of gevoeligheid; hun verdeling kwam overeen met de achtergrondmicrostructuur.
  • Betekenis: Demonstreerde het vermogen om statistisch microstructurele kenmerken te correleren met falingsmechanismen met behulp van correlatieve gegevens.

5. Betekenis

• Kwantitatieve Nauwkeurigheid: Het hulpmiddel lost systematische fouten in EBSD-gegevens op (zoals fase-onderschatting) door gebruik te maken van complementaire beeldvormingsmodaliteiten, wat leidt tot nauwkeurigere microstructurele metrieken zoals korrelaaneengeslotenheid.
• Automatisering & Schaalbaarheid: Door handmatige stappen te verwijderen en de codesnelheid te optimaliseren, maakt TrueEBSD-MTEX de verwerking van grote, complexe datasets mogelijk (bijvoorbeeld 3D EBSD, in-situ experimenten) die voorheen te arbeidsintensief waren.
• Impact op de Gemeenschap: Als open-source MTEX add-on verlaagt het de instapdrempel voor correlatieve microscopie, waardoor onderzoekers geavanceerde ruimtelijke registratie en daaropvolgende kristallografische analyse kunnen uitvoeren binnen één gevestigd ecosysteem.
• Aangepaste Beperkingen: Hoewel het hulpmiddel goed omgaat met globale vervormingen, merken de auteurs op dat sterk gelokaliseerde, niet-lineaire vervormingen (bijvoorbeeld door oppervlaktetopografie op ionen-geslepen monsters) mogelijk nog steeds handmatige ingrepen vereisen of moeilijk te extrapoleren zijn naar de randen van afbeeldingen.

Kortom, TrueEBSD in MTEX vertegenwoordigt een aanzienlijke vooruitgang in correlatieve microscopie, waarbij afbeeldingsuitlijning wordt getransformeerd van een handmatige, foutgevoelige taak naar een robuuste, geautomatiseerde workflow die diepere kwantitatieve inzichten in materiaalmicrostructuren ontsluit.