Multilabel Corrosion Morphology Classification Using Deep Learning with Multimodality Fusion

Corrosie is de langzame, stille vijand van de gebouwde wereld. Het vreet aan bruggen, pijpleidingen en schepen, en verandert sterk metaal in bros stof. Terwijl sommige roest gelijkmatig over een oppervlak verspreidt, vindt het gevaarlijkste soort in het geheim plaats. Dit is lokale corrosie, waarbij kleine putjes ontstaan en diep in het metaal groeien, vaak verborgen voor het oog totdat een structuur plotseling faalt. Deze putjes zijn niet allemaal hetzelfde. Sommigen hebben een gladde bodem, terwijl andere een grillige, kruisvormige textuur ontwikkelen of zelfs minuscule scheurtjes die kunnen leiden tot catastrofale breuken. Voor ingenieurs die proberen te voorspellen hoe lang een stuk metaal zal meegaan, is het essentieel om precies te weten hoe deze putjes eruitzien. Als zij het verschil kunnen zien tussen een onschadelijk glad putje en een gevaarlijke scheur, kunnen zij rampen voorkomen voordat ze gebeuren.

Decennialang hebben experts naar deze putjes gekeken onder krachtige microscopen om ze met de hand te sorteren. Maar dit is een traag, uitputtend werk, en menselijke ogen kunnen subtiele details missen of van mening verschillen over wat ze zien. Een team van onderzoekers van universiteiten in Texas, Ohio en Colorado besloot een computer deze taak te leren. Ze wilden een systeem bouwen dat afbeeldingen van gecorrodeerd metaal kan bekijken en automatisch de verschillende soorten schade kan identificeren, zelfs wanneer er meerdere soorten in dezelfde afbeelding voorkomen. De uitdaging was dat de gegevens rommelig waren. Sommige schadepatronen waren zeldzaam, waardoor het voor een computer moeilijk was om ze te leren, en de afbeeldingen bevatten vaak verwarrende mengsels van texturen die op meer dan één ding tegelijk leken.

De onderzoekers verzamelden honderden afbeeldingen gemaakt met een elektronenmicroscoop, een instrument dat ongelooflijk gedetailleerde foto's van metaaloppervlakken maakt. Ze richtten zich op roestvrijstalen monsters die in een gecontroleerde omgeving aan zout water waren blootgesteld. In het laboratorium creëerden ze specifieke omstandigheden om verschillende soorten corrosie te laten groeien. Sommige monsters ontwikkelden gladde, gepolijste putjes, terwijl andere complexe, ruwe texturen of kleine scheurtjes vormden. Cruciaal was dat veel monsters een combinatie van deze kenmerken vertoonden, wat betekende dat een enkele afbeelding bij meer dan één categorie kon behoren. Het team verzamelde ook de aantekeningen die de wetenschappers die de experimenten uitvoerden hadden geschreven, zoals de temperatuur, luchtvochtigheid en hoe lang het metaal was blootgesteld. Ze stopten al deze informatie — zowel de foto's als de geschreven aantekeningen — in drie verschillende soorten kunstmatige intelligentie-modellen om te zien welke het beste kon leren.

Het team testte drie verschillende benaderingen. De ene was een standaard, bekend beeldherkenningssysteem. Een ander model was getraind op miljoenen afbeeldingen en tekstbeschrijvingen van het internet, wat het een breed begrip gaf van hoe woorden en plaatjes met elkaar samenhangen. Het derde was een nieuwer, complexer model dat ontworpen is om patronen op verschillende schalen te herkennen. Ze probeerden de computers alleen de afbeeldingen te voeren, en probeerden daarna de experimentele aantekeningen toe te voegen om te zien of die extra context hielp. Ze experimenteerden ook met een specifieke trainingsmethode: de computer vertellen om extra aandacht te besteden aan de zeldzame soorten schade die slechts een paar keer in hun data voorkwamen. Zonder deze methode hadden de computers de neiging om de zeldzame, gevaarlijke scheurtjes te negeren, omdat ze te druk waren met het leren van de veelvoorkomende, gladde putjes.

De resultaten toonden aan dat de extra informatie ertoe deed, maar alleen wanneer de computer werd geleerd om aandacht te besteden aan de zeldzame gevallen. Wanneer de modellen werden getraind zonder speciale aandacht voor de minderheidsklassen, verbeterde het toevoegen van de experimentele aantekeningen de prestaties niet en maakte het ze soms zelfs slechter. Echter, zodien de onderzoekers de training aanpasten om de zeldzame labels zwaarder te laten wegen, werden de modellen die zowel de afbeeldingen als de aantekeningen gebruikten, het meest accuraat. Het model dat getraind was op internetdata en tekst bleek het meest betrouwbaar overall, vooral bij het opsporen van de gevaarlijke scheuren. Het kon de juiste combinatie van schade types vaker identificeren dan de andere systemen. De andere twee modellen presteerden goed op de gladde texturen, maar hadden iets meer moeite met de complexe, gebarsten patronen.

De studie onthulde ook dat deze computers niet perfect zijn. In sommige gevallen waren de afbeeldingen zo ambigu dat zelfs menselijke experts het oneens zouden kunnen zijn over wat ze zagen. Een putje kan een gladde bodem hebben, maar ook een minuscuul, vaag scheurtje dat moeilijk te definiëren is. De computers gokten soms dat er een scheur aanwezig was terwijl dat niet zo was, of misten een subtiele textuur die er wel degelijk was. Dit suggereert dat de moeilijkheid niet alleen ligt in het vermogen van de machine om te leren, maar in de inherente vaagheid van de echte wereld, waar de natuur zich niet altijd aan nette categorieën houdt. Ondanks deze uitdagingen slaagde het systeem erin om onderscheid te maken tussen de verschillende morfologieën met een hoge mate van nauwkeurigheid, wat een nieuw hulpmiddel biedt voor ingenieurs.

Dit werk vestigt een nieuwe manier om corrosie te analyseren door visuele gegevens te combineren met de context van hoe de schade is ontstaan. Door aan te tonen dat class-weighted training essentieel is voor het omgaan met zeldzame defecten, boden de onderzoekers een blauwdruk voor hoe men machines kan leren de meest gevaarlijke vormen van verval te herkennen. Hoewel het systeem werd getest op een specif kind type staal in een gecontroleerd laboratorium, biedt de aanpak een pad vooruit voor het automatiseren van de inspectie van kritieke infrastructuur. Het vervangt de noodzaak voor menselijk oordeel niet, maar het biedt een consistente, standvastige tweede paar ogen dat de subtiele tekenen van falen kan opsporen voordat ze een crisis worden.