Systematic Diagnosis of Cross-Domain Performance Degradation in PCB Defect Detection: A PKU-Source Study

Moderne elektronica vertrouwt op printplaten, de platte groene of blauwe panelen die de minuscule componenten bevatten in alles van smartphones tot auto's. Voordat deze platen de fabriek verlaten, moeten ze worden geïnspecteerd op kleine defecten zoals gebroken lijnen of rondvliegend metaal. Decennialang werd deze inspectie uitgevoerd door machines die gebruikmaakten van eenvoudige regels, maar onlangs hebben computers geleerd het werk te doen met behulp van deep learning, een vorm van kunstmatige intelligentie die leert door naar duizenden voorbeelden te kijken. Deze systemen zijn ongelooflijk goed geworden in het opsporen van defecten, maar ze hebben een verborgen zwakte: ze falen vaak wanneer ze naar een nieuwe fabriek worden verplaatst. Een computer die getraind is om defecten op het ene type plaat te herkennen, onder één specifieke lichtopstelling, kan volledig blind worden wanneer er een plaat van een andere fabrikant of onder een iets andere camerahoek wordt getoond. Deze kloof tussen hoe goed een systeem werkt in het lab en hoe goed het werkt in de echte wereld is een grote hindernis voor industriële automatisering.

Een team van onderzoekers van universiteiten uit China en Thailand zette zich in om precies te begrijpen waarom dit gebeurt. Ze probeerden niet een beter computer vision-systeem te bouwen of een nieuwe manier uit te vinden om het probleem op te lossen. In plaats daarvan handelden zij als artsen die een systematische autopsie uitvoeren op een foutieve diagnose. Ze namen een krachtige defectdetector die was getraind op een specifieke dataset, bekend als PKU, en testten deze op drie volledig verschillende datasets die andere real-world inspectieomgevingen vertegenwoordigden. Hun doel was om de fout nauwkeurig te meten en te bepalen welke specifieke verschillen tussen de datasets ervoor zorgden dat de computer de defecten niet meer zag. Ze wilden weten of de fout kwam door de computer die in de war raakte door de nieuwe verlichting, of dat de defecten er anders uitzagen, of dat de achtergrond te rommelig was, of dat de labels die de computer leerden simpelweg inconsistent waren.

De resultaten waren schokkend en onmiddellijk. Toen de onderzoekers de getrainde detector verplaatsten van de oorspronkelijke omgeving naar de nieuwe datasets, stortte het vermogen om defecten te vinden in. In de oorspronkelijke omgeving vond het systeem bijna de helft van alle defecten met een hoge precisie. In de nieuwe omgevingen daalde de prestatie naar bijna nul. Een van de nieuwe datasets, genaamd MIXED-clean, stelde het systeem in staat om een fractie van de defecten te vinden, maar voor de andere twee, SELF en DeepPCB, zag het systeem in essentie helemaal niets meer. Dit falen gebeurde ongeacht de specifieke computerarchitectuur die werd gebruikt; zelfs een ander, geavanceerder type detector vertoonde dezelfde ernstige daling in prestaties. De onderzoekers bevestigden dat de computer niet kapot was, want wanneer ze een nieuw model vanaf nul trainden met alleen de data uit de nieuwe omgevingen, presteerde het erg goed. Dit bewees dat het probleem niet was dat de nieuwe data onmogelijk te leren was, maar dat de kennis verkregen uit de oorspronkelijke data helemaal niet overdraagbaar was.

Om te begrijpen waarom de transfer mislukte, brak het team het probleem af in verschillende lagen. Eerst controleerden ze of de fout werd veroorzaakt door slechte labels. In computer vision zijn de "labels" de door mensen getekende kaders die de computer vertellen waar een defect zich bevindt. Als deze kaders onjuist zijn getekend, kan de computer niet goed leren. De onderzoekers lieten onafhankelijke experts een steekproef van de afbeeldingen opnieuw onderzoeken om te zien of de oorspronkelijke labels fout waren. Hoewel ze enkele onenigheden vonden, loste het corrigeren van deze labels het probleem niet op. De computer slaagde er nog steeds niet in om de defecten in de nieuwe omgevingen te vinden, zelfs toen de labels perfect waren. Dit sloot slechte datakwaliteit uit als de primaire oorzaak van de fout.

Vervolgens testten ze of de fout te wijten was aan eenvoudige veranderingen in de beeldkwaliteit, zoals een afbeelding die te licht, te donker of licht wazig is. Ze namen afbeeldingen uit de nieuwe datasets en pasten de helderheid, het contrast en de scherpte kunstmatig aan om te zien of de computer zou reageren. In de oorspronkelijke omgeving was de computer gevoelig voor deze veranderingen, maar werkte hij nog steeds. In de nieuwe omgevingen waar de computer al faalde, waren de afbeeldingen zo verschillend dat de computer niet eens kon beginnen met het zien van de defecten. De onderzoekers ontdekten dat voor twee van de nieuwe datasets de defecten visueel zo verschillend waren van wat de computer had geleerd, dat het systeem een "bodem" bereikte waarop het niets meer kon detecteren, ongeacht hoe ze de afbeelding aanpasten. Het falen ging niet alleen over verlichting; het ging over de fundamentele verschijning van de objecten.

Het team keek vervolgens dieper in de fysieke verschillen tussen de datasets. Ze maten de grootte van de defecten, de textuur van de achtergrond, de vorm van de printplaten en de dichtheid van de fouten. Ze ontdekten dat de nieuwe datasets niet alleen een beetje anders waren; ze waren op bijna elk punt fundamenteel anders. De defecten in de ene dataset waren vaak veel groter of kleiner dan in de originele. De achtergrondpatronen, die de ingewikkelde lijnen van de printplaat zelf zijn, zagen er volkomen anders uit. Ook de manier waarop de defecten over de plaat verdeeld waren, varieerde. De onderzoekers gebruikten statistische instrumenten om deze verschillen in kaart te brengen en ontdekten dat de nieuwe datasets een volledig andere ruimte innamen wat betreft visuele kenmerken vergeleken met de oorspronkelijke trainingsdata. De computer had geleerd om een specifiek type patroon te herkennen, en de nieuwe data bevatte dat patroon simpelweg niet.

Misschien wel de meest onthullende bevinding was hoe de computer faalde wanneer hij wel probeerde te kijken. De onderzoekers analyseerden de specifieke momenten waarop de computer een defect miste. Ze ontdekten dat de meest voorkomende fout een volledige misser was: de computer zag de afbeelding, maar zag het defect niet. Het verwarde het defect niet met een ander type fout, noch tekende het een kader op de verkeerde plek. Het detecteerde het object simpelweg niet. Dit patroon hield stand in alle verschillende settings die ze testten, van verschillende afbeeldingsformaten tot verschillende vertrouwensdrempels. Zelfs toen ze de lat voor wat de computer als een "detectie" beschouwde verlaagden, miste het systeem de doelen nog steeds grotendeels volledig. Dit suggereert dat de interne representatie van de computer van hoe een defect eruitziet, zo verbonden was aan de oorspronkelijke omgeving dat het hetzelfde defect niet kon herkennen wanneer het in een nieuwe context verscheen.

De studie concludeert dat het probleem van cross-domain falen in industriële inspectie geen enkelvoudig probleem is dat met één enkele oplossing kan worden opgelost. Het is een complex web van verschillen die te maken hebben met het uiterlijk van de plaat, de grootte en vorm van de defecten, de lichtomstandigheden en de samenstelling van de data. De onderzoekers lieten zien dat het simpelweg hebben van een zeer accuraat systeem in een lab niet betekent dat het in een fabriek zal werken. Ze toonden aan dat voordat een systeem kan worden ingezet, het direct getest moet worden op de specifieke data die het zal tegenkomen, en dat de fouten moeten worden gediagnosticeerd door te kijken naar de specifieke visuele en structurele verschillen tussen de trainingsdata en de real-world data. Het werk biedt een duidelijke, stapsgewijze methode voor ingenieurs om te diagnosticeren waarom een systeem faalt, waarbij ze verder gaan dan gissen naar een precieze analyse van de mismatch. Het dient als een herinnering dat in de wereld van industriële automatisering het krachtigste hulpmiddel niet een complexer algoritme is, maar een rigoureuze kennis van de omgeving waarin dat algoritme moet opereren.