Revisiting RIAWELC: Radiograph-Level Auditing Reveals Data Leakage and Class-Selective Domain Shift in Weld Defect Classification
Dit artikel legt ernstige datalekken en klasse-selectieve domeinverschuivingen in de RIAWELC-lasdefectendataset bloot, veroorzaakt door byte-identieke duplicaten en acquisitie-artefacten, waarmee wordt aangetoond dat audit op röntgenniveau essentieel is om te voorkomen dat deep learning-modellen het memoriseren en artefacten aanzien voor werkelijke generalisatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de zware industrieën die onze bruggen, schepen en pijpleidingen bouwen, hangt de veiligheid van een constructie vaak af van één enkele las. Als er een minuscuul scheurtje of een verborgen luchtbel in die verbinding ontstaat, kan dit leiden tot een catastrofale breuk. Om deze verborgen gebreken te vinden zonder het metaal uit elkaar te snijden, gebruiken inspecteurs radiografie, een techniek die vergelijkbaar is met een medische röntgenfoto, waarbij straling door de las wordt gestuurd om een beeld van de binnenkant te maken. Decennialang hebben mensen deze beelden bestudeerd, maar het proces is traag en is afhankelijk van de ervaring van de inspecteur. In de afgelopen jaren hebben wetenschappers zich tot kunstmatige intelligentie gewend om deze taak te automatiseren, door computerprogramma's te trainen om de visuele handtekeningen van scheuren, openingen en bellen te herkennen. De hoop is dat machines deze kritieke verbindingen sneller en consistenter kunnen inspecteren dan mensen, om ervoor te zorgen dat de infrastructuur waar we op vertrouwen, veilig blijft.
Een nieuwe studie suggereert echter dat de manier waarop deze kunstmatige intelligentie-modellen zijn getest, een vals gevoel van veiligheid kan hebben gegeven. Onderzoekers hebben ontdekt dat een populaire dataset die werd gebruikt om deze systemen te trainen, een verborgen fout bevatte: dezelfde bronafbeeldingen werden per ongeluk zowel gebruikt om de computer te onderwijzen als om zijn kennis te testen. Het is alsof je een student een oefenexamen geeft en vervolgens precies dezelfde vragen gebruikt voor het eindexamen; de student zou perfect scoren, niet omdat hij de stof heeft geleerd, maar omdat hij simpelweg de antwoorden heeft onthouden. Wanneer de onderzoekers deze fout corrigeerden door ervoor te zorgen dat geen enkele bronafbeelding zowel in de trainingsgroep als in de testgroep voorkwam, daalde de prestatie van de kunstmatige intelligentie aanzienlijk. Dit onthulde dat de hoge scores die in eerdere studies werden gerapporteerd, eerder het onthouden van informatie maten dan werkelijk begrip.
De onderzoekers, geleid door een team van de Satya Wacana Christian University en Universitas Dinamika Bangsa, gingen verder dan alleen het corrigeren van de data. Ze auditeerden de gecorrigeerde dataset om te zien of er andere verborgen problemen waren die standaardtesten zouden kunnen missen. Ze ontdekten dat zelfs na het verwijderen van de dubbele afbeeldingen, de kunstmatige intelligentie worstelde met een specifieke, ongewone afbeeldingsbestand dat er anders uitzag dan de rest. Dit bestand, genaamd "bam5", kwam uit een andere bron of werd onder andere omstandigheden vastgelegd dan de duizenden andere afbeeldingen in de set. Terwijl de computer gemakkelijk defecten in de standaardafbeeldingen kon identificeren, faalde hij jammerlijk bij het proberen te spotten van scheuren in dit specifieke, ongewone bestand.
Het onderzoek onthulde dat het probleem niet lag aan het vermogen van de computer om te leren, maar aan de aard van de afbeelding zelf. Het "bam5"-bestand was merkbaar waziger dan de andere, waarschijnlijk door een verschil in de manier waarop de röntgenfoto werd genomen of verwerkt. Deze onscherpte beïnvloedde niet alle soorten defecten gelijkmatig. De kunstmatige intelligentie bleef perfect in het vinden van grote openingen en ronde bellen, zelfs in de wazige afbeelding. Echter, het vermogen om dunne haarlijnscheuren te spotten stortte in, met een succespercentage van slechts 38 procent. De studie toonde aan dat de onscherpte specifiek de fijne, delicate lijnen die een scheur definiëren, verborg, terwijl de grotere, grovere defecten zichtbaar bleven. Dit is een cruciaal onderscheid, aangezien scheuren vaak het gevaarlijkste type defect zijn, en het missen ervan ernstige gevolgen kan hebben.
Om te bewijzen dat dit een echt probleem was en niet slechts een toevalstreffer, testten de onderzoekers dertien verschillende soorten kunstmatige intelligentie-modellen, variërend van eenvoudige netwerken tot complexe moderne systemen. Elk van hen vertoonde hetzelfde patroon: ze presteerden goed op de standaardafbeeldingen, maar faalden bij het detecteren van scheuren in de wazige "bam5"-afbeelding. De onderzoekers gebruikten een statistisch instrument om te bevestigen dat de wazige afbeelding inderdaad anders was dan de rest van de groep, waarbij zij de afwezigheid van scherpte identificeerden als de primaire factor die de computers in verwarring bracht. Ze vonden dat het verschil zo duidelijk was dat een eenvoudig statistisch programma de wazige afbeelding bijna elke keer met bijna perfecte nauwkeurigheid van de standaardafbeeldingen kon onderscheiden.
Deze ontdekking benadrukt een kritiek gat in de manier waarop huidige industriële veiligheidssystemen worden geëvalueerd. De studie laat zien dat het testen van een kunstmatige intelligentie op een mix van afbeeldingen niet voldoende is om te garanderen dat het in de echte wereld zal werken. Als de testdata afbeeldingen bevat die er iets anders uitzien dan de afbeeldingen waarop de computer is getraind — bijvoorbeeld omdat ze met een ander apparaat of op een ander tijdstip zijn gemaakt — kan het systeem stilzwijgend falen bij de gevaarlijkste defecten. De onderzoekers stellen dat toekomstige tests zo ontworpen moeten worden dat ze controleren op deze subtiele verschillen, om ervoor te zorgen dat de kunstmatige intelligentie de rommelige realiteit van industriële inspectie aankan, en niet alleen de schone, uniforme afbeeldingen die in een perfecte dataset te vinden zijn. Door deze verborgen zwakheden te vangen voordat ze worden ingezet, kunnen ingenieurs systemen bouwen die onze infrastructuur werkelijk veilig houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.