Technische Samenvatting: SteelDefectX

Probleemstelling

Analyse van oppervlaktedefecten in staal is een kritiek onderdeel van industriële kwaliteitscontrole. Hoewel diepe visuele modellen succes hebben geboekt in industriële inspectie, blijven bestaande benchmarks voor staaldefecten (bijv. NEU, GC10, X-SDD, S3D) beperkt tot grofkorrelige annotaties, die doorgaans alleen klasselabels of numerieke bounding boxes bieden. Deze datasets ontberen de rijke semantische beschrijvingen die nodig zijn om de visuele kenmerken, ruimtelijke verdeling en potentiële oorzaken van defecten vast te leggen. Bijgevolg zijn huidige benchmarks niet geschikt voor het evalueren van opkomende vision-language modellen (VLM's), die afhankelijk zijn van expressieve en gestructureerde tekstuele supervisie om fijnkorrelig begrip en generalisatie te bereiken. Bovendien vertrouwen bestaande pogingen om vision-language paradigma's toe te passen op industriële defecten vaak op eenvoudige, op sjablonen gebaseerde beschrijvingen die uitsluitend zijn afgeleid van klasselabels, waardoor ze de hoge variabiliteit en intrinsieke complexiteit van echte staaldefecten niet vastleggen.

Methodologie

Om deze hiaten aan te pakken, introduceren de auteurs SteelDefectX, een multi-vorm vision-language dataset en benchmark. De methodologie omvat datasetconstructie, een meerlagig annotatiekader en een uitgebreide evaluatiebenchmark.

1. Datasetconstructie

SteelDefectX verenigt vier veelgebruikte publieke datasets (NEU, GC10, X-SDD en S3D) samen met geselecteerde steekproeven uit FSC-20 en ESDIs-SOD. Het integratieproces omvatte:

• Standaardisatie: Het herschalen van alle afbeeldingen naar 256 × 256 en het filteren van samples van lage kwaliteit.
• Unificatie van Taxonomie: Het kruisverifiëren en samenvoegen van visueel en semantisch vergelijkbare subclasses tot een consistente taxonomie van 25 defectcategorieën.
• Omvang: De definitieve dataset omvat 7.778 afbeeldingen met segmentatiemasks op pixelniveau.

2. Multi-vorm Annotatiekader

De kerninnovatie is de levering van meerlagige tekstuele annotaties die laag-niveau visuele waarnemingen verbinden met hoog-niveau semantisch redeneren. Deze annotaties zijn gecategoriseerd in klassen- en sample-niveau vormen:

• Klas-niveau (T1): Elke van de 25 categorieën wordt beschreven met een naam, representatieve visuele attributen (vorm, textuur, kleur) en potentiële industriële oorzaken (bijv. walsdefecten, materiaalinclusies).
• Sample-niveau: Elke afbeelding is geannoteerd met drie complementaire tekstvormen:
  • T2 (Natuurlijke Taalbeschrijvingen): Vrij-vormige, beschrijvende zinnen gegenereerd via een meerstapsproces met Large Language Models (LLM's), filtering op semantische gelijkenis, evaluatie van dimensie-afdekking en handmatige verfijning. Deze beschrijvingen bestrijken zes dimensies: uiterlijk, vorm, grootte, diepte, positie en contrast.
  • T3 (Gestructureerde Attributen): Een negenveldstuple die fijnkorrelige kenmerken codeert (Defecttype, Vorm, Richting, Ruimtelijke Verdeling, Aantal Defecten, Positie, Schaal, Polariteit, Saliëntie). Attributen worden afgeleid via een hybride proces: regelgebaseerde berekening uit segmentatiemasks (bijv. positie, schaal, polariteit) en beperkte semantische inferentie met LLM's voor attributen zoals vorm en richting.
  • T4 (Op Sjablonen Gebaseerde Zinnen): Gestructureerde attributen (T3) worden omgezet in gestandaardiseerde zinnen om een controleerbaar, intermediair tekstformaat te bieden.

3. Benchmark en Evaluatie

De auteurs hebben een uniforme benchmark opgezet die meerdere vision-language taken bestrijkt:

• Vision-Language Classificatie: Het evalueren van modellen (CLIP, OpenCLIP, Long-CLIP, enz.) op het matchen van afbeeldingen met tekstprompts.
• Vision-Language Segmentatie: Het beoordelen van lokalisatie op pixelniveau met behulp van tekstembeddings.
• Cross-Dataset Transfer: Het testen van generalisatie op onbekende datasets (Aluminiumoppervlaktedefecten, Naadloze stalen buisdefecten).
• Aanvullende Analyses: Gestructureerde attributen-ablatie, vision-language retrieval, tekstgeleide lokalisatie en afbeelding-tekst gelijkenisanalyse.

Belangrijkste Resultaten

Experimentele resultaten tonen een duidelijk trade-off tussen de structuur en flexibiliteit van tekstuele representaties:

• Classificatie: Gestructureerde attributen (T3) leverden consistent de meest stabiele en effectieve supervisie op, met de hoogste nauwkeurigheid (bijv. 94,45% Acc met Long-CLIP ViT-L/14 onder T3-T0). Dit suggereert dat expliciete, minder dubbelzinnige semantische signalen classificatietaken ten goede komen.
• Cross-Dataset Transfer: Vrij-vormige natuurlijke taalbeschrijvingen (T2) toonden superieure transferbaarheid naar onbekende datasets in vergelijking met gestructureerde of op sjablonen gebaseerde tekst. Dit geeft aan dat semantische rijkdom en taalkundige flexibiliteit cruciaal zijn voor generalisatie.
• Segmentatie en Grounding:
  • Bij klassen-niveau aggregatie voor segmentatie presteerden rijkere beschrijvingen (T2-T4) niet consequent beter dan eenvoudige klassennamen (T0), wat suggereert dat fijnkorrelige informatie kan worden verdund bij aggregatie.
  • Echter, bij tekstgeleide lokalisatie (1-op-1 matching) behaalde T2 de beste AUROC en F1-max, terwijl T3 de hoogste IoU opleverde. Dit benadrukt dat vrij-vormige beschrijvingen fijnkorrelige ruimtelijke grounding verbeteren, terwijl gestructureerde attributen sterke globale semantische uitlijning bieden.
• Retrieval: Gestructureerde representaties (T3, T4) presteerden beter dan vrij-vormige beschrijvingen (T2) in afbeelding-tekst retrieval taken, wat aangeeft dat gestructureerde signalen stabielere cross-modale uitlijning faciliteren.

Betekenis en Claims

De paper claimt dat SteelDefectX een nieuwe benchmark biedt voor het bestuderen van semantische uitlijning en generalisatie in industriële vision-language learning. De belangrijkste bijdragen zijn:

1. Eerste Multi-vorm Dataset: Het is de eerste dataset voor oppervlaktedefecten in staal die multi-vorm tekstuele annotaties (klassen-niveau, vrij-vorm, gestructureerd en op sjablonen gebaseerd) biedt naast segmentatiemasks op pixelniveau.
2. Systematische Analyse van Tekstontwerp: Door diverse annotatievormen te bieden, stelt de dataset een systematisch onderzoek mogelijk in hoe tekstuele structuur modelgedrag beïnvloedt. De bevindingen suggereren dat verschillende taken verschillende tekststrategieën vereisen: gestructureerde attributen voor stabiele classificatie en retrieval, en vrij-vormige beschrijvingen voor transferbaarheid en fijnkorrelige grounding.
3. Industriële Relevantie: De dataset beoogt de ontwikkeling van meer interpreteerbare en generaliseerbare inspectiesystemen te faciliteren, wat potentieel kan bijdragen aan zero-shot en few-shot herkenning, tekstgeleide generatie en industriële multimodale redenering.

De auteurs concluderen dat gestructureerde annotaties weliswaar stabiele uitlijning faciliteren, maar dat vrij-vormige natuurlijke taalbeschrijvingen cruciaal zijn voor transferbaarheid en ruimtelijke grounding, wat de kritieke rol van tekstontwerp in industriële vision-language learning benadrukt.