Cross-Modal Mapping and Dual-Branch Reconstruction for 2D-3D Multimodal Industrial Anomaly Detection

1. Probleemstelling

Industriële afwijkingdetectie (Industrial Anomaly Detection - IAD) is cruciaal voor kwaliteitscontrole, maar staat voor grote uitdagingen:

• Data-schaarste: Defecte producten zijn zeldzaam, waardoor overwachte methoden (supervised learning) vaak niet werken. De meeste methoden zijn daarom onbewaakt (unsupervised) en trainen alleen op normale data.
• Beperkingen van 2D: Traditionele 2D-methoden (alleen RGB-afbeeldingen) zijn gevoelig voor verlichtingsvariaties, reflecties en ruis. Sommige defecten manifesteren zich primair als subtiele geometrische afwijkingen die in 2D onzichtbaar zijn.
• Beperkingen van 3D: 3D-data (dieptekaarten of puntwolken) is robuust tegen licht, maar kan ruis bevatten of gebieden missen (sparse data).
• Bestaande oplossingen: Huidige multimodale methoden (combinatie van 2D en 3D) maken vaak gebruik van zware "memory banks" (wat veel geheugen en tijd kost) of complexe leraar-leerling-architecturen. Deze zijn vaak niet robuust bij ruis, ontbrekende modaliteiten of zwakke texturen.

Het doel is een lichtgewicht, robuust en modaal-flexibel systeem te creëren dat zowel 2D+3D als alleen 2D of alleen 3D kan verwerken, zonder zware geheugenvereisten.

2. Methodologie: CMDR–IAD

De auteurs introduceren CMDR–IAD (Cross-Modal Mapping and Dual-Branch Reconstruction). Dit is een onbewaakt framework dat bestaat uit vier kerncomponenten:

A. Multimodale Feature Extractors

• Er worden bevroren (frozen) vooraf getrainde encoders gebruikt om features te extraheren:
  • 2D: DINO ViT-B voor RGB-afbeeldingen.
  • 3D: Point-MAE of PointTransformer voor puntwolken.
• De 3D-features worden geïnterpoleerd om een dichte, pixel-gealigneerde representatie te krijgen die overeenkomt met de 2D-resolutie.

B. Cross-Modal Mapping Netwerken

• Twee lichte MLP's (Multilayer Perceptrons) leren de relatie tussen de modaliteiten:
  • $M_{2D \to 3D}$: Projecteert 2D-features naar de 3D-ruimte.
  • $M_{3D \to 2D}$: Projecteert 3D-features naar de 2D-ruimte.
• Doel: Deze netwerken leren de consistentie tussen uiterlijk (textuur) en geometrie op normale monsters. Bij afwijkingen ontstaat er een discrepantie tussen de werkelijke feature en de voorspelde cross-modal feature.
• Maskering: Waar 3D-data ontbreekt (bijv. door occlusie), wordt de mapping op nul gezet om valse supervisie te voorkomen.

C. Dual-Branch Reconstruction

• Onafhankelijke decoders reconstrueren de normale patronen voor elke modaliteit:
  • Een 2D-decoder ($D_{2D}$) reconstrueert RGB-features.
  • Een 3D-decoder ($D_{3D}$) reconstrueert geometrische features.
• Grote reconstructiefouten wijzen op afwijkingen binnen die specifieke modaliteit.

D. Adaptieve Fuseringsstrategie (Reliability-Aware Fusion)

Dit is het kerninnovatiepunt. In plaats van een vaste fusie, gebruikt CMDR–IAD een slimme strategie om de meest betrouwbare modaliteit per pixel te selecteren:

1. Reliability-Gated Mapping Anomaly: Combineert de discrepanties van de cross-modal mapping. Een ruimtelijke "reliability gate" ($\alpha$) bepaalt hoe betrouwbaar de overeenkomst tussen 2D en 3D is. In gebieden met ruis of ontbrekende data wordt deze score onderdrukt.
2. Confidence-Weighted Reconstruction Anomaly: De reconstructiefouten van 2D en 3D worden gewogen op basis van hun eigen betrouwbaarheid (omgekeerd evenredig met de fout). Als 3D-data ruisachtig is, krijgt de 2D-reconstructie meer gewicht, en vice versa.
3. Finale Score: De uiteindelijke anomaliekaart is het product van de gemapte discrepantie en de gewogen reconstructiefout, gevolgd door een lichte ruimtelijke smoothing.

Modale Flexibiliteit: Het systeem kan werken in een volledig 2D+3D-modus, maar ook puur in 3D-modus (zonder RGB), wat essentieel is voor datasets waar alleen geometrie beschikbaar is.

3. Belangrijkste Bijdragen

• Nieuw Framework: CMDR–IAD is een lichtgewicht, onbewaakt framework dat expliciete cross-modal mapping combineert met modale reconstructie, zonder zware memory banks.
• Adaptieve Fusie: Een innovatieve fusiestrategie die gebruikmaakt van betrouwbaarheids-gating en confidence-weighting. Dit maakt het systeem zeer robuust tegen ruis, ontbrekende diepte-data en zwakke texturen.
• State-of-the-Art Prestaties: Het bereikt nieuwe records op de MVTec 3D-AD benchmark.
• Real-world Validatie: Het systeem is succesvol getest op een echte industriële dataset (polyurethaan snijden) waarbij alleen 3D-data beschikbaar was, wat de generalisatiekracht bewijst.

4. Resultaten

De methoden zijn geëvalueerd op twee datasets: MVTec 3D-AD (10 objectcategorieën) en een Polyurethaan Snij-dataset.

• MVTec 3D-AD (Multimodaal):

  • I-AUROC (Beeldniveau): 97,3% (State-of-the-Art, beter dan concurrenten zoals M3DM, CFM, en DAK-Net).
  • P-AUROC (Pixelniveau): 99,6%.
  • AUPRO@30%: 97,6% (Beste prestatie voor lokale precisie).
  • Efficiëntie: Hoewel het iets meer geheugen gebruikt dan de snelste methoden (CFM), behoudt het een concurrerende inferentiesnelheid (~2,7 FPS) en biedt het aanzienlijk betere detectie- en lokalisatiekwaliteit.

• Polyurethaan Snij-dataset (Alleen 3D):

  • Zelfs zonder RGB-informatie bereikte de 3D-only variant een I-AUROC van 92,6% en P-AUROC van 92,5%.
  • Dit bewijst dat de geometrische reconstructie op zichzelf voldoende is voor het detecteren van snijdefecten (zoals onregelmatigheden en borden).

• Ablatie Studies:

  • De studie toont aan dat zowel de cross-modal mapping als de dual-branch reconstructie noodzakelijk zijn voor de beste prestaties.
  • Simpele fusiemethoden (zoals gemiddelde of pure vermenigvuldiging) presteren slechter dan de voorgestelde "reliability-aware" strategie, vooral in ruisige omstandigheden.

5. Significantie en Conclusie

CMDR–IAD markeert een belangrijke stap in industriële visuele inspectie door:

1. Robuustheid: Het overwint de beperkingen van eerdere methoden die faalden bij ruisige 3D-data of ontbrekende texturen.
2. Efficiëntie: Het elimineert de noodzaak voor zware memory banks, wat de toepasbaarheid in real-time industriële systemen vergroot.
3. Flexibiliteit: Het kan worden ingezet in scenario's met volledige sensoruitrusting (2D+3D) of in beperkte scenario's (alleen 3D), wat het ideaal maakt voor diverse productielijnen.

De auteurs concluderen dat hun adaptieve fusiestrategie de sleutel is tot het bereiken van state-of-the-art resultaten, en dat het framework klaar is voor implementatie in praktische industriële kwaliteitscontroleprocessen. De broncode is openbaar beschikbaar gesteld.