In der hochriskanten Welt der Fertigung ist die Gewissigkeit, dass jedes Produkt, das das Montageband verlässt, makellos ist, ein ständiger Kampf. Seit Jahrzehnten verlassen sich automatisierte Inspektionssysteme auf Kameras, um Defekte aufzuspüren, ganz ähnlich wie ein menschlicher Qualitätskontrolleur, der ein Bauteil nach Kratzern oder Verfärbungen scannt. Diese 2D-Bilder sind exzellent darin, Oberflächenstrukturen und Farben zu lesen, aber sie haben Schwierigkeiten, die Form von Dingen zu erfassen. Eine Delle, eine Beule oder eine subtile Veränderung der Höhe verschwindet oft in einer flachen Fotografie, besonders wenn sich die Beleuchtung ändert oder die Oberfläche von Natur aus uneben ist. Umgekehrt können 3D-Scanner die exakte Geometrie und Tiefe eines Objekts abbilden und somit strukturelle Deformationen offenlegen, die eine Kamera übersehen würde, doch sie sind blind für die reichhaltigen Farb- und Texturdetails, die viele andere Arten von Schäden definieren. Die Herausforderung für Ingenieure bestand lange darin, wie man diese zwei unterschiedlichen Arten, die Welt zu sehen, in ein einziges, zuverlässiges System kombiniert, das jeden Fehler erkennen kann – sei es ein Kratzer auf der Oberfläche oder eine Delle in der Struktur.

Ein Team von Forschern der Beihang University und der PLA Academy of Military Science hat eine neue Methode entwickelt, um dieses Problem zu lösen, indem sie ein System erschaffen, das diese zwei Ansichten fusioniert, ohne dass die eine die andere auslöscht. Ihr Ansatz, genannt CAFM, adressiert einen spezifischen Mangel früherer Versuche: Wenn Computer versuchen, 2D- und 3D-Daten zu verschmelzen, glätten sie oft genau jene Unregelmäßigkeiten weg, die sie eigentlich finden sollen. Wenn ein Teil einen Defekt aufweist, der im 3D-Scan sichtbar ist, aber im Foto normal aussieht, könnten ältere Systeme das „normale“ Foto verwenden, um die fehlenden Details aufzufüllen, wodurch die Beweise für den Defekt effektiv gelöscht werden. Die Forscher fanden heraus, dass das System daran gehindert werden muss, „zu hilfreich“ zu sein, um diese Anomalien zu erfassen; es muss beschränkt werden, damit es nicht einfach eine perfekte Version eines defekten Teils „erfinden“ kann. Indem sie den Computer dazu zwingen, sich auf lokale Bereiche zu konzentrieren, in denen sich die beiden Ansichten überschneiden, und indem sie streng kontrollieren, wie viel Information er „raten“ darf, schufen sie eine Erkennungsmethode, die signifikant genauer ist als aktuelle Standards.

Der Kern dieses neuen Systems liegt darin, wie es die Daten verarbeitet, bevor es eine Entscheidung trifft. Die Forscher nehmen zunächst die 2D-Bilddaten und leiten sie durch einen Kompressionsprozess, der wie ein strenger Filter wirkt. Dieser Filter ist darauf ausgelegt, die Muster perfekter, normaler Teile so gut zu erlernen, dass er ein defektes Teil nicht korrekt rekonstruieren kann, wenn er darauf stößt. Dieses Scheitern bei der Rekonstruktion des Defekts erzeugt ein klares Signal dafür, dass etwas nicht stimmt. Entscheidend ist, dass diese Kompression nur auf die Bilddaten angewendet wird, während die 3D-Geometriedaten unberührt bleiben, wodurch sichergestellt wird, dass die strukturelle Wahrheit des Objekts scharf bleibt. Das System gleicht diese beiden Informationsströme dann ab, aber anstatt das gesamte Bild auf einmal mit dem gesamten 3D-Scan zu mischen, betrachtet es sie in kleinen, lokalen Fenstern. Dies stellt sicher, dass eine Textur auf der linken Seite eines Objekts nur mit der Geometrie auf der linken Seite verglichen wird, was verhindert, dass der Computer durch irrelevante Details von anderen Teilen des Objekts verwirrt wird.

Um weiter sicherzustellen, dass das System nicht einen Datentyp gegenüber dem anderen bevorzugt, verwendeten die Forscher eine Trainingsmethik, die die kombinierte Information dazu zwingt, sowohl dem ursprünglichen Bild als auch dem ursprünglichen 3D-Scan treu zu bleiben. Wenn das System beginnt, zu stark zu den 2D-Farben oder den 3D-Formen zu neigen, zieht diese Technik es zurück und sorgt für eine ausgewogene Sichtweise. Schließlich speichert das System Beispiele dafür, was „normal“ ist, in drei separaten Bibliotheken: einer für die 2D-Bilder, einer für die 3D-Scans und einer für die kombinierten Daten. Wenn ein neues Teil inspiziert wird, prüft das System es gegen alle drei Bibliotheken. Wenn das Teil von den normalen Beispielen in einer dieser Bibliotheken abweicht, wird es als defekt markiert. Dieser mehrschichtige Ansatz ermöglicht es dem System, eine größere Vielfalt an Fehlern zu erfassen als Methoden, die auf eine einzige Ansicht oder eine einfache Kombination von Daten setzen.

Die Ergebnisse der Tests dieser Methode an zwei großen industriellen Datensätzen, MVTec 3D-AD und Eyecandies, demonstrieren ihre Effektivität. Auf dem MVTec 3D-AD-Datensatz, der eine große Vielfalt an industriellen Objekten und Defekten enthält, erreichte die neue Methode einen Score der Bilderkennung von 0,981. Dies stellt eine Verbesserung um 3,6 Prozentpunkte gegenüber der bisher führenden Methode M3DM dar, die zwar einen ähnlichen Multi-Library-Ansatz nutzte, aber die spezifischen Ausrichtungs- und Kompressionstechniken vermissen ließ. In Bezug auf die präzise Lokalisierung, wo genau ein Defekt auf der Oberfläche des Objekts liegt, erreichte die neue Methode einen Wert von 0,977, und bei der Unterscheidung zwischen normalen und defekten Pixeln erreichte sie 0,998. Diese Zahlen zeigen, dass das System nicht nur besser darin ist zu sagen: „Dieses Teil ist kaputt“, sondern auch dabei, exakt aufzuzeigen, wo der Bruch liegt. Die Forscher merkten an, dass die Methode zwar exzellent darin ist, lokale Texturvariationen und strukturelle Verzerrungen zu erkennen, aber immer noch vor Herausforderungen bei sehr subtilen geometrischen Deformationen oder Defekten steht, die über die beiden Datentypen hinweg unterschiedlich erscheinen, was darauf hindeutet, dass zukünftige Arbeiten auf eine flexiblere lokale Ausrichtung fokussieren könnten.

Die Bedeutung dieser Arbeit liegt in ihrer Fähigkeit, die Komplexität der realen Fertigung zu bewältigen, ohne dass beschriftete Beispiele für jeden möglichen Defekt erforderlich sind. Durch die Verwendung eines unüberwachten (unsupervised) Ansatzes lernt das System, wie ein perfektes Teil aussieht, und markiert alles, was von diesem Standard abweicht. Die Forscher schlossen explizit die Idee aus, dass das bloße Hinzufügen von mehr Daten oder die Verwendung eines leistungsfähigeren Computers das Problem lösen würde; stattdessen zeigten sie, dass die Art und Weise, wie die Daten fusioniert werden, der entscheidende Faktor ist. Sie demonstrierten, dass es zu Fehlern führt, bei denen Defekte verborgen werden, wenn man dem System erlaubt, Informationen frei zu kombinieren, und dass die Beschränkung der Fähigkeit des Systems, „die Lücken zu füllen“, tatsächlich die Sensibilität für Anomalien erhöht. Dieser Befund stellt die verbreitete Annahme infrage, dass mehr Repräsentationskraft immer besser ist, und zeigt stattdessen, dass kontrollierte Einschränkungen zu einer überlegenen Detektion in sicherheitskritischen Anwendungen führen können.

Im breiteren Kontext der industriellen Automatisierung bietet diese Methode einen Weg zu robusteren Qualitätskontrollsystemen, die sich an verschiedene Arten von Produkten und Defekten anpassen können, ohne dass ein umfangreiches Nachtraining erforderlich ist. Die Fähigkeit, sowohl oberflächliche Probleme wie Kratzer als auch strukturelle Probleme wie Dellen in einem einzigen Durchgang zu erkennen, reduziert die Notwendigkeit mehrerer Inspektionsstationen und senkt das Risiko, dass defekte Produkte die Verbraucher erreichen. Während das aktuelle System feste Fenstergrößen für die Ausrichtung verwendet, was die Leistung bei sehr kleinen oder unregelmäßigen Defekten einschränken kann, bietet das Framework eine solide Grundlage für zukünftige Verbesserungen. Die Forscher planen, dynamische Ausrichtungsmechanismen zu untersuchen, die sich an die spezifischen Merkmale eines Defekts anpassen können, was das System potenziell noch vielseitiger machen würde. Vorerst steht die Methode als bewährter Fortschritt auf dem Gebiet, der eine klare, messbare Verbesserung der Zuverlässigkeit der automatisierten visuellen Inspektion bietet.