When More References Hurt: Contamination-Aware DINOv2 Memory Banks for Few-Shot Steel Defect Detection

In den riesigen, summenden Fabriken, in denen Stahl zu dünnen, glänzenden Blechen gewalzt wird, muss die Oberfläche makellos sein. Selbst ein winziger Kratzer oder eine mikroskopisch kleine Vertiefung können eine Charge von Metall ruinieren, das für Autos oder Haushaltsgeräte bestimmt ist. Seit Jahrzehnten verlassen sich Fabriken auf automatisierte Systeme, um diese Fehler zu finden, aber einem Computer beizubringen, sie zu sehen, ist ein schwieriges Unterfangen. Normalerweise zeigen Ingenieure der Maschine tausende Bilder von perfektem Stahl und tausende weitere von Stahl mit spezifischen, markierten Rissen und Dellen. Der Computer lernt, den Unterschied zu erkennen. In der realen Welt sind perfekte Kennzeichnungen jedoch teuer und zeitaufwendig zu erstellen. Defekte sind selten, subtil und ständig im Wandel. Dies hat Forscher zu einem anderen Ansatz geführt: Anstatt der Maschine beizubringen, wie ein Defekt aussieht, bringen sie ihr bei, was „normal“ aussieht. Dem System wird eine Bibliothek perfekter Beispiele gegeben, und wenn ein neues Stück Stahl nicht zur Bibliothek passt, wird es als defekt markiert. Diese Methode funktioniert wunderbar, wenn die Bibliothek perfekt ist, steht aber vor einer gefährlichen Schwachstelle: Was ist, wenn die Bibliothek selbst mit verborgenen Fehlern kontaminiert ist?

Dies ist genau das Problem, das ein Forschungsteam der Universität Padua und der Universität Wien untersucht hat. Sie untersuchten eine moderne Technik, die ein leistungsstarkes, vortrainiertes KI-Modell nutzt, um diese Bibliothek aus „normalen“ Stahl-Patches aufzubauen. Das Modell zerlegt ein Bild in tausende winzige Quadrate oder Patches und speichert sie in einem Speicherbank. Wenn ein neues Bild eintrifft, vergleicht das System seine Patches mit der Bank. Wenn ein Patch zu sehr von allem in der Bank abweicht, wird er als Defekt markiert. Die Gefahr liegt darin, wie die Bank aufgebaut wird. In einer Fabrik ist es einfach, hunderte Bilder von Stahl zu sammeln, aber es ist schwierig zu verifizieren, dass jedes einzelne Pixel in jedem Bild wirklich perfekt ist. Wenn ein Forscher hundert unverifizierte Bilder zur Bank hinzufügt, in der Hoffnung, dem System mehr Vielfalt zu geben, könnte er versehentlich Bilder mit verborgenen Defekten einschließen. Das System würde, da es seiner neuen Bibliothek vertraut, diese Defekte als normal erlernen und aufhören, sie zu melden. Die Forscher stellten eine kritische Frage: Können wir diese unverifizierten Bilder sicher verwenden, um unsere Bibliothek zu erweitern, ohne die schlechten Patches hineinzulassen?

Um dies zu beantworten, wandte sich das Team an einen Datensatz von Stahlstreifenbildern, die vier Arten von Defekten enthalten. Sie begannen mit einem kleinen, vertrauenswürdigen Satz von Bildern, die garantiert defektfrei waren. Dieser kleine Satz bildete einen „Seed“-Speicher (einen Keimkern). Dann nahmen sie einen größeren Satz unverifizierter Bilder – von denen einige verborgene Defekte enthielten – und versuchten, sie nach nützlichen, normalen Patches zu durchforsten. Ihr erster Versuch war simpel: Sie fügten jeden Patch aus den unverifizierten Bildern zum Seed hinzu. Das Ergebnis war eine Katastrophe. Obwohl der Großteil des Stahls in diesen Bildern gut aussah, reichten die wenigen verborgenen Defekte aus, um das System zu verwirren. Als sie die Fähigkeit des Systems zur Fehlersuche maßen, sank die Leistung signifikant. Tatsächlich stellten sie fest, dass das Ersetzen nur eines winzigen Bruchteils der Speicherbank durch schlechte Patches – weniger als ein Prozent – die Genauigkeit des Systems um mehr als ein Viertel einbrechen ließ. Dies bewies, dass die Reinheit der Referenzbibliothek der wichtigste Faktor ist; eine größere Bibliothek voller versteckter Fehler ist schlechter als eine kleinere, saubere.

Die Forsluher entwickelten daraufhin eine Methode, um die unverifizierten Bilder zu filtern, bevor sie jemals die Speicherbank berühren. Sie nutzten die vertrauenswürdigen Seed-Bilder als Maßstab. Jeder Patch aus den unverifizierten Bildern wurde mit dem Seed verglichen. Wenn ein Patch sehr unterschiedlich zu den vertrauenswürdigen normalen Beispielen aussah, war er wahrscheinlich ein Defekt und wurde verworfen. Sie fanden heraus, dass sie durch das einfache Ablehnen der zwanzig Prozent der Patches, die am stärksten vom vertrauenswürdigen Seed abwichen, die überwiegende Mehrheit der verborgenen Fehler entfernen konnten. Dieser Prozess, den sie „distance-trimmed purification“ (abstandsbasiertes Reinigungsverfahren) nannten, war bemerkenswert effektiv. Er wies fast achtzig Prozent der anomalen Patches, die in den unverifizierten Bildern verborgen waren, ab, während er die überwiegende Mehrheit der guten Patches behielt. Die verbleibenden Patches wurden dann mit dem Seed zusammengeführt und in eine endgültige Speicherbank fester Größe komprimiert, um einen fairen Vergleich mit anderen Methoden zu gewährleisten.

Die Ergebnisse zeigten, dass diese sorgfältige Filterung den entscheidenden Unterschied machte. Als die Forscher ihre gefilterte Bank mit einer Bank verglichen, die durch einfaches Hinzufügen aller unverifizierten Bilder erstellt worden war, war die gefilterte Version bei der Erkennung von Defekten weit überlegen. Sie übertraf auch eine Bank, die durch zufälliges Entfernen von Patches erstellt wurde, was bewies, dass die Verbesserung aus der intelligenten Filterung resultierte und nicht bloß daraus, dass weniger Bilder vorhanden waren. Die Forscher stellten jedoch vorsichtig an, dass diese Methode ein Werkzeug für Fälle ist, in denen saubere Bilder knapp sind. Auf den zurückgehaltenen Daten, die für den abschließenden Test verwendet wurden, blieb eine Bank, die aus acht vollständig sauberen Bildern aufgebaut wurde, der stärkste Performer. Die vorgeschlagene Methode ist für das schwierige, reale Szenario konzipiert, in dem Ingenieure einen kleinen vertrauenswürdigen Kern haben, aber einen Berg an unverifizierten Daten, die sie nutzen wollen – sie bietet einen Weg, nützliches normales Erscheinungsbild aus riskanten Bilddaten zu gewinnen, wenn verifizierte Referenzen allein nicht ausreichen, um eine große Bibliothek aufzubauen.

Letztlich zeigt die Studie, dass in der Welt der automatisierten Inspektion mehr Daten nicht immer besser sind. Das Hinzufügen unverifizierter Bilder ohne eine Möglichkeit, sie zu prüfen, kann das System dazu bringen, echte Probleme zu ignorieren. Die Forscher zeigten, dass es möglich ist, die Wissenserweiterung des Systems sicher zu gestalten, indem man eine kleine, vertrauenswürdige Gruppe von Beispielen nutzt, um die größere Gruppe zu prüfen. Sie fanden heraus, dass eine einfache Regel – das Verwerfen der Patches, die den vertrauenswürdigen Normalzustand am wenigsten ähneln – die Kontamination entfernen und die nützlichen Informationen aus riskanten Daten zurückgewinnen kann. Dieser Ansatz ermöglicht es Fabriken, die Fülle an täglichen, billigen und unverifizierten Bildern zu nutzen und ein potenzielles Risiko in einen zuverlässigen Vermögenswert zu verwandeln, vorausgesetzt, sie sind bereit, das Rauschen zu filtern, bevor es in das System gelangt.