Template-based Object Detection Using a Foundation Model

Die vorgestellte Methode kombiniert Segmentierungs-Foundation-Modelle mit einer einfachen klassifikatorischen Merkmalsanalyse, um Objekte wie Navigations-Icons ohne aufwendiges Training oder Datensatzgenerierung effizient zu erkennen und damit eine kosteneffiziente Alternative zu lernbasierten Detektionsverfahren für UI-Tests zu bieten.

Das Wesentliche

Das große Problem: Der ständige Umzug im Büro

Stellen Sie sich vor, Sie arbeiten in einer riesigen Bibliothek (dem Software-Test-Team). Ihre Aufgabe ist es, jeden Tag zu prüfen, ob auf den Bildschirmen der Autos die richtigen Symbole zu sehen sind – zum Beispiel ein Parkplatz-Schild oder eine Tankstelle.

In der Vergangenheit gab es zwei Probleme:

1. Der alte Weg (Pixel-Vergleich): Man hat ein Foto von einem Symbol gemacht und gesagt: "Suche genau dieses Bild!" Aber wenn das Symbol nur einen Millimeter größer wird oder der Hintergrund leicht anders aussieht, schreit der Computer: "Falsch!" Das ist wie ein Detektiv, der nur einen einzigen Hut kennt und jeden Mann verhaftet, der eine andere Mütze trägt.
2. Der moderne Weg (KI-Training): Man füttert einen Computer mit Tausenden von Bildern, damit er lernt, was ein Parkplatz ist. Das funktioniert super, aber: Wenn das Auto-Hersteller-Design morgen geändert wird (neue Farben, neue Form), muss man den Computer von vorne lernen lassen. Das ist wie ein Schüler, der für jede neue Matheaufgabe ein ganz neues Lehrbuch kaufen und die Schule neu besuchen muss. Das kostet Zeit und Geld.

Die neue Lösung: Der "Allwissende Sucher" mit einem Foto

Die Forscher aus Erlangen haben eine clevere Mischung aus altem und neuem Wissen entwickelt. Sie nennen es "Template-based Object Detection Using a Foundation Model". Klingt kompliziert, ist aber eigentlich ganz einfach:

Stellen Sie sich vor, Sie haben einen super-intelligenten Assistenten (das ist das SAM-Modell, ein "Foundation Model"). Dieser Assistent hat nicht für dieses spezielle Auto gelernt, sondern hat alles auf der Welt gesehen. Er kann auf einem Bild sofort sagen: "Aha, da ist ein Kreis, da ist ein Rechteck, da ist ein Text." Er zerlegt das Bild in seine Einzelteile, wie ein Puzzle.

So funktioniert der Trick in drei Schritten:

1. Das Puzzle zerlegen (Segmentierung):
   Der Assistent schaut auf den Bildschirm und sagt: "Hier ist ein Icon, hier ist ein Text, hier ist der Hintergrund." Er schneidet das Icon quasi aus dem Bild heraus, ohne dass man ihm vorher gesagt hat, wonach er suchen soll.

2. Der "Ein-Foto"-Vergleich (Template-Matching):
   Statt Tausende Bilder zu lernen, zeigen Sie dem Assistenten nur ein einziges Foto des gesuchten Symbols (z. B. das Tankstellen-Symbol).

   • Der Clou: Der Assistent vergleicht das ausgeschnittene Puzzle-Stück mit Ihrem Foto. Er nutzt dabei moderne "Gehirn-Kräfte" (KI-Modelle wie CLIP oder LPIPS), die verstehen, wie Bilder aussehen, nicht nur wie sie pixelgenau übereinstimmen.
   • Vorteil: Wenn das Design morgen geändert wird, müssen Sie dem Assistenten nur das neue Foto geben. Kein neues Lernen, kein Warten auf Training. Es ist, als würden Sie einem Freund ein Foto von Ihrem neuen Schlüssel geben und sagen: "Wenn du so einen siehst, ruf mich an."

3. Der Text-Entferner (Inpainting):
   Oft steht über dem Symbol ein Text (z. B. "München" oder "Hauptstraße"), der das Symbol verdeckt. Das verwirrt den Assistenten.
   Die Forscher haben eine Methode entwickelt, die den Text wie mit einem magischen Radiergummi wegwischt und den Hintergrund dahinter "nachmalt". Erst dann wird verglichen. So sieht der Assistent das Symbol klar, auch wenn es vorher verdeckt war.

Warum ist das so toll?

• Kein Lernen nötig: Sie müssen keine riesigen Datenbanken anlegen. Ein Bild pro Symbol reicht.
• Schnelle Anpassung: Wenn das Auto-Design geändert wird, ändern Sie nur das Referenzbild. Der Rest läuft sofort weiter.
• Fast so gut wie die Profis: Die Ergebnisse sind fast genauso gut wie bei den schwer trainierten KI-Modellen (wie YOLO), aber ohne den riesigen Aufwand.

Die Analogie zum Schluss

Stellen Sie sich vor, Sie suchen in einem großen Raum nach einem roten Ball.

• Der alte Weg: Sie haben eine Liste mit 10.000 Fotos von roten Bällen aus verschiedenen Winkeln. Wenn der Ball heute etwas bläulich ist, finden Sie ihn nicht.
• Der KI-Weg: Sie haben einen Hund, dem Sie 10.000 rote Bälle gezeigt haben. Er findet den Ball perfekt. Aber wenn Sie morgen einen grünen Ball suchen, müssen Sie den Hund erst wieder 10.000 Mal trainieren.
• Die neue Methode: Sie haben einen Augenarzt (den SAM-Assistenten), der alles sieht. Sie geben ihm ein Foto von einem roten Ball. Der Arzt sagt: "Ich sehe da einen runden Gegenstand." Dann vergleichen Sie das mit Ihrem Foto. "Ja, das ist ein roter Ball!" Wenn der Ball morgen grün wird, geben Sie dem Arzt einfach ein Foto vom grünen Ball. Er braucht keine neue Ausbildung, er versteht das Konzept "Ball" und "Farbe" sofort.

Fazit: Die Forscher haben einen Weg gefunden, wie man Computer so schlau macht, dass sie nicht mehr auswendig lernen müssen, sondern einfach verstehen, was sie sehen – und das nur mit einem einzigen Beispielbild. Das spart enorm viel Zeit und Geld, besonders in der Welt, wo sich Design und Software ständig ändern.

Technische Zusammenfassung

1. Problemstellung

Der Fokus liegt auf der automatisierten Testung von Benutzeroberflächen (UI), speziell im Kontext der Automobilindustrie (z. B. Navigationssysteme).

• Herausforderung: Herkömmliche lernbasierte Objekterkennungsmethoden (wie YOLO) erfordern umfangreiche Trainingsdatensätze und ein erneutes Training bei jeder Designänderung. Dies ist im Continuous-Integration-Prozess (CI) zu zeitaufwendig und kostspielig, da Testpipelines bei jedem Design-Update angepasst werden müssten.
• Spezifische Schwierigkeiten:
  • Skaleninvarianz: Icons ändern ihre Größe, werden aber nicht perspektivisch verzerrt.
  • Ähnlichkeit: Es gibt sehr ähnliche Icons (z. B. Parkplatz vs. Parkhaus).
  • Okklusion: Icons werden oft durch Text (Stadt- oder Straßennamen) überlagert, was die Erkennung erschwert.
• Ziel: Eine Methode zu entwickeln, die ohne Training und ohne Erstellung von Trainingsdaten auskommt, aber dennoch robust gegenüber Skalierung und teilweiser Verdeckung ist.

2. Methodik

Der vorgeschlagene Ansatz kombiniert Segmentierungs-Foundation-Modelle mit klassischem Template-Matching und modernen Feature-Deskriptoren. Der Workflow (siehe Abb. 1 im Paper) gliedert sich in folgende Schritte:

1. Segmentierung (Proposal Generation):

   • Es wird ein Foundation-Modell zur Bildsegmentierung verwendet, konkret SAM2.1 (Segment Anything 2.1) oder SAM3.
   • Da SAM normalerweise auf Prompts (Punkte/Boxen) reagiert, wird das gesamte Bild durch ein Gitter von Punkten promptet, um Segmentierungsmasken für alle Objekte zu generieren.
   • Diese Masken dienen als Vorschläge (Proposals) für potenzielle Icons.

2. Textentfernung (Optional, aber empfohlen):

   • Um Text, der Icons verdeckt, zu entfernen, wird eine spezielle Pipeline verwendet:
     • OCR (Optical Character Recognition) identifiziert Textbereiche.
     • Mittels ICA (Independent Component Analysis) und Clustering (BIRCH) wird der spezifische Farbcluster des Fonts ermittelt.
     • Basierend auf diesem Cluster werden Masken erstellt, die Textbereiche markieren.
     • Ein Inpainting-Modell (Inpaint Anything) füllt diese Bereiche, um die Icons für die Klassifikation freizulegen.

3. Vorfilterung (Farb-Histogramm):

   • Um die Anzahl der Vorschläge zu reduzieren, wird die Korrelation der Farbhistogramme zwischen den Segmenten und den Template-Bildern berechnet.
   • Vorschläge mit einer Korrelation unter einem Schwellenwert (z. B. 0,5) werden verworfen.

4. Feature-basierte Klassifikation:

   • Die verbleibenden Kandidaten werden mit den Templates verglichen.
   • Es werden zwei Metriken evaluiert:
     • CLIP: Kosinus-Ähnlichkeit der Features aus dem CLIP-Modell.
     • LPIPS: Learned Perceptual Image Patch Similarity (basierend auf AlexNet).
   • Die Features werden auf 224x224 skaliert und normalisiert.
   • Ein Kandidat wird als Treffer klassifiziert, wenn der Metrikwert unter einem bestimmten Schwellenwert liegt und die beste Übereinstimmung gefunden wird.

5. Nachbearbeitung:

   • Non-Maximum Suppression (NMS): Überschneidende Bounding-Boxen werden gefiltert, wobei nur die mit dem besten Metrikwert behalten wird.

3. Wichtige Beiträge

• Training-frei: Die Methode benötigt keine Trainingsdaten und kein erneutes Training bei Designänderungen. Es reicht ein einzelnes Template pro Objekttyp.
• Skaleninvarianz: Durch die Nutzung von Segmentierungsmodellen ist die Methode inhärent skalierbar, ohne dass Template-Matching über viele Skalierungsfaktoren iteriert werden muss.
• Robustheit gegen Okklusion: Durch die Integration von Textentfernung und Inpainting wird die Erkennungsrate bei verdeckten Icons signifikant verbessert.
• Open Source: Der Code ist öffentlich verfügbar.

4. Ergebnisse

Die Methode wurde auf zwei Datensätzen mit Navigationskarten-Renderings (insgesamt ca. 53.000 Bilder, 85 Icon-Klassen) evaluiert und mit YOLOv8 und YOLOv11 verglichen.

• Genauigkeit (Precision/Recall):
  • Die lernbasierten YOLO-Modelle erreichen fast perfekte Werte (~99,9 % Precision/Recall), benötigen jedoch Training.
  • Der vorgeschlagene Ansatz (ohne Inpainting) erreicht mit LPIPS bereits 98,4 % – 99,0 %.
  • Mit Inpainting (Textentfernung) verbessert sich die Performance auf 99,4 % – 99,75 %, was den YOLO-Ergebnissen extrem nahe kommt.
• Fehlerklassifikation: Die Rate der falschen Klassifikationen liegt bei der besten Konfiguration (SAM3 + Inpainting + LPIPS) bei nur ca. 0,22 % (Dataset B).
• Segmentierungsqualität: SAM3 zeigte die beste Leistung mit nur 0,003 % nicht erkannten Icons, gefolgt von SAM2.1 (Large) mit angepassten Schwellenwerten.
• Vergleich mit klassischen Methoden: Reines Template-Matching und Feature-Matching (SIFT) scheiterten an der hohen Anzahl an False Positives und der Schwierigkeit, bei ähnlichen Icons und Textüberlagerungen korrekt zu erkennen.

5. Bedeutung und Fazit

Das Paper demonstriert erfolgreich, dass die Kombination von Foundation-Modellen (SAM) mit vortrainierten Feature-Extraktoren (CLIP, LPIPS) eine leistungsfähige Alternative zu rein lernbasierten Objektdetektoren für spezifische Anwendungsfälle darstellt.

• Vorteil: Die Eliminierung des Trainingsaufwands macht die Methode ideal für agile Entwicklungsprozesse, bei denen Designs häufig ändern (z. B. in der Softwareentwicklung für Automotive-UIs).
• Einschränkung: Die Methode kann keine völlig neuen, unbekannten Objektklassen lernen (da sie auf Templates basiert) und der Inpainting-Schritt erhöht die Rechenzeit.
• Ausblick: Zukünftige Arbeiten könnten sich auf die Beschleunigung des Inpainting-Prozesses oder die Entwicklung robusterer Klassifikatoren konzentrieren, die auch ohne Inpainting mit teilweise verdeckten Objekten umgehen können.

Zusammenfassend bietet der Ansatz einen „besten der beiden Welten"-Kompromiss: Die Robustheit moderner Deep-Learning-Methoden bei der Erkennung, kombiniert mit der Flexibilität und Einfachheit von Template-basierten Ansätzen ohne Trainingskosten.