Template-based Object Detection Using a Foundation Model

Deze paper introduceert een trainingsvrije methode voor objectdetectie die segmentatiefoundationmodellen combineert met classificatie op basis van kenmerken, waarmee iconen in navigatiekaarten met vergelijkbare nauwkeurigheid als YOLO kunnen worden gedetecteerd zonder dat er trainingsdata of -tijd nodig is.

De kern

Stel je voor dat je een enorm groot, digitaal raadsel moet oplossen. Je hebt een foto van een autokaart en je moet precies weten waar de "laadpalen", "parkeergarages" en "toiletten" staan.

In het verleden waren er twee manieren om dit te doen:

1. De "Vergelijk en Hoopt" methode (Template Matching): Je neemt een foto van een laadpaal en zoekt die overal in het plaatje. Maar als de laadpaal net iets groter is, of als er een straatnaam overheen staat, raakt de computer de draad kwijt. Het is alsof je probeert een sleutel te vinden in een donkere kamer door alleen te voelen of het "een beetje op een sleutel lijkt".
2. De "Leerling" methode (AI/Deep Learning): Je leert de computer duizenden voorbeelden van laadpalen. Hij wordt slim, maar hij is ook een beetje stijf. Als de ontwerper morgen de vorm van de laadpaal verandert (bijvoorbeeld van rond naar vierkant), moet je de hele computer opnieuw leren. Dat kost tijd, geld en veel data.

De auteurs van dit papier hebben een derde, slimme weg gevonden. Ze combineren de beste eigenschappen van beide werelden, maar dan zonder dat je de computer hoeft te "leren".

Hier is hoe hun methode werkt, vertaald naar alledaagse beelden:

1. De Onvermoeibare Zoeker (SAM)

Stel je voor dat je een foto hebt en je wilt alle losse objecten eruit halen. Normaal gesproken zou je dat met de hand doen. Deze auteurs gebruiken een "Foundation Model" (SAM), wat je kunt zien als een super-scherpe, onfatsoenlijke snijmachine.
In plaats van te raden waar de objecten zijn, snijdt deze machine elk stukje van de afbeelding los. Hij maakt duizenden kleine "puzzelstukjes" van de foto. Hij weet nog niet wat het is, maar hij weet wel: "Hier zit een vorm, hier zit een vorm, hier zit tekst."

2. De Kleur-Check (De Vroegtijdige Filter)

Nu hebben ze duizenden puzzelstukjes, maar de meeste zijn gewoon grijs asfalt of blauwe lucht. Ze willen alleen de iconen.
Ze gebruiken een kleur-veegtest. Ze kijken naar de kleuren in het puzzelstukje en vergelijken die met de kleuren van het voorbeeld (het "template").

• Analogie: Het is alsof je een stapel kleding hebt en je zoekt een rood shirt. Je pakt eerst alleen de kledingstukken die rood zijn. Alles wat blauw of grijs is, gooi je direct weg. Dit scheelt enorm veel tijd.

3. De "Geestelijke" Vergelijking (CLIP & LPIPS)

Nu hebben ze nog een paar honderd rode puzzelstukjes. Is het een laadpaal of een parkeergarage?
In plaats van te tellen of de lijnen exact overeenkomen (wat lastig is als de schaal verschilt), kijken ze naar de essentie van het plaatje. Ze gebruiken slimme netwerken (zoals CLIP) die begrijpen wat een afbeelding betekent.

• Analogie: Het is alsof je twee mensen ziet. Je hoeft niet te meten of hun neus exact even breed is. Je kijkt naar hun "gezichtsuitdrukking" of "stijl". Als het eruitziet als een laadpaal, dan is het een laadpaal, zelfs als hij iets groter of kleiner is getekend.

4. De "Verwijder de Tekst" Truc (Inpainting)

Dit is misschien wel het slimste deel. Soms staat er een straatnaam over het icoon heen. De computer denkt dan: "Oh, dit is geen laadpaal, dit is een woord."
De auteurs gebruiken een truc om die tekst tijdelijk weg te "inpainten" (alsof je een vlek op een schilderij wegpoetst en de achtergrond eronder weer zichtbaar maakt).

• Analogie: Stel je voor dat je een sticker op een bord hebt geplakt. Om te zien wat er onder zit, pluk je de sticker eraf en vult je de gaten in met de juiste kleur. Nu kan de computer eindelijk het bordje (het icoon) zien en goed herkennen.

Waarom is dit zo geweldig?

Het grootste voordeel is geen training nodig.

• De oude manier: Als de auto-fabrikant morgen de vorm van de laadpaal verandert, moet je duizenden foto's maken, de computer opnieuw trainen en wachten tot het klaar is.
• Deze nieuwe manier: Je pakt gewoon het nieuwe plaatje van de laadpaal, legt het naast de oude, en de computer zegt direct: "Ah, dit is de nieuwe versie!" Het werkt direct, zonder gedoe.

Kortom: Ze hebben een systeem gebouwd dat werkt als een slimme, onuitputtelijke assistent die geen schooltijd nodig heeft. Hij kan elk icoon vinden, zelfs als het kleiner is, groter is, of deels bedekt is door tekst, en hij past zich direct aan als het ontwerp verandert. Het is net zo goed als de slimste AI's die er zijn, maar dan veel sneller en flexibeler in te zetten.

Technische samenvatting

Probleemstelling

De huidige state-of-the-art methoden voor objectdetectie zijn over het algemeen leer-gebaseerd (zoals YOLO) en vereisen grote datasets en training om objecten met variërende uiterlijken te detecteren. Hoewel deze methoden robuust zijn, zijn ze minder geschikt voor specifieke toepassingen zoals automatische testing van grafische gebruikersinterfaces (GUI), met name in de automotive-industrie (bijvoorbeeld het detecteren van iconen in navigatiekaarten).

De uitdagingen in dit domein zijn:

1. Frequent ontwerpverandering: Tijdens softwareontwikkeling en continue integratie (CI) veranderen iconen en ontwerpen vaak. Traditionele leer-gebaseerde modellen moeten bij elke wijziging opnieuw worden getraind met een nieuwe dataset, wat tijdrovend en kostbaar is.
2. Beperkte variatie: In UI's zijn objecten orthografisch (geen perspectief) en hebben ze geen complexe belichting, maar ze kunnen wel van grootte veranderen en worden soms gedeeltelijk bedekt door tekst (bijv. straatnamen).
3. Moeilijkheden met klassieke methoden: Klassieke template matching is niet schaal-invariant en faalt vaak bij gedeeltelijke occlusie of wanneer iconen vergelijkbare onderdelen hebben.

Methodologie

De auteurs presenteren een hybride aanpak die de voordelen van template matching combineert met moderne foundation models, zonder dat er training of het aanmaken van datasets nodig is. De workflow bestaat uit de volgende stappen (zie Figuur 1 in het paper):

1. Segmentatie met Foundation Models:

   • In plaats van een sliding-window aanpak, wordt een Segment Anything Model (SAM) (specifiek SAM2.1 of SAM3) gebruikt om alle objecten in de invoerafbeelding te segmenteren.
   • Het model wordt geprompt met een raster van punten om segmentatie-masks voor het hele beeld te genereren. Deze masks dienen als "object proposals" (kandidaten voor iconen).

2. Filtering op Kleur (Color Histogram):

   • Om het aantal kandidaten te reduceren, wordt de correlatie van de kleurenhistogrammen van de gesegmenteerde objecten vergeleken met die van de template-afbeeldingen.
   • Proposals met een correlatie onder een bepaalde drempel (0.5) worden verworpen. Dit verwijdert snel achtergrondruis en gedeeltelijke iconen.

3. Tekstverwijdering (Optioneel maar cruciaal):

   • Tekst (zoals stadsnamen) die over iconen ligt, kan de detectie verstoren.
   • De auteurs gebruiken OCR om tekstgebieden te lokaliseren, vervolgens Independent Component Analysis (ICA) en clustering om de specifieke tekstkleur te identificeren.
   • Een inpainting-model (Inpaint Anything) vult de tekstgebieden in, waardoor de iconen weer zichtbaar worden voor de classificatie, zonder dat het model specifiek getraind is op de navigatiekaarten.

4. Classificatie via Feature Matching:

   • De overgebleven kandidaten worden vergeleken met de templates met behulp van pre-getrainde features van CLIP of LPIPS (Learned Perceptual Image Patch Similarity).
   • Er wordt geen nieuwe training gedaan; de features worden direct berekend.
   • Een drempelwaarde bepaalt of een match succesvol is.
   • Non-Maximum Suppression (NMS) wordt toegepast om dubbele detecties te verwijderen.

Kernbijdragen

• Training-vrije detectie: Een methode om objecten te detecteren en te classificeren zonder dat er een dataset hoeft te worden verzameld of een model getraind.
• Eenvoudige template-beheer: In plaats van een dataset is slechts één template per objecttype nodig, die eenvoudig kan worden vervangen of aangepast.
• Robuustheid: De methode is schaal-invariant en robuust tegen gedeeltelijke occlusie (vooral door de tekstverwijdering).
• Open Source: De volledige broncode is beschikbaar gemaakt.

Resultaten

De methode is geëvalueerd op twee datasets van automotive navigatiekaarten (Dataset A en B) met in totaal meer dan 50.000 afbeeldingen en 85 icon-classes.

• Vergelijking met YOLO: De auteurs vergeleken hun methode met YOLOv8 en YOLOv11 (die wel getraind waren op de datasets).
  • Zonder inpainting: De eigen methode (SAM2.1 + LPIPS) bereikte een precisie van ~99,0% en recall van ~98,7%.
  • Met inpainting: Na het verwijderen van tekst steeg de precisie en recall naar 99,5% - 99,75%.
  • YOLO: Bereikte ~99,9% precisie en recall, maar vereiste training.
• Conclusie: De voorgestelde methode presteert bijna even goed als de beste leer-gebaseerde methoden, maar zonder de overhead van training en dataset-aanmaak.
• Schaalbaarheid: De methode is effectief bij schaalvariaties en gedeeltelijke bedekking, waar klassieke template matching faalt.

Betekenis en Toekomstperspectief

Dit paper biedt een oplossing voor een specifiek maar kritiek probleem in de softwareindustrie: continue integratie (CI) testing van UI's.

• Efficiëntie: Het elimineert de tijd en kosten die nodig zijn voor het opnieuw trainen van modellen bij elk ontwerpverandering.
• Toepasbaarheid: Het is direct toepasbaar zolang de templates beschikbaar zijn, wat ideaal is voor het testen van renderings voordat ze in productie gaan.
• Beperkingen: De huidige implementatie is minder geschikt voor objecten met volledig onbekende representaties (die niet in de templates staan) en de inpainting-stap voegt nog steeds rekentijd toe.

De auteurs concluderen dat hun aanpak een moderne, efficiënte brug slaat tussen klassieke template matching en moderne deep learning, en een sterke kandidaat is voor automatisering in UI-testing, vooral in sectoren met frequente visuele updates.