💻 computer science

Boxes2Pixels: Learning Defect Segmentation from Noisy SAM Masks

Dit artikel introduceert Boxes2Pixels, een robuust distillatiekader dat SAM gebruikt als een leraar met ruis om defectsegmentatie te leren vanuit onnauwkeurige pseudo-masks, waardoor de prestaties aanzienlijk verbeteren ten opzichte van bestaande methoden met minder trainbare parameters.

Oorspronkelijke auteurs: Camile Lendering, Erkut Akdag, Egor Bondarev

Gepubliceerd 2026-04-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Camile Lendering, Erkut Akdag, Egor Bondarev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, oude windturbine moet inspecteren op kleine barstjes en vuil. Dit is cruciaal voor de veiligheid, maar het is ook een enorme klus.

Hier is het probleem: om een computer dit te leren, heb je duizenden foto's nodig waarop iemand met de hand elke barstje en elk vlekje precies heeft omrand (pixel-perfect). Dat kost echter jaren aan tijd en geld.

De slimme oplossing? Gebruik alleen kaders (doosjes) om de gebieden aan te geven waar iets mis is. Dat is veel sneller. Maar een computer die alleen kaders ziet, weet niet hoe het defect er precies uitziet.

Hier komt Boxes2Pixels in het spel. Het is een slimme methode om van die simpele kaders toch een perfecte, gedetailleerde kaart van de defecten te maken, zelfs als de hulpmiddelen die we gebruiken soms fouten maken.

Hier is hoe het werkt, vertaald naar alledaagse analogieën:

1. De "Onvolmaakte Expert" (SAM)

Stel je voor dat je een zeer intelligente, maar soms wat overdreven kunstcriticus hebt (dit is het SAM-model). Als je hem een kader om een defect geeft, tekent hij direct een gedetailleerde omtrek.

Het probleem: Deze criticus is soms te enthousiast. Hij tekent soms schaduwen of vlekken op de muur als "barstjes" (valse positieven). En soms is hij te laf: hij ziet dunne, haartjesdunne barstjes binnen het kader niet en laat ze weg (valse negatieven).
Als je de computer alleen laat leren van deze criticus, leert de computer ook die fouten.

2. De "Slimme Leerling" (Boxes2Pixels)

De auteurs van dit paper hebben een slimme leerling bedacht. Deze leerling kijkt niet blind naar de tekeningen van de criticus, maar heeft een eigen strategie om de waarheid te vinden.

De leerling heeft drie speciale hulpmiddelen:

De "Stabiele Bril" (DINOv2):
De leerling kijkt door een bril die is getraind op miljoenen gewone foto's. Deze bril helpt de leerling om te begrijpen wat "echt" is en wat "ruis" is. Terwijl de criticus soms door schaduwen wordt verward, ziet de leerling met deze bril dat het gewoon een schaduw is. Dit zorgt voor rust en stabiliteit in de leerling.
De "Loep" (Lokale Detail-tak):
Terwijl de bril goed is voor het grote plaatje, is de leerling ook uitgerust met een loep. Deze loep kijkt naar de fijne details: de randjes, de textuur en de dunne lijntjes. Zo ziet de leerling de haartjesdunne barstjes die de criticus (en de grote bril) misschien over het hoofd zagen.
De "Zelfcorrectie" (De slimme twijfel):
Dit is het meest creatieve deel. Stel, de criticus zegt: "Hier is niets, dit is gewoon een muur." Maar de leerling kijkt er goed naar en denkt: "Nee, ik zie hier heel duidelijk een barstje, ik ben er 99% zeker van."
In plaats van blind te geloven wat de criticus zegt, mag de leerling in dit geval zeggen: "Ik ga mijn eigen mening volgen."
Dit noemen ze asymmetrische zelfcorrectie. De leerling durft de criticus te corrigeren als hij heel zeker is, maar hij blijft voorzichtig als hij twijfelt. Zo worden de gemiste defecten alsnog gevonden.

3. Het Resultaat: Van "Doosje" naar "Kaart"

Door deze combinatie leert de computer niet alleen om de kaders te vullen, maar om de echte vorm van het defect te zien.

Beter dan de concurrentie: Op een test met windturbines bleek dat deze methode veel meer defecten vond (vooral de kleine, moeilijke ones) dan andere methoden die ook met kaders werkten.
Snel en licht: Omdat de "grote bril" (de basis van de leerling) al zo slim is, hoeft de leerling niet alles zelf te leren. Hij past alleen een paar kleine instellingen aan. Dit betekent dat het systeem 80% minder rekenkracht nodig heeft dan zware systemen. Het is dus snel genoeg om in real-time te werken, zelfs op minder krachtige computers.

Samenvattend

Stel je voor dat je een leerling wilt maken die barstjes in muren kan vinden.

Je geeft hem alleen simpele kaders om de gebieden.
Je gebruikt een slimme, maar soms foutmakende AI om die kaders om te zetten in schetsen.
Je leert je eigen AI-leerling om die schetsen te lezen, maar hem ook te laten twijfelen als de schetsen fout lijken.
De leerling gebruikt een stabiele "bril" voor het grote beeld en een "loep" voor de details.
Het resultaat is een systeem dat sneller, goedkoper en nauwkeuriger is dan systemen die duizenden handgetekende kaarten nodig hebben.

Kortom: Boxes2Pixels is de slimme leerling die leert van een imperfecte meester, maar slim genoeg is om de fouten te corrigeren en zo de waarheid te vinden.

1. Het Probleem

In industriële inspecties, zoals het controleren van windturbinebladen, is nauwkeurige segmentatie van defecten (bijv. barsten, delaminatie) cruciaal voor predictief onderhoud. Het grootste obstakel is echter het gebrek aan dure en arbeidsintensieve pixel-voor-pixel annotaties (ground truth).

Een gangbare oplossing is het gebruik van goedkope bounding box-annotaties. Om deze om te zetten naar pixel-niveau maskers, worden vaak foundation-modellen zoals SAM (Segment Anything Model) gebruikt. Echter, dit introduceert twee kritieke problemen:

Systematische ruis: SAM produceert op industriële oppervlakken vaak fouten, zoals het "hallucineren" van achtergrondstructuren (schaduwen, textuur) als defecten (false positives) en het missen van dunne of laag-contrast defecten binnen de box (false negatives).
Overfitting: Traditionele segmentatiemodellen die op deze ruwe pseudo-labels worden getraind, kopiëren vaak de fouten van het SAM-model in plaats van de werkelijke defecten te leren herkennen.

2. Methodologie: Boxes2Pixels

De auteurs stellen Boxes2Pixels voor, een data-centric distillatiekader dat SAM behandelt als een ruisachtige leraar in plaats van een bron van perfecte ground truth. Het doel is een compact "student"-model te trainen dat robuust is tegen deze ruis.

A. Architectuur (Hiërarchische Student)

Het model combineert semantische stabiliteit met lokale details:

Global Semantic Branch: Gebruikt frozen DINOv2 ViT-S/14 features. Alleen bias- en normalisatielagen worden aangepast via BitFit. Dit zorgt voor semantische stabiliteit en vermindert overfitting op ruis.
Local Detail Branch: Een lichtgewicht CNN-branch die directe RGB-input verwerkt om fijnere ruimtelijke details (zoals dunne barsten) vast te houden die door ViT-patches vaak worden gemist.
Fusie: De features van beide branches worden samengevoegd en verwerkt door twee heads:
1. Een Binary Defect Head voor algemene voorgrond/achtergrond detectie.
2. Een Fine-Grained Semantic Head voor specifieke defectklassen (bijv. schade vs. vuil).

B. Training en Verliesfuncties

Het trainingsproces is ontworpen om de beperkingen van de pseudo-labels te mitigeren:

Asymmetrische Dice Loss: Voor de binary head wordt een loss gebruikt die false positives minder zwaar weegt dan recall, wat essentieel is omdat het missen van defecten kritischer is dan lichte over-segmentatie.
Online Self-Correction (Kerninnovatie): Een unilateraal correctiemechanisme voor de semantische head. Als het student-model een defectklasse voorspelt met hoge zekerheid (boven een drempel $\tau$ $τ$ ), maar de SAM-pseudo-label zegt "achtergrond", dan wordt de supervisie voor dat pixel geïgnoreerd en de voorspelling van de student overgenomen.
- Dit stelt het model in staat om defecten te herstellen die door SAM of de boksannotatie zijn gemist (false negatives), zonder de betrouwbaarheid van de leraar volledig te negeren.

3. Belangrijkste Bijdragen

Data-centric Distillatie: Een pipeline die pixel-niveau defectsegmentatie leert vanuit bounding boxes, gebruikmakend van SAM als ruwe pseudo-label generator, maar met expliciete mechanismen om de ruis te modelleren.
Robuuste Architectuur: Een hiërarchisch ontwerp gebaseerd op frozen DINOv2 features en een lokale detail-branch, gecombineerd met een asymmetrische self-correctie loss.
Efficiëntie: Het model gebruikt 80% minder trainbare parameters dan volledig trainbare baselines (door BitFit op DINOv2), wat het ideaal maakt voor industriële implementatie met beperkte rekenkracht.

4. Resultaten

De methode is getest op een handmatig geannoteerde benchmark van windturbine-inspectie (ongeveer 13.000 afbeeldingen).

Prestatieverbetering: Boxes2Pixels presteert significant beter dan sterke baselines (U-Net, DeepLabV3, SegFormer) die onder identieke zwakke supervisie zijn getraind.
- Verbetering in Anomaly mIoU: +6,97 punten.
- Verbetering in Binary IoU: +9,71 punten.
Effect van Self-Correction: Het inschakelen van de online zelfcorrectie leidt tot een enorme stijging in Binary Recall (+18,56), wat betekent dat het model veel meer gemiste defecten (zoals dunne barsten) terugvindt die door SAM werden overgeslagen.
Efficiëntie: Het model bereikt een doorvoersnelheid van 161,4 FPS op een NVIDIA H100, met slechts 5,6M trainbare parameters (tegenover 20-27M bij baselines).

5. Betekenis en Conclusie

Het paper demonstreert dat het robust omgaan met pseudo-labels tijdens het trainen belangrijker kan zijn dan het proberen perfecte pseudo-labels te genereren. Door SAM niet als een orakel te behandelen, maar als een onbetrouwbare leraar wiens fouten (vooral het missen van defecten) actief worden gecorrigeerd door het student-model, kan men hoogwaardige segmentatie bereiken met slechts bounding box annotaties.

Dit maakt geavanceerde defectdetectie veel schaalbaarder en haalbaarder voor industriële toepassingen waar pixel-annotaties te duur zijn, maar waar betrouwbaarheid en het vinden van elk defect cruciaal zijn.