A Boundary-Metric Evaluation Protocol for Whiteboard Stroke Segmentation Under Extreme Imbalance

Dit paper introduceert een evaluatieprotocol voor witbord-stroke-segmentatie dat extreme klasse-ongelijkheid aanpakt door traditionele gebiedsmetrieken te combineren met randgevoelige maten en subgroepanalyse, waardoor wordt aangetoond dat overleap-gebaseerde verliesfuncties en hogere trainingsresolutie de prestaties aanzienlijk verbeteren ten opzichte van klassieke methoden, vooral in de ergste gevallen.

De kern

Stel je voor dat je een foto maakt van een witbord vol met handgeschreven notities. Je wilt die notities digitaal maken, zodat ze in een app als OneNote terechtkomen. Het probleem? De inkt is heel dun en beslaat maar een heel klein stukje van de hele foto. De rest is gewoon het witte bord.

Dit artikel van Nicholas Korcynski gaat over hoe we computers kunnen leren om die dunne lijntjes perfect te vinden, zonder dat ze vergeten worden. Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.

1. Het Grote Probleem: De "Witte Muur"

Stel je voor dat je een gigantische muur hebt die voor 98% wit is en voor 2% bedekt met heel dunne rode lijntjes. Als je een computer vraagt om de lijntjes te vinden, is het heel verleidelijk voor de computer om te zeggen: "Ik zie niks, ik zeg gewoon dat alles wit is." Dan heeft hij het voor 98% goed!

In de wereld van computers (machine learning) heet dit extreme onbalans. De standaard manier om een computer te trainen (zoals een leraar die alleen kijkt naar het totale cijfer) ziet die 2% rode lijntjes niet eens als belangrijk. De computer leert dus om de lijntjes te negeren.

2. De Oplossing: Een Nieuwe "Leraar" (Verliesfuncties)

De auteur test verschillende manieren om de computer te straffen als hij fouten maakt. Hij noemt dit "verliesfuncties".

• De oude methode (Cross-Entropy): Dit is als een leraar die alleen kijkt naar het totaal aantal goede antwoorden. Omdat er zoveel witte pixels zijn, is de computer al blij als hij alles wit noemt. Hij leert niet om de dunne lijntjes te zien.
• De nieuwe methode (Dice & Tversky): Dit is als een leraar die zegt: "Ik geef je geen punten voor het witte gedeelte. Ik tel alleen de rode lijntjes. Als je er één mist, krijg je een zware straf."

Het resultaat: Door deze nieuwe "leraar" te gebruiken, springt de prestatie van de computer van een 4,4 naar een 6,6 (op een schaal van 10). Dat is een enorme verbetering!

3. De "Dunne Lijntjes" Test

Sommige lijntjes zijn zo dun dat ze nauwelijks te zien zijn. De auteur verdeelde de testfoto's in twee groepen:

• Dikke lijntjes: Makkelijk te zien.
• Dunne lijntjes: Zeer moeilijk.

De oude methode faalde volledig bij de dunne lijntjes. De nieuwe methode (vooral de "Tversky"-methode) was veel eerlijker: hij deed het goed bij de dikke lijntjes, maar faalde niet zo dramatisch bij de dunne lijntjes. Het was een meer evenwichtige prestatie.

4. De "Rand" is Belangrijker dan het "Midden"

Stel je voor dat je een tekening van een huis maakt. Als je de muren (de randen) niet goed trekt, ziet het huis eruit als een modderklont, ook al heb je de binnenkant goed ingekleurd.

De auteurs zeggen: "Kijk niet alleen naar hoeveel pixels goed zijn, maar kijk naar de randen."
Ze introduceerden een nieuwe manier van meten (Boundary Metrics). Hiermee zagen ze dat de nieuwe methoden niet alleen meer lijntjes vonden, maar dat die lijntjes ook scherper en netter waren getekend.

5. De Strijd: Computer vs. De "Oude Manier"

Er was een klassieke methode (geen AI, gewoon een slimme formule genaamd Sauvola) die al jaren werd gebruikt.

• De klassieke methode: Gemiddeld gezien deed hij het beter dan de nieuwe computer (een 7,9 vs een 6,6).
• MAAR: De klassieke methode was onbetrouwbaar. Soms werkte hij perfect, maar op foto's met slecht licht of schaduwen viel hij volledig in elkaar (een 4,5).
• De nieuwe computer: deed het gemiddeld iets minder goed, maar was altijd goed genoeg. Hij viel nooit onder een 5,6.

De les: Als je een foto archief maakt en je kunt af en toe een foutje hebben, is de oude methode prima. Maar als je een app maakt die altijd moet werken (bijvoorbeeld in een klaslokaal met wisselend licht), is de nieuwe computer beter omdat hij betrouwbaarder is.

6. Het Geheim: Maak het Groter!

Een van de belangrijkste ontdekkingen was dat de resolutie (de scherpte van de foto) cruciaal is.
Stel je voor dat je een dunne draad probeert te zien op een foto die erg klein is. Je ziet hem niet. Als je de foto vergroot, zie je de draad ineens duidelijk.
De auteurs ontdekten dat als ze de computer training op een grotere, scherpere foto gaven, de prestatie weer met 13 punten omhoog schoot.

Samenvatting in één zin

Om dunne lijntjes op een wit bord te vinden, moet je de computer niet straffen voor het niet zien van het witte bord, maar juist belonen voor het vinden van de lijntjes, en hem trainen op scherpere foto's om ervoor te zorgen dat hij nooit een dunne lijn mist, zelfs niet in slecht licht.

De belangrijkste boodschap: Het gaat niet alleen om het hoogste gemiddelde cijfer, maar om een systeem dat altijd goed werkt, zelfs in de moeilijkste situaties.

Technische samenvatting

Probleemstelling

Het paper adresseert de uitdaging van het segmenteren van witbordstreken (whiteboard strokes) uit foto's, een cruciale stap voor het digitaliseren van notities in hybride leeromgevingen. De kern van het probleem ligt in extreme class imbalance (klassenonevenwichtigheid):

• Streek-pixels vormen gemiddeld slechts 1,79% van het totale beeld (bereik 0,52% - 4,94%).
• Een subset van zeer dunne streken heeft zelfs slechts 1,14% voorgrond.
• Onder deze omstandigheden presteren standaard verliesfuncties (zoals Cross-Entropy) slecht omdat ze worden gedomineerd door de achtergrond. Een model dat simpelweg elke pixel als achtergrond voorspelt, behaalt al >98% nauwkeurigheid, maar mist de relevante inhoud volledig.
• Standaard region-metrics (zoals F1-score en IoU) maskeren vaak de falen bij dunne structuren, omdat ze de kwaliteit van de randen (contouren) niet adequaat meten.

Methodologie

De auteurs hebben een rigoureus evaluatieprotocol ontwikkeld om verschillende verliesfuncties te vergelijken onder deze extreme omstandigheden.

1. Dataset en Opzet:

• Data: 34 originele witbordfoto's (gemaakt met smartphones), handmatig geannoteerd.
• Verdeling: De dataset is opgesplitst in een "Core"-subset (dikker, 2,41% voorgrond) en een "Thin"-subset (zeer dun, 1,14% voorgrond).
• Augmentatie: Offline en online augmentatie (helderheid, contrast, ruis, vervorming) om 374 trainingsstalen te genereren.
• Architectuur: DeepLabV3 met een MobileNetV3-Large backbone (lichtgewicht, ~11M parameters), gekozen om het effect van de verliesfunctie te isoleren van architecturale verschillen.

2. Verliesfuncties (Loss Functions):
Vijf verliesfuncties werden getraind en vergeleken:

• Cross-Entropy (CE)
• Focal Loss
• Dice Loss
• Dice + Focal (combinatie)
• Tversky Loss (met bias naar recall)

Elke configuratie werd drie keer getraind met verschillende random seeds ({42, 123, 7}) voor statistische betrouwbaarheid.

3. Evaluatie-Metrics:
Naast standaard region-metrics (F1, IoU) introduceert het paper een boundary-aware evaluatie:

• Boundary F1 (BF1) & Boundary IoU (B-IoU): Deze metrics beperken de berekening tot een smalle band rond de contour van de objecten. Dit is essentieel om de precisie van dunne lijnen te meten.
• Equity Analysis: Vergelijking van prestaties tussen de "Core" en "Thin" subsets om te zien of verliesfuncties rechtvaardig omgaan met dunne structuren.
• Robuustheid: Analyse per beeld (mediaan, IQR, worst-case) om de stabiliteit van het model te meten.

4. Baselines:
De resultaten werden vergeleken met klassieke, niet-lerende methoden: Adaptive Thresholding, Otsu en Sauvola binarisatie (op native resolutie).

Belangrijkste Bijdragen

1. Evaluatieprotocol: Een nieuw, reproduceerbaar protocol dat region-metrics combineert met boundary-metrics en een "core/thin equity" analyse. Dit onthult prestatiekloven die met standaard metrics onzichtbaar blijven.
2. Statistische Rigor: Toepassing van niet-parametrische significantietests (Wilcoxon signed-rank test met Bonferroni-correctie) over meerdere seeds en per-beeld statistieken.
3. Trade-off Analyse: Een diepgaande analyse van de afweging tussen gemiddelde nauwkeurigheid (accuracy) en consistentie (robustness) tussen geleerde modellen en klassieke baselines.
4. Open Source: Volledig reproduceerbare pipeline met openbare code en scripts.

Resultaten

1. Verliesfunctie Prestaties:

• Overlap-based losses winnen: Verliesfuncties gebaseerd op overlap (Dice, Dice+Focal, Tversky) overtreffen Cross-Entropy en Focal Loss met meer dan 20 punten in F1-score (0,663 vs. 0,438 voor CE). Dit verschil is statistisch significant ($p < 0.001$).
• Dunne streken: De "Core vs. Thin" kloof wordt gehalveerd bij overlap-based losses. CE en Focal tonen een prestatieverschil van ~0,10 tussen dikke en dunne streken, terwijl Tversky dit reduceert tot ~0,06.
• Boundary Metrics: Boundary-metrics (BF1, B-IoU) tonen subtiele verschillen tussen de Dice-varianten die region-metrics niet zien. Bijvoorbeeld, Dice+Focal heeft de scherpste randen (hoge BF1), terwijl Tversky de beste algemene overlap heeft.

2. Resolutie-Studie:

• Het verdubbelen van de trainingsresolutie (van 1024x768 naar 1536x1152) resulteert in een extra stijging van 12,7 punten in F1-score. Resolutie is een kritieke bottleneck voor dunne structuren.

3. Consistentie vs. Nauwkeurigheid (Learned vs. Classical):

• Klassieke Baselines: Sauvola binarisatie behaalt de hoogste gemiddelde F1-score (0,787), maar heeft een zeer slechte worst-case prestatie (0,452) en een grote spreiding (hoge IQR). Het faalt catastraal bij slecht contrast of schaduwen.
• Gelerde Modellen: Hoewel ze een iets lagere gemiddelde F1 hebben, bieden ze veel betere consistentie. De Tversky-loss heeft een worst-case F1 van 0,565 (veel hoger dan Sauvola) en een veel smallere IQR.
• Conclusie: Klassieke methoden zijn goed voor batch-verwerking van hoge kwaliteit, maar geleerde modellen zijn superieur voor real-time toepassingen waar consistentie onder variabele omstandigheden cruciaal is.

Significantie en Conclusie

Dit paper demonstreert dat bij extreme klassenonevenwichtigheid (zoals bij witbordsegmentatie) de keuze van de verliesfunctie de belangrijkste determinant voor succes is. Standaard cross-entropy is ongeschikt omdat het de achtergrond domineert.

De belangrijkste inzichten zijn:

1. Overlap-based losses (Dice, Tversky) zijn essentieel om dunne structuren te detecteren.
2. Boundary-aware metrics zijn noodzakelijk om de kwaliteit van dunne lijnen echt te evalueren; region-metrics zijn hierin ontoereikend.
3. Er bestaat een fundamentele trade-off tussen gemiddelde nauwkeurigheid en robuustheid: klassieke methoden kunnen een hogere pieknauwkeurigheid bereiken, maar geleerde modellen bieden de stabiliteit die nodig is voor betrouwbare productietoepassingen.
4. Resolutie is een kritieke factor; hogere resoluties verbeteren de prestaties aanzienlijk, vooral voor de dunste streken.

De auteurs bevelen voor productiesystemen met variabele belichting en dunne streken het gebruik van Dice of Tversky loss aan, bij voorkeur getraind op de hoogst mogelijke resolutie, om zowel nauwkeurigheid als robuustheid te maximaliseren.