Pre-process for segmentation task with nonlinear diffusion filters

Probleemstelling

In de computer vision is beeldsegmentatie een fundamentele taak, maar deze wordt vaak bemoeilijkt door ruis, gebrek aan homogeniteit binnen regio's, zwakke randen en kleine artefacten. De meeste segmentatie-algoritmen gaan ervan uit dat beelden bestaan uit stuksgewijs constante regio's met scherpe randen. Het huidige probleem is dat ruwe beelden deze eigenschappen niet bezitten en daarom vooraf gefilterd moeten worden om regio's te homogeniseren en randen te versterken zonder ze te vervagen.

Bestaande methoden, zoals variatie op basis van totale variatie (Total Variation - TV) of het Mumford-Shah-model, zijn vaak complex en vereisen het minimaliseren van functionalen met zowel een data-trouwterm als een gladmakende term. De auteurs zoeken naar een efficiëntere aanpak die specifiek gericht is op het extraheren van de "cartoon-component" (de stuksgewijs constante structuur) uit een waargenomen beeld, waarbij ruis en textuur worden verwijderd.

Methodologie

De auteurs stellen een nieuwe aanpak voor gebaseerd op niet-lineaire diffusie (PDE's) met een specifiek ontworpen diffusiviteitsfunctie.

1. Theoretisch Kader en Intrinsic Formulering:

• De auteurs beginnen met de Perona-Malik vergelijking: $\partial_t u = \text{div}(g(\|\nabla u\|^2) \nabla u)$.
• Ze leiden een intrinsieke formulering af die laat zien hoe de diffusiviteit $g$ de differentiaaloperator beïnvloedt.
• Om randversterking (edge enhancement) te bereiken, moet de potentiaal $\rho$ niet-convex zijn. Dit vereist dat $g$ voldoet aan de voorwaarde: $\rho''(\|\nabla u\|) < 0$. Dit leidt tot een situatie die theoretisch "ill-posed" is (terugwaartse diffusie), maar numeriek kan worden opgelost.

2. Ontwerp van de Diffusiviteitsfunctie ($g_a$):

• De auteurs stellen een nieuwe familie diffusiviteitsfuncties voor die een gedrag nabootsen van een gebonden stapfunctie.
• De functie $g_a(r)$ is gedefinieerd als:
  • $g_a(r) = 1$ als $0 \le r < \gamma$ (lineaire diffusie voor vlakke gebieden).
  • $g_a(r) = (\gamma/r)^{p/2}$ als $r \ge \gamma$ (terugwaartse diffusie gedrag voor sterke gradiënten).
• Hierbij is $\gamma$ een drempelwaarde gerelateerd aan de randsterkte en $p$ een parameter die de snelheid van de diffusie bepaalt.
• Voor kleine gradiënten ($\|\nabla u\| < \sqrt{\gamma}$) is de diffusie lineair en snel, wat ruis verwijdert. Voor grote gradiënten (randen) neemt de diffusiviteit af naar nul, waardoor randen worden bewaard en niet vervagen.

3. Numerieke Implementatie:

• Semi-discretisatie: Ruimtelijke discretisatie met de Method of Lines (MOL) resulteert in een stelsel van gewone differentiaalvergelijkingen.
• Tijdsdiscretisatie: Om de stabiliteitsbeperkingen van expliciete schema's te omzeilen, wordt een impliciet schema gebruikt.
• Oplossing van het niet-lineaire stelsel: De Newton-Raphson-methode bleek instabiel vanwege singulariteiten in de iteratiematrix (veroorzaakt door de afgeleide van $g$). De auteurs introduceren daarom de tangentiële stijfheidsmethode (tangential stiffness method).
  • Dit benadert de Jacobiaan door de term met $g'$ (die negatief is) te negeren.
  • Het resultaat is een Picard-iteratie (of directe iteratie): $U^{\nu+1} = [I - kA(U^\nu)]^{-1} U^n$.
  • Belangrijk: Hoewel de theorie terugwaartse diffusie suggereert, lost dit numerieke schema feitelijk een voorwaartse diffusie op met een positieve, afnemende diffusiviteit. Dit garandeert stabiliteit en behoudt de randen.
• Stopcriterium: In plaats van een willekeurige tijd te kiezen, wordt een stopcriterium gebaseerd op de convergentie van de lineaire diffusie naar het gemiddelde grijsniveau gebruikt. De stoptijd $T$ wordt bepaald wanneer de relatieve verandering onder een bepaalde drempel valt.

4. Uitbreiding naar 2D en 3D:

• De methode wordt uitgebreid naar hogere dimensies met behulp van de Additive Operator Splitting (AOS) methode, wat toelaat om grote tijdstappen te gebruiken zonder numerieke artefacten.

Belangrijkste Bijdragen

1. Nieuwe Diffusiviteitsfunctie: Een robuuste functie die lineaire diffusie combineert met een gedrag dat lijkt op terugwaartse diffusie, specifiek ontworpen om stuksgewijs constante beelden te genereren.
2. Stabiel Numeriek Schema: Het aantonen dat door het negeren van de $g'$-term (tangentiële methode) het probleem stabiel wordt opgelost als een voorwaartse diffusie, wat grote tijdstappen mogelijk maakt en de rekentijd verlaagt.
3. Geautomatiseerde Parameterkeuze: Een strategie om de parameter $\gamma$ te bepalen op basis van de Median Absolute Deviation (MAD) van de gradiënten, en de parameter $p$ te optimaliseren via een F-measure op een trainingsset.
4. Stopcriterium: Een objectief stopcriterium dat geen voorafgaande kennis van de beeldstructuur vereist.

Resultaten

De methode is getest op natuurlijke grijstintenbeelden en 3D abdominale CT-scans.

• Kwaliteit: De gefilterde beelden tonen homogene regio's met scherpe, niet-geblurde randen.
• Vergelijking: De prestaties zijn vergeleken met de "Cartoon Variation" decompositie en een standaard niet-lineaire diffusie met AOS. De voorgestelde methode leverde over het algemeen betere kwalitatieve resultaten op (behoud van hoge contrastdetails) en hogere F-measures (precisie en recall van randdetectie).
• Parametereffect:
  • Voor beelden met hoge contrasten (bijv. beer, olifant) werken lage waarden van $p$ (rond 2.5) goed.
  • Voor beelden met veel details of lage contrasten (bijv. struik, schaar) zijn hogere waarden van $p$ (tot 20) nodig om randvervaging te voorkomen.
• 3D Toepassing: De methode is succesvol toegepast op CT-scans, waarbij grote tijdstappen ($k=8000$) mogelijk waren, wat de rekenefficiëntie bevestigt.

Betekenis en Conclusie

Dit artikel biedt een efficiënt alternatief voor complexe variatie-basismethoden voor beeldsegmentatie. De voorgestelde pre-processing stap produceert direct stuksgewijs constante beelden ("cartoon images") met een lage rekenkosten.

De kern van de innovatie ligt in het koppelen van een theoretisch ontwerp voor randversterking aan een numeriek stabiel schema dat in de praktijk werkt als een randbehoudend proces zonder de instabiliteit van echte terugwaartse diffusie. Hoewel de methode uitblinkt bij beelden met duidelijke regio's, wordt voor beelden met lage contrasten en veel details nog verder onderzoek voorgesteld naar lokale aanpassingen van de parameter $\gamma$. De code is openbaar beschikbaar, wat de reproduceerbaarheid en toepasbaarheid in de medische beeldverwerking en computer vision ondersteunt.