Neural network parametrized level sets for image segmentation

1. Problemstellung

Das Ziel der Bildsegmentierung und -klassifizierung besteht darin, ein Bild in Regionen mit gewünschten Eigenschaften zu unterteilen. Herkömmliche Methoden basieren oft auf dem Chan-Vese-Funktional, einem variationsbasierten Ansatz, der stückweise konstante Funktionen minimiert, um Objekte zu detektieren.

Die Herausforderung liegt in der numerischen Implementierung:

• Unparametrisierte Level-Set-Methoden: Hier werden die Level-Set-Funktionen pixelweise definiert (Vektor von Pixelwerten). Dies ist rechenintensiv und speicherhungrig.
• Parametrisierte Level-Set-Methoden: Hier werden Ansatzfunktionen (z. B. Splines oder Finite-Elemente) verwendet, um die Level-Sets darzustellen.
• Lücke: Die Autoren fragen, ob Neuronale Netze (NN) als parametrisierte Approximationen für Level-Set-Funktionen effizienter und mathematisch fundierter eingesetzt werden können. Es fehlt oft an Transparenz darüber, welche Netzwerkarchitekturen für diese spezifische geometrische Aufgabe (Segmentierung von Polygongebieten) optimal sind.

2. Methodik

Die Autoren schlagen einen neuen Ansatz vor, bei dem tiefe neuronale Netze verwendet werden, um die Level-Set-Funktionen im Chan-Vese-Modell zu parametrisieren.

A. Mathematische Grundlagen und Netzarchitekturen

• Heaviside- und Sigmoid-Netze: Es werden Netzwerke definiert, die entweder die Heaviside-Funktion $\sigma$ (Schritt-Funktion) oder eine glatte Sigmoid-Approximation $\sigma_\varepsilon$ als Aktivierungsfunktion nutzen.
• Schichttiefe:
  • Ein-Schicht-Netze (Shallow): Werden verwendet, um einzelne Level-Set-Funktionen zu approximieren. Eine lineare Kombination von Heaviside-Funktionen entspricht der Summe von Halbebenen, was die Bildung von Polygonen ermöglicht.
  • Zwei-Schicht-Netze (Deep): Werden gezeigt, um die charakteristischen Funktionen der segmentierten Regionen (die eigentlichen Polygone) effizient darzustellen.
• Geometrische Interpretation: Ein Ein-Schicht-Netz mit $n_1$ Neuronen definiert $n_1$ Geraden. Deren Schnittpunkte bilden ein Polygon. Ein Zwei-Schicht-Netz kann durch eine gewichtete Summe und eine nachfolgende Aktivierung die charakteristische Funktion dieses Polygons exakt darstellen.

B. Das parametrisierte Chan-Vese-Funktional

Statt die Level-Set-Funktionen $\ell_k$ direkt auf einem Gitter zu optimieren, werden diese durch neuronale Netze $s_k$ ersetzt:
$$\ell_k(\vec{x}) \approx s_k(\vec{x}) = \sum_{j=1}^{n_1} a_j \sigma(\vec{w}_j^T \vec{x} + b_j)$$
Das Chan-Vese-Funktional wird dann bezüglich der Gewichte und Bias-Terme des Netzes minimiert.

• Regularisierung: Die Länge der Ränder (Perimeter) wird durch den Term $\mu \int \delta(\ell_k)|\nabla \ell_k|$ bestraft.
• Glatte Approximation: Für die numerische Optimierung wird die diskrete Heaviside-Funktion durch eine Sigmoid-Funktion $\sigma_\varepsilon$ ersetzt, um Differenzierbarkeit zu gewährleisten.

C. Algorithmus

Der vorgeschlagene Workflow besteht aus zwei Schritten:

1. Vor-Training (Initialization): Ein neuronales Netz wird trainiert, um eine initiale Struktur für die Segmentierung zu erzeugen (Algorithmus 1). Dies dient als guter Startpunkt für die Optimierung.
2. Optimierung (Evolution): Die parametrisierten Level-Set-Funktionen werden durch stochastische Gradientenabstiegsverfahren (Mini-Batch SGD) weiter optimiert, um das parametrisierte Chan-Vese-Funktional zu minimieren (Algorithmus 2).

3. Wichtige Beiträge

1. Architekturempfehlung: Die Autoren beweisen, dass zwei-Schicht-Netze (mit einer speziellen Anpassung/Customization) die effizienteste Architektur sind, um polyedrische Segmente und Klassifizierungen darzustellen. Ein Ein-Schicht-Netz definiert die Grenzen (Linien), ein Zwei-Schicht-Netz definiert die Regionen (Polygone).
2. Mathematische Fundierung: Es wird gezeigt, dass das klassische Chan-Vese-Modell durch neuronale Netze approximiert werden kann.
   • Jede stückweise konstante Funktion, definiert durch Level-Sets, kann durch ein Zwei-Schicht-Heaviside-Netz dargestellt werden.
   • Durch den Einsatz von Sigmoid-Funktionen wird die Approximation glatt und für Gradienten-basierte Optimierer geeignet.
3. Konvergenzanalyse: Es werden Approximationsresultate (Theoreme 5.2 und 5.5) bewiesen, die zeigen, dass die glatten Sigmoid-Netze ($t_\varepsilon$) im $L^2$-Sinne gegen die ursprünglichen Heaviside-Netze ($t$) und diese gegen die Ziel-Funktion ($m$) konvergieren, wenn $\varepsilon \to 0$.
4. Verbindung von Variationsmethoden und Deep Learning: Das Paper stellt eine Brücke zwischen der klassischen mathematischen Bildverarbeitung (Level-Sets, $\Gamma$-Konvergenz) und modernen Deep-Learning-Architekturen her.

4. Ergebnisse und Numerische Experimente

Die Autoren validierten ihren Ansatz mit numerischen Experimenten:

• Initialisierung: Der Vergleich zwischen zufällig initialisierten Parametern und einem vor-trainierten Netz zeigt, dass die Vor-Training-Strategie zu saubereren, weniger verrauschten Rändern führt und die Konvergenz beschleunigt.
• Konvergenzverhalten:
  • Zufällig initialisierte Netze konvergieren anfangs schneller (da sie weit vom Optimum entfernt sind und grobe Anpassungen machen), aber das vor-trainierte Netz überholt es nach ca. 22 Iterationen und erreicht ein besseres Endergebnis.
  • Der Parameter $\varepsilon$ (Glättung) beeinflusst die Geschwindigkeit: Kleinere Werte ($\varepsilon=0.5$) führen zu schnellerer Konvergenz und klareren Ergebnissen in frühen Iterationen.
• Regularisierung ($\mu$): Der Parameter für die Randlänge beeinflusst die Glätte der Ergebnisse. Ein Wert von $\mu=0.1$ ergab in den Tests die klarsten Ergebnisse.
• Optimierer: Stochastische Optimierer (Mini-Batch SGD) sind schneller und weniger anfällig für schlechte Initialisierungen als deterministische Methoden (wie L-BFGS), können aber zu leichten Rauschen in den Rändern führen.

5. Bedeutung und Fazit

Das Paper liefert einen theoretisch fundierten und praktisch effizienten Weg, um die Bildsegmentierung mit neuronalen Netzen durchzuführen.

• Effizienz: Durch die Parametrisierung mit Netzen wird die Anzahl der zu optimierenden Parameter drastisch reduziert (im Vergleich zur pixelweisen Optimierung), was Speicher und Rechenzeit spart.
• Geometrische Interpretation: Die Arbeit klärt auf, warum neuronale Netze für Segmentierung funktionieren: Sie sind im Kern effiziente Darsteller von Polygonen und deren charakteristischen Funktionen.
• Anwendung: Der Ansatz ist besonders für Anwendungen geeignet, bei denen die Topologie der Objekte komplex sein kann (z. B. medizinische Bildgebung, autonomes Fahren), da Level-Set-Methoden topologische Änderungen (Zerfall, Vereinigung von Objekten) automatisch handhaben können.

Zusammenfassend demonstriert das Paper, dass zwei-Schicht-Neuronale Netze die ideale mathematische Struktur sind, um das Chan-Vese-Modell zu parametrisieren, und bietet einen robusten Algorithmus, der Vor-Training mit variationsbasierter Optimierung kombiniert.