A Functional Data Framework For Analyzing Shapes and Textures in Images

Technische Zusammenfassung: Ein funktionales Datenframework zur Analyse von Formen und Texturen in Bildern

Problemstellung
Die Arbeit befasst sich mit den Herausforderungen der statistischen Bildanalyse, insbesondere den Einschränkungen pixelbasierter Repräsentationen. Während Bilder für Anwendungen, die von der medizinischen Diagnose bis hin zur Agronomie reichen, zunehmend verfügbar sind, macht die Behandlung von Bildern als hochdimensionale Matrizen mit komplexen Korrelationsstrukturen klassische statistische Methoden ungeeignet. Zudem leiden dominante Ansätze wie Convolutional Neural Networks (CNNs), obwohl sie effektiv sind, unter hohen Rechenkosten und einem Mangel an Interpretierbarkeit. Die Autoren argumentieren, dass mit der Entwicklung der Akquisitionstechnologien, die detailliertere Bilder erzeugen, die Rechenlast pixelbasierter Modelle steigen wird, was die Entwicklung „sparsamer“ (frugaler) statistischer Methoden erforderlich macht, welche die kontinuierliche Natur von Objektkonturen und Texturen respektieren.

Methodik
Das vorgeschlagene Framework verschiebt die Perspektive von diskreten Pixelgittern hin zu einer Funktionalen Datenanalyse (Functional Data Analysis, FDA) und modelliert Bilder als Beobachtungen kontinuierlicher Zufallsfunktionen. Die Methodik vollzieht sich in den folgenden Phasen:

1. Bildsegmentierung und Konturextraktion:
   Der Prozess beginnt mit der Identifizierung eines einzelnen Objekts innerhalb eines Bildes $I$, um dessen Silhouette $I'$ zu erhalten. Die Begrenzung des Objekts wird als geschlossene ebene Kurve $C: [0, 1] \to \mathbb{R}^2$ dargestellt. Unter Verwendung von Algorithmen wie der Otsu-Schwellenwertmethode und dem Marching-Squares-Verfahren wird die diskrete Silhouette in eine funktionale Kontur umgewandelt.

2. Formanalyse (Deformationsausrichtung):
   In Anlehnung an die Arbeit von Moindjié et al. (2025) wird die Kontur $C$ in eine Formkomponente $\tilde{C}$ (im Sinne von Kendall) und Deformationsvariablen zerlegt: gleichmäßige Skalierung ($\rho$), Translation ($c$), Rotation ($O$) und Reparametrisierung ($\gamma$). Die Autoren schätzen diese Variablen, um die Kurven auszurichten und zu zentrieren, woraus eine Formvariable $S$ resultiert, die gegenüber diesen Transformationen invariant ist. Dies ermöglicht die statistische Analyse der Gestalt eines Objekts unabhängig von dessen Position oder Größe.

3. Texturrepräsentation via sternförmiger Domänen:
   Eine zentrale Innovation ist die Behandlung der Textur (innere Farbvariation). Das Framework setzt voraus, dass das Innere des Objekts (Domäne $D$) in Bezug auf einen Mittelpunkt $c$ sternförmig ist. Unter dieser Hypothese definieren die Autoren eine Abbildung $\phi$, die die Kreisscheibe $\mathbb{D}$ auf das Innere des Objekts $D$ transformiert.

• Diese Abbildung ermöglicht es, die Texturfunktion $T^*(u) = I(u)$, die ursprünglich auf der unregelmäßigen Domäne $D$ definiert ist, auf die Kreisscheibe $\mathbb{D}$ (oder ein Quadrat $[0,1]^2$ via einer bijektiven Transformation $g$) zu reparametrisieren.
• Die resultierende Textur $T(v)$ ist eine Zufallsoberfläche, die auf einer gemeinsamen Domäne definiert ist, was die Anwendung standardmäßiger funktionaler Datentechniken ermöglicht.

4. Gemeinsame statistische Modellierung:
   Das Framework konstruiert eine gemeinsame funktionale Variable $Z$, die die Textur $T \circ g$ und die ausgerichtete Form $\tilde{C}$ kombiniert. Für die überwachte Klassifizierung verwenden die Autoren lineare Modelle, bei denen die Antwortvariable $Y$ auf $Z$ regressiert wird.

• Da der Formraum ein nicht-linearer Mannigfaltigkeitsraum (Manifold) ist, wird die Formkomponente auf den Tangentialraum am Fréchet-Mittelwert $\mu$ projiziert.
• Um die schlecht gestellte Natur der Regression mit funktionalen Kovariaten zu handhaben, nutzen die Autoren die Multivariate Funktionale Hauptkomponentenanalyse (MFPCA) und die Multivariate Funktionale Partielle Kleinste-Quadrate-Methode (MFPLS), um die Regressionskoeffizienten zu schätzen.

Wesentliche Beiträge

• Sparsame Repräsentation: Die Arbeit führt eine spärliche Repräsentation von Bildern ein, die Form (Kontur) und Textur (innere Farbe) explizit trennt und so die Hochdimensionalität pixelbasierter Matrizen vermeidet.
• Sternförmige Abbildung: Sie bietet eine theoretische und praktische Abbildung für die Texturanalyse unter der Annahme einer sternförmigen Domäne, was die Integration von inneren Farbvariationen ermöglicht, ohne dass annotierte Landmarken erforderlich sind.
• Gemeinsames Funktionales Framework: Sie erweitert die bisherige Kontur-Analyse (Moindjié et al., 2025) um eine gemeinsame Analyse von Konturen und Texturen, indem beide als kontinuierliche funktionale Variablen behandelt werden.
• Interpretierbarkeit: Durch die Verwendung linearer Modelle auf funktionalen Daten bietet der Ansatz eine interpretierbare Alternative zu den „Black Boxes“ des Deep Learning.

Ergebnisse
Das Framework wurde anhand eines realen Datensatzes von 2.148 Pistazienbildern (zwei Sorten: Kirmizi und Siirt) von Singh et al. (2022) evaluiert. Die Studie umfasste:

• Datenaugmentation: Zufällige Rotationen und Zoomen wurden angewendet, um die Robustheit gegenüber Deformationen zu testen.
• Vergleich: Die vorgeschlagene Methode („OUR“) wurde mit einem Baseline-Wettbewerber („COMP“) verglichen, der die Bilder als Zufallsoberflächen (Scalar-on-Image-Regression) behandelte, ohne eine explizite Trennung von Form und Textur vorzunehmen.
• Leistung: Unter Verwendung einer 10-fachen Kreuzvalidierung erreichte das vorgeschlagene Framework signifikant höhere Genauigkeiten und F1-Scores.
  • OUR (MFPCA): 77 % Genauigkeit, 74 % F1.
  • OUR (MFPLS): 76 % Genauigkeit, 73 % F1.
  • COMP (MFPCA): 63 % Genauigkeit, 42 % F1.
  • COMP (MFPLS): 57 % Genauigkeit, 54 % F1.
    Der Baseline-Wettbewerber bewegte sich nahe an der Zufallsschwelle, während das vorgeschlagene Framework eine robuste Diskriminationsfähigkeit demonstrierte.

Bedeutung und Ansprüche
Die Autoren behaupten, dass diese Arbeit ein neues Paradigma für die statistische Bildanalyse etabliert, indem sie die primären Aspekte von Bildern (Form und Textur) explizit als kontinuierliche Funktionen statt als diskrete Pixel modelliert. Die Bedeutung liegt in:

1. Effizienz: Es bietet eine rechentechnisch leichtere („frugalere“) Alternative zu CNNs und hochdimensionalen Pixelmodellen.
2. Robustheit: Die explizite Handhabung von Deformationsvariablen (Rotation, Skalierung) ermöglicht es dem Modell, auch dann gut zu funktionieren, wenn Objekte nicht perfekt ausgerichtet sind.
3. Anwendbarkeit: Die Annahme der Sternform wird als schwache Bedingung präsentiert, die von vielen Objekten in der Bildanalyse (z. B. biologische Zellen, Blätter, Organe) erfüllt wird, was die Methode breit anwendbar macht.

Das Paper merkt bescheiden an, dass die Abhängigkeit von der Annahme der sternförmigen Domäne eine Einschränkung für nicht-sternförmige Objekte (wie ein Hufeisen) darstellt, und schlägt vor, dass zukünftige Arbeiten die Erweiterung auf konvexe Hüllen oder die Einbeziehung von Hintergrundfarben untersuchen könnten, um komplexere Geometrien zu handhaben.