A Functional Data Framework For Analyzing Shapes and Textures in Images

Technische Samenvatting: Een Functioneel Dataframe voor het Analyseren van Vormen en Texturen in Afbeeldingen

Probleemstelling
Het artikel behandelt de uitdagingen van statistische beeldanalyse, specifiek de beperkingen van pixelgebaseerde representaties. Hoewel afbeeldingen steeds vaker beschikbaar zijn voor toepassingen variërend van medische diagnostiek tot landbouw, maakt het behandelen van afbeeldingen als hoogdimensionale matrices met complexe correlatiestructuren klassieke statistische methoden ongeschikt. Bovendien lijden dominante benaderingen zoals Convolutionele Neurale Netwerken (CNN's), hoewel effectief, aan hoge computationele kosten en een gebrek aan interpreteerbaarheid. De auteurs stellen dat naarmate acquisitietechnologieën gedetailleerdere afbeeldingen produceren, de computationele last van pixelgebaseerde modellen zal toenemen, wat de ontwikkeling van "sobere" (frugal) statistische methoden noodzakelijk maakt die de continue aard van objectcontouren en texturen respecteren.

Methodologie
Het voorgestelde framework verschuift van discrete pixelroosters naar een Functional Data Analysis (FDA) perspectief, waarbij afbeeldingen worden gemodelleerd als observaties van continue willekeurige functies. De methodologie verloopt via de volgende fasen:

1. Segmentatie van de Afbeelding en Contourextractie:
   Het proces begint met het identificeren van een enkel object binnen een afbeelding $I$ om een silhouet $I'$ te verkrijgen. De begrenzing van het object wordt gerepresenteerd als een gesloten vlakke curve $C: [0, 1] \to \mathbb{R}^2$. Door algoritmen zoals Otsu's drempelwaarde en de marching squares-methode te gebruiken, wordt het discrete silhouet omgezet in een functionele contour.

2. Vormanalyse (Deformatie-uitlijning):
   In navolging van het werk van Moindjié et al. (2025), wordt de contour $C$ gedecomposeerd in een vormcomponent $\tilde{C}$ (in de zin van Kendall) en deformatievariabelen: uniforme schaling ($\rho$), translatie ($c$), rotatie ($O$) en herparametrisatie ($\gamma$). De auteurs schatten deze variabelen om de curven uit te lijnen en te centreren, wat resulteert in een vormvariabele $S$ die invariant is voor deze transformaties. Dit maakt de statistische analyse van de vorm van het object mogelijk, onafhankelijk van de positie of grootte.

3. Textuurrepresentatie via Stervormige Domeinen:
   Een kerninnovatie is de behandeling van textuur (interne kleurvariatie). Het framework gaat ervan uit dat het interne domein $D$ van het object stervormig is ten opzichte van een middelpunt $c$. Onder deze hypothese definiëren de auteurs een afbeelding $\phi$ die de eenheidsschijf $\mathbb{D}$ transformeert naar het binnenste van het object $D$.

   • Deze afbeelding maakt het mogelijk om de textuurfunctie $T^*(u) = I(u)$, oorspronkelijk gedefinieerd op het onregelmatige domein $D$, te herparametriseren op de eenheidsschijf $\mathbb{D}$ (of een vierkant $[0,1]^2$ via een bijectieve transformatie $g$).
   • De resulterende textuur $T(v)$ is een willekeurig oppervlak gedefinieerd op een gemeenschappelijk domein, wat de toepassing van standaard functionele datatechnieken mogelijk maakt.

4. Gezamenlijke Statistische Modellering:
   Het framework construeert een gezamenlijke functionele variabele $Z$ die de textuur $T \circ g$ en de uitgelijnde vorm $\tilde{C}$ combineert. Voor supervised classificatie gebruiken de auteurs lineaire modellen waarbij de respons $Y$ wordt geregresseerd op $Z$.

   • Aangezien de vormruimte een niet-lineaire manifold is, wordt de vormcomponent geprojecteerd op de raakruimte bij het Fréchet-gemiddelde $\mu$.
   • Om de slecht gestelde aard van regressie met functionele covariaten aan te pakken, maken de auteurs gebruik van Multivariate Functional Principal Component Analysis (MFPCA) en Multivariate Functional Partial Least Squares (MFPLS) om de regressiecoëfficiënten te schatten.

Belangrijkste Bijdragen

• Sobere Representatie: Het artikel introduceert een ijle (sparse) representatie van afbeeldingen die vorm (contour) en textuur (interne kleur) expliciet scheidt, waardoor de hoogdimensionale matrices van pixelgebaseerde modellen worden vermeden.
• Stervormige Mapping: Het biedt een theoretische en praktische mapping voor textuuranalyse onder de aanname van een stervormig domein, wat de integratie van interne kleurvariaties mogelijk maakt zonder dat geannoteerde landmarks vereist zijn.
• Gezamenlijk Functioneel Framework: Het breidt eerdere contour-alleen analyses (Moindjié et al., 2025) uit naar een gezamenlijke analyse van contouren en texturen, waarbij beide worden behandeld als continue functionele variabelen.
• Interpreteerbaarheid: Door gebruik te maken van lineaire modellen op functionele data, biedt de aanpak een interpreteerbaar alternatief voor de "black box" van deep learning.

Resultaten
Het framework werd geëvalueerd op een real-world dataset van 2.148 pistache-afbeeldingen (twee variëteiten: Kirmizi en Siirt) van Singh et al. (2022). De studie omvatte:

• Data-augmentatie: Willekeurige rotaties en zoomen werden toegepast om de robuustheid tegen deformaties te testen.
• Vergelijking: De voorgestelde methode ("OUR") werd vergeleken met een baseline concurrent ("COMP") die afbeeldingen behandelde als willekeurige oppervlakken (scalar-on-image regressie) zonder expliciete scheiding van vorm/textuur.
• Prestaties: Met behulp van 10-voudige cross-validatie bereikte het voorgestelde framework aanzienlijk hogere nauwkeurigheid en F1-scores.
  • OUR (MFPCA): 77% Nauwkeurigheid, 74% F1.
  • OUR (MFPLS): 76% Nauwkeurigheid, 73% F1.
  • COMP (MFPCA): 63% Nauwkeurigheid, 42% F1.
  • COMP (MFPLS): 57% Nauwkeurigheid, 54% F1.
    De baseline concurrent presteerde nabij het niveau van willekeurige kans, terwijl het voorgestelde framework robuuste discriminatiecapaciteiten demonstreerde.

Betekenis en Claims
De auteurs beweren dat dit werk een nieuw paradigma vestigt voor statistische beeldanalyse door de primaire aspecten van afbeeldingen (vorm en textuur) expliciet te modelleren als continue functies in plaats van discrete pixels. De betekenis ligt in:

1. Efficiëntie: Het biedt een computationeel lichter ("frugal") alternatief voor CNN's en hoogdimensionale pixelmodellen.
2. Robuustheid: De expliciete afhandeling van deformatievariabelen (rotatie, schaling) zorgt ervoor dat het model goed presteert, zelfs wanneer objecten niet perfect zijn uitgelijnd.
3. Toepasbaarheid: De stervormige aanname wordt gepresenteerd als een zwakke voorwaarde die door veel objecten in beeldanalyse (bijv. biologische cellen, bladeren, organen) wordt vervuld, wat de methode breed toepasbaar maakt.

Het artikel merkt bescheiden op dat de afhankelijkheid van de stervormige domeinaanname een beperking is voor niet-stervormige objecten (zoals een hoefijzer) en suggereert dat toekomstig werk de mogelijkheden kan verkennen van convex-hull extensies of de incorporatie van achtergrondkleuren om complexere geometrieën aan te pakken.