Central subspace data depth

Dit artikel introduceert een algemeen raamwerk voor 'centrale subruimte-data-diepte', een statistische methode die waarnemingen ordent op basis van hun afstand tot een subruimte in plaats van een enkel punt, waardoor het ideaal is voor het analyseren van distributies die symmetrisch zijn rond een subruimte en voor toepassingen zoals fraudedetectie.

De kern

De Diepte van het Midden: Een Nieuwe Manier om Data te Begrijpen

Stel je voor dat je een grote hoop gekleurde ballen op de grond hebt gegooid. In de statistiek proberen we vaak te begrijpen waar het "midden" van die hoop ligt. Traditioneel zeggen we: "Kijk naar het puntje waar de meeste ballen samenkomen." Dat is als het middelpunt van een cirkel.

Maar wat als die ballen niet in een ronde hoop liggen, maar in een lange, rechte lijn? Of in een platte, ovale vorm? Dan is het zoeken naar één enkel middelpunt als het proberen om een rechte lijn in een cirkel te vangen. Het werkt niet goed.

Dit is precies het probleem dat de auteurs van dit artikel, Giacomo Francisci en Claudio Agostinelli, oplossen. Ze introduceren een slimme nieuwe manier om naar data te kijken, die ze "Central Subspace Data Depth" noemen. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Punt" vs. De "Lijn"

Stel je voor dat je kijkt naar de prijzen en het gewicht van vis die naar Europa wordt ingevoerd.

• De oude manier (Punt): Je zoekt het exacte midden van alle punten. Dit is als proberen het zwaartepunt van een lange, dunne staaf te vinden. De statistiek zegt: "Het midden is hier." Maar als je naar de data kijkt, zie je dat de punten eigenlijk in een rechte lijn liggen. Het "midden" als punt is dan niet de beste beschrijving.
• De nieuwe manier (Lijn/Subruimte): De auteurs zeggen: "Wacht even, misschien is het 'midden' geen punt, maar een lijn." In plaats van te zoeken naar één centrum, zoeken ze naar de beste rechte lijn (of een vlak, of een ander vorm) waar de data het meest omheen verzamelt.

2. De Oplossing: Het "Diepste" Vlak

Hoe meten ze nu hoe "centraal" iets is?
Stel je voor dat je een grote, onzichtbare deken over je data legt.

• De oude diepte: Hoe dieper je in de hoop duikt, hoe "dieper" je zit. De punt met de meeste deken erbovenop is het diepste punt.
• De nieuwe diepte: Nu is de "deken" niet meer een punt, maar een lijn (of een vlak). Ze zoeken naar de lijn waar de meeste data "onder" zit.
  • Als je op die ideale lijn staat, ben je op het "diepste" punt.
  • Hoe verder je van die lijn afstapt, hoe "ondieper" je wordt.

Dit noemen ze centrale subruimte-diepte. Het is alsof je niet meer vraagt: "Waar zit het zwaartepunt?", maar: "Wat is de beste as waar deze data omheen draait?"

3. Waarom is dit nuttig? (De Visserij en de Oplichters)

De auteurs gebruiken dit idee om oplichting bij invoer te ontdekken.
Stel je voor dat je de prijzen van vis bekijkt. Normaal gesproken hangen de prijs en het gewicht van vis samen: zwaardere vis is duurder. Als je dit in een grafiek zet, zie je een rechte lijn.

• De "normale" vis: Deze ligt dicht bij die rechte lijn. Ze hebben een hoge "diepte" (ze zijn centraal).
• De "verdachte" vis: Soms proberen oplichters de prijs te verlagen om minder belasting te betalen. Deze punten liggen ver weg van de rechte lijn. Ze hebben een heel lage "diepte".

Met de oude methode (zoeken naar een punt) zou je misschien denken dat die vreemde punten gewoon "uitbijters" zijn die ergens in de verte liggen. Maar met de nieuwe methode (zoeken naar de lijn) zie je direct: "Ah, deze punten liggen niet op de lijn waar de eerlijke handel zit!" Ze springen eruit als een mislukte poging om de lijn te volgen.

4. De Analogie: Het Vissen in een Rivier

Laten we het nog iets anders bekijken:

• Oude methode: Je probeert het midden van een rivier te vinden door naar één specifiek waterdruppeltje te kijken.
• Nieuwe methode: Je kijkt naar de stroomrichting van de rivier. De "diepte" is nu hoe dicht je bij de hoofdstroom ligt.
  • Als je in de stroom zit, ben je veilig en centraal.
  • Als je tegen de stroom in zwemt of in een zijtakje zit, ben je een "uitbijter".

In de wereld van data betekent dit dat je niet langer hoeft te twijfelen of je een punt of een lijn moet zoeken. De methode kijkt naar de vorm van de data en past zich daarop aan. Als de data een lijn vormt, zoekt het een lijn. Als het een punt is, zoekt het een punt.

5. Samenvatting in Eenvoudige Woorden

Deze paper zegt eigenlijk:

"Soms is het centrum van een groep dingen geen punt, maar een lijn of een vlak. Onze nieuwe rekenmethode helpt ons om die lijn te vinden en te zien welke dingen er 'echt' bij horen en welke er 'raar' uitzien. Dit is superhandig om oplichting te vinden, omdat oplichters vaak proberen om de normale lijn te verlaten."

Het is een slimme upgrade van de meetlat die statistici gebruiken, zodat ze niet meer met een rechte liniaal naar een ronde wereld kijken, maar met een flexibele meetlat die zich aanpast aan de vorm van de data.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Central subspace data depth" van Francisci en Agostinelli, vertaald en samengevat in het Nederlands.

Titel: Central subspace data depth

Auteurs: Giacomo Francisci en Claudio Agostinelli (Universiteit van Trento, Italië)

---

1. Het Probleem

Traditionele statistische data-diepte (data depth) functies, zoals de halfspace diepte of simpliciale diepte, zijn ontworpen om een "centrum" te definiëren in een multivariate verdeling. Dit centrum is doorgaans een enkel punt (een subspace van dimensie 0). De diepte neemt af naarmate men zich van dit centrum verwijdert, wat een "center-outward" ordening van de data mogelijk maakt.

Echter, in veel praktische toepassingen is de onderliggende structuur van de data niet rond een enkel punt symmetrisch, maar rondom een ruimtelijke subspace van een hogere dimensie.

• Voorbeeld: In de analyse van douanegegevens (EU-import) van producten, vertonen de waarden (gewicht en prijs) vaak een lineaire structuur. In plaats van te zoeken naar een enkel "centrum" (een punt), is het natuurlijker om te zoeken naar een centrale lijn (een subspace van dimensie 1) waarlangs de data het meest geconcentreerd ligt.
• Beperking: Bestaande methoden zoals PCA (Principal Component Analysis) zijn afhankelijk van het bestaan van een covariantiematrix en zijn dus gevoelig voor uitbijters en niet-elliptische verdelingen. Er was behoefte aan een niet-parametrische methode die symmetrie ten opzichte van een subspace kan modelleren zonder deze restricties.

2. Methodologie

De auteurs introduceren een nieuw raamwerk voor Central Subspace Data Depth (CSDD). De kern van de methode bestaat uit de volgende stappen:

• Definitie van Symmetrie ten opzichte van een Subspace:
  De auteurs generaliseren het concept van symmetrie. Een willekeurige variabele $X$ in $\mathbb{R}^m$ wordt symmetrisch geacht ten opzichte van een subspace $S_p$ (dimensie $p$) als de projectie van $X$ op de orthogonale complementaire subspace $S_q$ (dimensie $q = m-p$) een symmetrische verdeling heeft in $\mathbb{R}^q$.

• Dispervormingsmaat (Dispersion Measure):
  Om de optimale subspace te vinden, definiëren de auteurs een dispersiemaat $\sigma(F)$ gebaseerd op de integraal van de data-diepte over de ruimte:
  $$\sigma(F) = \int_{\mathbb{R}^m} d(x, F) \, dx$$
  Deze maat geeft aan hoe "verspreid" de data is. Een lagere waarde impliceert dat de data dichter bij de subspace ligt.

• Deep Immersion en Centrale Subspace:

  • Deep Immersion: De auteurs zoeken de subspace $S_q$ die de dispersiemaat $\sigma(F_{B_q})$ minimaliseert. De orthogonale subspace $S_p$ die hierbij hoort, wordt de centrale subspace genoemd.
  • Optimalisatie: De richting van de centrale subspace wordt gevonden door het minimaliseren van de dispersie van de geprojecteerde data. Dit is een niet-parametrisch equivalent van het zoeken naar de richting van minimale variantie.

• Central Subspace Data Depth (CSDD):
  Voor een gegeven subspace $S_q$ met basis $B_q$, wordt de diepte van een subspace $S_{B_q}(y)$ gedefinieerd als de diepte van het punt $y$ in de geprojecteerde verdeling $F_{B_q}$:
  $$d_S(S_{B_q}(y), F) = d(y, F_{B_q})$$
  Hierbij is $d(\cdot, \cdot)$ een bestaande data-diepte functie (bijv. halfspace of simpliciale diepte). De maximale diepte wordt bereikt op de centrale subspace.

• Selectie van de Dimensie:
  De paper biedt een procedure om de optimale dimensie $p$ van de centrale subspace te bepalen. Dit gebeurt via een recursieve uniformiteitstest (Rayleigh-test) op de geprojecteerde data. Als de geprojecteerde data sferisch symmetrisch is (geen voorkeursrichting), stopt het proces.

3. Belangrijkste Bijdragen

1. Generalisatie van Data Diepte: De eerste systematische uitbreiding van data-diepte van een punt-centrum naar een subspace-centrum.
2. Niet-Parametrische Eigenschappen: In tegenstelling tot PCA, die afhankelijk is van momenten (covariantie), werkt deze methode volledig niet-parametrisch en is robuust voor verdelingen met zware staarten of complexe vormen.
3. Theoretische Eigenschappen:
   • Bewezen eigenschappen van invariantie (locatie, schaal, rotatie, reflectie).
   • Asymptotische convergentie van de steekproefversie naar de populatieversie.
   • Voor elliptisch symmetrische verdelingen is de methode equivalent aan PCA (de centrale subspace komt overeen met de hoofdcomponenten).
   • Voor niet-elliptische verdelingen (zoals mengsels van normaalverdelingen) kan de methode echter andere, meer informatieve richtingen vinden dan PCA (bijv. het minimaliseren van dispersie geeft de diagonalen van een vierkant, terwijl maximaliseren de zijden geeft).
4. Toepassing op Fraudedetectie: Een concrete toepassing op douanegegevens (customs fraud detection) waarbij misdeclaraties (bijv. onderwaardering van goederen) worden geïdentificeerd als uitbijters ten opzichte van de centrale lijn.

4. Resultaten

• Simulaties: De methode werd getest op gesimuleerde data met verschillende verdelingen (multivariate normaal, uniforme verdelingen, mengsels). De resultaten tonen aan dat de methode correct de optimale subspace kan identificeren, zelfs wanneer de data niet sferisch symmetrisch is.
• Iris Dataset: Bij toepassing op de Iris-dataset leverde de methode (via maximalisatie van dispersie voor dimensiereductie) een betere clusterindeling op dan de eerste hoofdcomponent van PCA, met name voor het scheiden van de soorten Iris setosa en de andere twee.
• Real-world Data (EU Import & Visserij):
  • POD Data (Product-Origin-Destination): De analyse van importgegevens (gewicht vs. waarde) toont een sterke lineaire structuur. De CSDD (met $p=1$) identificeert een centrale lijn die de "eerlijke" handelsprijs vertegenwoordigt. Punten ver van deze lijn (hoge diepte-waarden in de orthogonale richting) worden als verdacht gemarkeerd.
  • Visserijdata: De methode identificeerde bekende anomalieën en vond nieuwe uitbijters die door eerdere analyses (zoals die van Riani et al.) niet waren opgemerkt. De visualisatie toont duidelijk uitbijters in de staarten van de verdeling die relevant zijn voor fraudeonderzoek.

5. Betekenis en Conclusie

De paper biedt een krachtig nieuw instrument voor de analyse van multivariate data met lineaire of subspacestructuren.

• Robuustheid: Het is een robuust alternatief voor PCA, vooral nuttig wanneer de data geen eindige variantie heeft of sterk afwijkt van een normale verdeling.
• Interpretatie: Het biedt een intuïtieve manier om "uitbijters" te definiëren niet als punten ver van een punt, maar als punten ver van een centrale structuur (lijn, vlak, etc.).
• Praktische Impact: De toepassing op douanefraude demonstreert het potentieel voor het detecteren van misdeclaraties in grote datasets, waar traditionele methoden tekortschieten door de complexe, lineaire aard van de data.

Kortom, de auteurs hebben een theoretisch onderbouwde en praktisch toepasbare methode ontwikkeld die de concepten van data-diepte en dimensiereductie verenigt om complexe, gestructureerde data beter te analyseren.