CLiMB: A Domain-Informed Novelty Detection Clustering Framework for Galactic Archaeology and Scientific Discovery

Probleemstelling

In data-gedreven wetenschappelijke ontdekking, met name in de galactische archeologie, bestaat een fundamentele uitdaging: het tegelijkertijd classificeren van goed gekarakteriseerde fenomenen (bekende sterrenstelsels of substructuren) en het identificeren van nieuwe, onbekende anomalieën.

• Beperkingen van bestaande methoden: Huidige semi-supervised clustering-algoritmen gaan vaak uit van het veronderstellen dat supervisiële signalen globaal representatief zijn. Dit leidt tot rigide constraints die onverwachte patronen onderdrukken of vereisen dat het aantal clusters vooraf wordt gespecificeerd.
• De spanning: Er is een conflict tussen het benutten van bestaande domeinkennis (exploitatie) en het verkennen van onbekende structuren (exploratie). Traditionele methoden falen vaak omdat ze ofwel te star zijn (vermijden van nieuwe ontdekkingen) ofwel te willekeurig (verlies van bekende structuren door "chaining effects" in dichte gebieden).

Methodologie: Het CLiMB Framework

De auteurs introduceren CLiMB (CLustering in Multiphase Boundaries), een domein-informeerd raamwerk dat de exploitatie van voorkennis koppelt aan de exploratie van onbekende structuren via een sequentiële, twee-fasen architectuur.

Fase 1: K-Bound (Gedwongen Clustering)

In deze fase worden bekende clusters verankerd met behulp van "seed points" (voorkennis).

• Algoritme: Een herziene versie van K-means met drie specifieke constraints:
  1. Dichtheidsconstraint: Punten worden alleen toegewezen als hun lokale dichtheid (berekend via Gaussian Kernel Density Estimation) een drempelwaarde ($\tau_\rho$) overschrijdt. Dit filtert ruis en isoleert goed gedefinieerde gebieden.
  2. Afstandsconstraint: Toewijzing is alleen mogelijk als een punt binnen een maximale straal ($\tau_d$) van het dichtstbijzijnde centroid ligt. Dit voorkomt dat perifere punten die toevallig dichter bij een centroid staan dan bij een andere, onterecht worden toegewezen.
  3. Radiale constraint: Centroids mogen niet te ver afwijken van hun initiële, door kennis geleide positie ($\tau_r$). Dit zorgt ervoor dat de clusters fysiek gebonden blijven aan de bekende substructuren en niet "drijven" door achtergrondruis.
• Metrieke flexibiliteit: CLiMB ondersteunt verschillende afstandsmetingen, waaronder de Mahalanobis-afstand. Dit is cruciaal voor sterrenstromen, die vaak langwerpige, niet-sferische vormen hebben in de ruimte van bewegingsintegralen (Integrals of Motion - IoM). De Mahalanobis-metriek houdt rekening met correlaties tussen variabelen (zoals energie $E$ en hoekmoment $L_z$).

Fase 2: Exploratieve Novelty Detection

Punten die niet zijn toegewezen in Fase 1 (het residu) worden onderworpen aan een tweede fase.

• Methode: Dichtheidsgebaseerde clustering (standaard DBSCAN, maar ook HDBSCAN of OPTICS) wordt toegepast op het ongeclassificeerde residu.
• Doel: Het ontdekken van willekeurige, niet-convexe topologieën zonder deze te forceren in het model van de priors. Dit fase is volledig vrij van de constraints van Fase 1, waardoor nieuwe, onverwachte structuren kunnen worden geïdentificeerd.

Belangrijkste Bijdragen

1. Decoupling van Exploitatie en Exploratie: CLiMB lost de spanning tussen voorkennis en nieuwe ontdekking op door deze strikt te scheiden in twee sequentiële fasen. Dit voorkomt dat kennis over bekende structuren de detectie van nieuwe structuren blokkeert (en vice versa).
2. Domein-informeerd Design: Het framework is specifiek ontworpen voor astrofysische data (sterrenstromen) door het gebruik van de Mahalanobis-metriek en fysiek gebaseerde constraints (energie en hoekmoment).
3. Robuustheid tegen Ruis: Door de combinatie van dichtheidsfiltering en radiale constraints wordt voorkomen dat bekende clusters "lekkage" vertonen naar achtergrondruis of andere structuren.

Resultaten

Het framework werd getest op een dataset van 4.933 RR Lyrae-sterren uit de Gaia Data Release 3 (DR3). De prestaties werden vergeleken met baselines zoals C-DBSCAN en Heuristic SS-DBSCAN.

• Kennisherwinning (Knowledge Recovery):
  • CLiMB behaalde een Adjusted Rand Index (ARI) van 0,829 (bij 90% seed-coverage) voor het herwinnen van 8 bekende substructuren (zoals Gaia Sausage/Enceladus en Sequoia).
  • De baselines presteerden aanzienlijk slechter: C-DBSCAN (ARI: 0,152) en SS-DBSCAN (ARI: 0,040). De baselines leden aan "chain-reaction" merging, waarbij verschillende stromen ten onrechte werden samengevoegd.
• Ontdekking van Nieuwe Structuren:
  • In het ongeclassificeerde residu isoleerde CLiMB drie distincte dynamische groepen: de Galactische Schijf en de recente substructuren Shiva en Shakti.
  • De baselines faalden hierin; ze classificeerden het residu als ruis of voegden het onterecht toe aan bekende clusters.
• Sensitiviteitsanalyse:
  • CLiMB toonde een monotone verbetering naarmate de hoeveelheid voorkennis (seeds) toenam.
  • Zelfs met slechts 10% seeds behaalde CLiMB een ARI van ~0,32, wat het dubbele was van de beste baseline. De baselines vertoonden geen verbetering bij meer supervisie (stagnerende prestaties).

Betekenis en Conclusie

CLiMB vertegenwoordigt een doorbraak in semi-supervised clustering voor wetenschappelijke ontdekking. Het bewijst dat het mogelijk is om bestaande kennis strikt te respecteren zonder de mogelijkheid tot het vinden van nieuwe, onbekende fenomenen te beperken.

• Wetenschappelijke Impact: Het framework heeft geleid tot de validatie van de Shiva en Shakti substructuren, wat inzicht geeft in de assemblagegeschiedenis van de Melkweg.
• Algemene Toepasbaarheid: Hoewel getest op astronomische data, is de aanpak (decoupling van constraints en exploratie) breed toepasbaar in andere domeinen waar zowel goed gekarakteriseerde patronen als zeldzame anomalieën aanwezig zijn.
• Beperkingen: De methode vereist een zorgvuldige afstelling van hyperparameters (voor beide fasen) en heeft een hogere rekenkosten voor de initiële dichtheidsschatting ($O(n^2d)$), wat schaalbaarheid voor zeer grote datasets (miljoenen punten) uitdaagt zonder benaderingsalgoritmen.

Kortom, CLiMB biedt een robuust raamwerk voor "hypothesegeneratie" in complexe, hoogdimensionale wetenschappelijke datasets.