Explainable machine learning workflows for radio astronomical data processing

Dit paper stelt een hybride machine learning-workflow voor die fuzzy rule-based inference combineert met diep leren om de uitlegbaarheid van geautomatiseerde kalibratiepijplijnen in de radioastronomie te verbeteren zonder in te leveren op nauwkeurigheid.

De kern

Titel: Hoe we radiotelescopen slim en eerlijk maken met een "denkende" computer

Stel je voor dat je een enorm grote, gevoelige radio-ontvanger hebt die de sterrenluistert. Dit is de LOFAR-telescoop in Nederland. Deze telescoop is zo krachtig dat hij elke seconde een berg aan data ontvangt. Het probleem? De lucht zit vol met "ruis" en storende signalen, net als wanneer je probeert een fluisterend gesprek te horen op een drukke markt met een luidruchtige motorfiets die voorbijrijdt.

In de sterrenkunde noemen we die storende signalen uitbijters (zoals heldere sterren of andere bronnen die niet je doel zijn). Om een mooi, helder beeld van je doelwit te krijgen, moet de computer deze storende signalen eruit filteren.

Het oude probleem: De "Black Box"

Vroeger deden sterrenkundigen dit handmatig of met simpele regels. Maar met de enorme hoeveelheid data van moderne telescopen is dat niet meer haalbaar. Dus gebruikten ze Machine Learning (ML): computers die leren om de ruis te verwijderen.

Maar hier zit een addertje onder het gras. De meeste ML-computers werken als een "Black Box" (een zwarte doos). Je stopt data erin, en er komt een resultaat uit. Maar waarom de computer besloot om juist die ene ster te verwijderen en die andere niet? Dat weet niemand. Het is alsof je een kok vraagt om een gerecht te maken, maar hij weigert je te vertellen welke ingrediënten hij heeft gebruikt. Sterrenkundigen vertrouwen geen systemen die ze niet begrijpen.

De nieuwe oplossing: Een slimme, eerlijke assistent

De auteurs van dit paper (van het ASTRON-instituut) hebben een nieuwe manier bedacht om deze "Black Box" transparant te maken. Ze combineren twee dingen:

1. Deep Learning: De sterke rekenkracht van een moderne computer.
2. Fuzzy Logic: Een manier van denken die werkt met "onzekerheid" en menselijke taal (zoals "een beetje hoog", "heel dichtbij") in plaats van alleen met harde ja/nee-cijfers.

Je kunt dit vergelijken met het geven van instructies aan een assistent.

• De oude manier (Black Box): "Verwijder de ruis." (De assistent doet het, maar je snapt niet hoe).
• De nieuwe manier (Fuzzy Logic): "Als een storende ster een beetje hoog aan de hemel staat en heel dichtbij ons doelwit, verwijder hem dan. Maar als hij ver weg staat, laat hem dan zitten."

De computer leert deze regels zelf aan, maar omdat ze gebaseerd zijn op logische "als-dan" regels, kunnen de sterrenkundigen precies zien waarom de computer een bepaalde keuze maakt.

Hoe werkt het in de praktijk?

De onderzoekers hebben een simulatie gedaan met de LOFAR-telescoop. Ze lieten de computer leren welke storende sterren het beste verwijderd konden worden.

• De test: Ze gaven de computer duizenden voorbeelden van sterrenhemels met verschillende ruisniveaus.
• Het resultaat: De nieuwe "Fuzzy" computer was net zo goed als de oude, dure methoden die alles uitproberen (wat heel lang duurt).
• Het grote voordeel: Omdat de computer nu "denkt" in begrijpelijke regels, konden de onderzoekers zien wat de computer belangrijk vond.

Ze ontdekten bijvoorbeeld:

• De computer leerde dat de hoogte van een ster aan de hemel en de richting (azimut) heel belangrijk zijn.
• Maar de afstand tussen de storende ster en het doelwit bleek minder belangrijk dan gedacht.
• Ze zagen zelfs dat de computer een bepaalde ingang (de afstand van een ster tot zichzelf, wat altijd nul is) als nutteloos zag en die negeerde.

Waarom is dit belangrijk?

Stel je voor dat je een zelfrijdende auto hebt. Als die auto ineens remt, wil je weten: "Remt hij omdat er een kind voor de auto loopt, of omdat hij een schaduw zag?"

Met deze nieuwe methode kunnen sterrenkundigen nu zeggen: "De computer heeft die storende ster verwijderd, en hier is de logische reden waarom, gebaseerd op de positie en de helderheid."

Kort samengevat:
De onderzoekers hebben een manier bedacht om slimme computers in de sterrenkunde niet alleen slimmer te maken, maar ook eerlijker. Ze maken van een mysterieuze "Black Box" een transparante assistent die je kunt vertrouwen, zodat we nog helderder naar het heelal kunnen kijken.

Technische samenvatting

Titel: Verklaarbare machine learning-workflows voor de verwerking van radio-astronomische data

Auteurs: S. Yatawatta et al. (ASTRON, Nederland)
Context: URSI GASS 2026, Krakow, Polen

---

1. Het Probleem

Radioastronomie staat voor een toenemende uitdaging door de enorme datastromen van moderne telescopen (zoals LOFAR). Traditionele dataverwerkingspijplijnen vereisen complexe configuratie en tuning door menselijke experts, wat niet meer haalbaar is bij de huidige datasnelheden.

• Automatisering: Machine Learning (ML) wordt gezien als een oplossing voor automatisering.
• De "Black-Box" Beperking: Bestaande ML-oplossingen zijn vaak "black-box" modellen. Astronomen kunnen de beslissingen die het model neemt niet begrijpen of verklaren. Dit ondermijnt het vertrouwen in de resultaten en maakt het moeilijk om menselijke expertise te integreren in het model.
• Specifiek Geval: Het paper focust op richtingsafhankelijke kalibratie voor het verwijderen van "outlier" bronnen (sterke interfererende bronnen in de lucht). Het kiezen van welke bronnen verwijderd moeten worden is cruciaal; te veel verwijderen maakt het probleem slecht gesteld (ill-posed), te weinig laat ruis achter.
• Huidige Aanpak: Een puur datagedreven aanpak (zoals het minimaliseren van de Akaike Information Criterion - AIC) werkt goed bij lage ruis, maar faalt bij zeer ruisachtige omstandigheden (bijv. lage frequenties) omdat de verhouding van standaardafwijkingen nauwelijks verandert.

2. Methodologie

De auteurs stellen een hybride aanpak voor die Deep Learning combineert met Fuzzy Inference (specifiek een Takagi-Sugeno-Kang of TSK-systeem) om de verklaarbaarheid te vergroten zonder in te leveren op nauwkeurigheid.

• Model-Aangedreven Benadering: In plaats van puur te vertrouwen op data-statistieken, gebruiken ze een model-aangedreven aanpak die gebruikmaakt van de astrometrische stabiliteit van de posities van outlier-bronnen ten opzichte van het doel.
• Fuzzy Inference Systeem (TSK):
  • Inputs: Een vector van scherpe (crisp) inputwaarden, waaronder elevatie, azimut, hoekafstand (separation) van de bronnen, frequentie en het aantal stations.
  • Regels: Het systeem gebruikt fuzzy regels van de vorm: ALS $x_1$ is $X_{r,1}$ EN ... DAN $y = w_1x_1 + ... + b$.
  • Membervoorwaarden: Gaussische functies worden gebruikt om de mate van toewijzing (membership) van inputs aan regels te bepalen.
  • Defuzzificatie: De output wordt berekend als een gewogen som van de regels, vergelijkbaar met een Softmax-operatie in deep learning.
• Architectuur: Een Deep Neural Network (DNN) wordt getraind met een fuzzy inputlaag (geïmplementeerd met de PyTSK toolkit). Voor vergelijking wordt ook een traditionele Multi-Layer Perceptron (MLP) getraind op dezelfde data.
• Doel: Het model leert een vector van kansen te voorspellen voor elke outlier of deze moet worden opgenomen in de kalibratiemodel-set ($I$).

3. Belangrijkste Bijdragen

1. Integratie van Fuzzy Logic en Deep Learning: Het introduceren van een TSK-fuzzysysteem als inputlaag voor ML-modellen in de radioastronomie om de "black-box" aard te doorbreken.
2. Verklaarbaarheid (Explainability): Het vermogen om in te zien waarom het model bepaalde beslissingen neemt door de geleerde Gaussische membervoorwaarden te analyseren.
3. Robuustheid bij Ruis: Een aanpak die beter presteert dan puur datagedreven methoden (AIC-minimalisatie) onder omstandigheden met hoge ruis, waar traditionele statistische methoden onbetrouwbaar worden.
4. Efficiëntie: Het ML-model is aanzienlijk sneller dan een exhaustieve zoektocht naar de optimale configuratie van outlier-bronnen.

4. Resultaten

De auteurs hebben simulaties uitgevoerd voor de LOFAR-telescope met verschillende configuraties (frequentiebereiken, stationaantallen, SNR).

• Prestatie: Zowel het traditionele MLP-model als het Fuzzy-ML-model presteerden vergelijkbaar met de datagedreven AIC-benadering in termen van nauwkeurigheid (gemeten via negatieve AIC als beloning).
• Snelheid: De ML-methoden zijn veel sneller dan de datagedreven zoektocht, die alle mogelijke configuraties moet evalueren.
• Analyse van de Geleerde Modellen (Figuur 3):
  • Door de geleerde Gaussische membervoorwaarden te inspecteren, bleek dat azimut en elevatie even belangrijk zijn voor de besluitvorming.
  • De hoekafstand (separation) bleek minder informatief (slechts één actieve regel), wat suggereert dat deze afhankelijk is van de andere parameters.
  • De input "afstand tot zichzelf" (altijd 0) leverde geen extra informatie op en kan worden verwijderd.
  • Het model kon onderscheid maken tussen bronnen die onder de horizon gaan en die niet (bijv. CasA, CygA vs. HerA), hoewel HerA minder variatie vertoonde door beperkingen in de trainingsdata.

5. Betekenis en Conclusie

Dit paper toont aan dat het mogelijk is om machine learning in radioastronomie verklaarbaar te maken zonder in te leveren op de kwaliteit van de dataverwerking.

• Praktische Toepassing: De verklaarbaarheid stelt onderzoekers in staat om redundante input te detecteren en te verwijderen, zeldzame gevallen te identificeren om de trainingsdata te verbeteren, en te begrijpen welke input-factoren het meest invloedrijk zijn.
• Toekomstperspectief: De auteurs zien potentie voor het uitbreiden van deze systemen naar meer inputparameters en het gebruik van semantische regel-mining technieken om de interpretatie verder te verdiepen.
• Kernboodschap: Door fuzzy inference te combineren met deep learning, kunnen astronomen vertrouwen op geautomatiseerde pijplijnen die niet alleen snel en accuraat zijn, maar ook transparant in hun besluitvormingsproces.