On the definition and importance of interpretability in scientific machine learning

Dit artikel pleit voor een operationele definitie van interpreteerbaarheid in wetenschappelijk machine learning die focust op het begrijpen van mechanismen in plaats van wiskundige sparsiteit, en benadrukt dat een filosofisch onderbouwde definitie essentieel is om onderzoek te richten op de belangrijkste obstakels voor een datagedreven wetenschappelijke toekomst.

De kern

De "Zwarte Doos" en de Wetenschapper: Waarom "Kort" niet altijd "Begrijpelijk" betekent

Stel je voor dat je een superkrachtige robot hebt die een mysterie oplost. Je geeft de robot duizenden foto's van wolken, en na een tijdje kan hij perfect voorspellen of het morgen gaat regenen. Hij is onfeilbaar. Maar als je vraagt: "Hoe weet je dat?", antwoordt de robot niet met een zinnetje als "de lucht is grijs en zwaar", maar met een enorme, onleesbare lijst van duizenden getallen en ingewikkelde berekeningen die niemand begrijpt.

Dit is precies het probleem waar wetenschappers zich zorgen over maken in het veld van Scientific Machine Learning (SciML). Ze willen niet alleen dat een computer het antwoord weet, ze willen ook begrijpen waarom het antwoord klopt. Ze willen de "wetten van het universum" ontdekken, niet alleen een voorspelling.

Dit artikel, geschreven door Conor Rowan en Alireza Doostan, gaat over wat "interpreteerbaarheid" eigenlijk betekent. Hier is de kern van hun verhaal, vertaald naar alledaags taal:

1. Het misverstand: "Kort" betekent "Begrijpelijk"

In de wereld van wetenschappelijk machine learning denken veel mensen dat als een formule kort en simpel is (ze noemen dit "sparsiteit"), hij automatisch begrijpelijk is.

• De Analogie: Stel je voor dat je een recept hebt.
  • Versie A (Kort): "Neem 3 el suiker en 1 kopje melk." (Kort, maar wat is het? Een cake? Een soep? Een drankje?)
  • Versie B (Lang): "Neem 3 el suiker, voeg 1 kopje melk toe, kook het 10 minuten, voeg ei toe..." (Lang, maar je weet precies wat er gebeurt).

Veel onderzoekers denken dat Versie A beter is omdat het kort is. Ze hopen dat als ze een korte formule vinden, ze de wetten van de natuur hebben ontdekt. De auteurs van dit artikel zeggen: "Nee, dat is niet waar."

2. Waarom "Kort" niet genoeg is

De auteurs geven een paar voorbeelden om te laten zien dat een korte formule niet altijd zinvol is.

• Het Voorbeeld van de Lijst: Stel je voor dat je een lijstje hebt met de beste momenten om te studeren. De formule is kort: "Studie = 3 uur + 2 uur²".

  • Als je dit op een brug toepast, betekent het misschien: "Hoe harder je duwt, hoe minder de brug buigt" (wat fysiek onzin is).
  • Als je dit op studeren toepast, betekent het misschien: "Hoe langer je studeert, hoe slechter je wordt" (ook onzin).
  • De formule is kort, maar zonder te weten wat de termen betekenen, is het nutteloos. Het is alsof je een zin leest in een vreemde taal die je niet spreekt; de zinsbouw is simpel, maar de betekenis is er niet.

• Het Voorbeeld van Kepler: De beroemde astronoom Kepler ontdekte drie simpele regels over hoe planeten bewegen. Ze waren heel kort en simpel. Maar op dat moment wist niemand waarom ze klopten. Het duurde 70 jaar voordat Newton kwam en zei: "Ah, deze korte regels zijn eigenlijk het gevolg van zwaartekracht!"

  • De les: De regels waren kort, maar ze waren niet interpreteerbaar totdat iemand ze kon koppelen aan een fundamenteel principe (zwaartekracht).

3. De echte definitie: "Wat betekent dit?"

De auteurs stellen een nieuwe definitie voor. Voor een wetenschapper is iets pas "interpreteerbaar" als je de formule kunt koppelen aan iets dat je al kent uit de natuurkunde.

• De Metafoor van de Vertaler:
  • Een computerformule is als een bericht in een code.
  • Interpreteerbaar betekent dat je die code kunt vertalen naar een verhaal dat je begrijpt, zoals: "Dit stukje in de formule staat voor winddruk en dat stukje staat voor wrijving."
  • Als je de code niet kunt vertalen naar bekende concepten (zoals energie, kracht, of massa), dan is het niet interpreteerbaar, hoe kort de code ook is.

Ze zeggen: "Interpreteerbaarheid gaat over mechanisme, niet over lengte." Je wilt weten hoe het werkt, niet alleen wat de uitkomst is.

4. Is "Kort" dan nutteloos?

Nee, niet helemaal. De auteurs zeggen dat een korte formule nog steeds waardevol kan zijn, maar dan als een hint.

• De Analogie van de Schatkaart:
  • Een heel lange, ingewikkelde formule (zoals een neurale netwerk) is als een schatkaart met duizenden lijntjes. Je ziet de schat niet, en je weet niet hoe je er komt.
  • Een korte formule is als een kaart met maar één lijn. Je weet nog steeds niet waarom die lijn daar ligt (misschien is het een nieuwe wet!), maar het is veel makkelijker om te proberen die lijn te verklaren dan die duizend lijntjes.
  • Kort gezegd: Korte formules maken het makkelijker voor wetenschappers om in de toekomst een verklaring te vinden. Ze houden de deur open voor nieuwe ontdekkingen.

Conclusie: Wat moeten we onthouden?

1. Kort is niet altijd slim: Een simpele wiskundige formule is niet automatisch een diep inzicht in de natuur.
2. Betekenis is koning: Om iets te begrijpen, moet je kunnen zeggen: "Dit stukje staat voor X, en dat komt door Y." Als je dat niet kunt, is het niet wetenschappelijk bruikbaar, hoe mooi de formule ook is.
3. Het doel: Wetenschappers willen niet alleen voorspellen (zoals een waarzegger), ze willen de regels van het universum begrijpen. Daarom moeten we stoppen met denken dat "korte formules" het einddoel zijn, en beginnen met zoeken naar de betekenis achter de formules.

Kortom: In de wetenschap willen we niet alleen de antwoorden van de computer, we willen het verhaal erachter. En dat verhaal moet je kunnen vertellen in de taal van de natuurkunde, niet in de taal van de computer.

Technische samenvatting

Probleemstelling

In het domein van Scientific Machine Learning (SciML) bestaat er een groeiende bezorgdheid over de "black box"-aard van modellen die gebaseerd zijn op neurale netwerken. Hoewel deze modellen succesvol worden gebruikt om fysische fenomenen te voorspellen, worden ze door wetenschappers vaak niet geaccepteerd als onderdeel van de fundamentele wetenschappelijke kennis. De kern van het probleem is dat wetenschappers niet alleen voorspellende modellen zoeken, maar ook inzicht willen in de onderliggende mechanismen en fundamentele principes die een systeem besturen.

In de literatuur over vergelijking-discovery (zoals SINDy) en symbolische regressie wordt het concept van interpreteerbaarheid vaak geïdentificeerd met wiskundige sparsiteit (het vinden van korte, compacte wiskundige uitdrukkingen). De auteurs betogen dat deze definitie onvoldoende en misleidend is. Ze stellen dat het simpelweg vinden van een sparsere vergelijking niet garandeert dat de vergelijking wetenschappelijk interpreteerbaar is, vooral als er geen voorafgaande kennis (prior knowledge) beschikbaar is om de termen te koppelen aan fysieke mechanismen. Er ontbreekt een rigoureuze, filosofisch onderbouwde definitie van interpreteerbaarheid die specifiek geschikt is voor de natuurwetenschappen.

Methodologie

De auteurs hanteren een kritische, conceptuele benadering die de volgende stappen omvat:

1. Literatuuroverzicht: Ze analyseren de bestaande definities van interpreteerbaarheid binnen de SciML-gemeenschap (vergelijking-discovery en symbolische regressie) en de bredere ML-gemeenschap (Interpretable ML en Explainable AI - XAI).
2. Identificatie van Deficiënties: Ze tonen aan dat SciML-onderzoekers vaak "sparsiteit" en "interpreteerbaarheid" met elkaar verwarren. Ze tonen ook aan dat definities uit de bredere ML-wereld (gericht op transparantie, veiligheid en ethiek) niet direct toepasbaar zijn op fundamenteel wetenschappelijk onderzoek.
3. Gedachte-experimenten en Casestudies: De auteurs gebruiken concrete voorbeelden om de beperkingen van de sparsiteits-definitie te demonstreren:
   • Elastische balk: Een sparsere polynoom kan wiskundig correct zijn, maar zonder fysieke context (voorafgaande kennis) is de betekenis van de termen onduidelijk.
   • Hyperelastisch materiaal: Een complexe, niet-sparse uitdrukking kan wel degelijk interpreteerbaar zijn als deze een duidelijk fysiek mechanisme (energieopslag) beschrijft.
   • Advectie-diffusie-reactie: Een sparsere vergelijking met een onbekende term is niet interpreteerbaar als de oorsprong van die term niet kan worden afgeleid uit fundamentele principes.
   • Kepler's wetten: Deze waren wiskundig spaarzaam, maar pas interpreteerbaar toen Newton ze kon afleiden uit zijn mechanica (70 jaar later).
4. Filosofische Analyse: Ze trekken op de geschiedenis en filosofie van de wetenschap (o.a. werken van Kitcher, Kuhn, en Quine) om een nieuwe operationele definitie te formuleren die past bij de doelstellingen van de fysica.

Kernbijdragen

De belangrijkste bijdragen van dit werk zijn:

1. Kritiek op Sparsiteit als Definitie: De auteurs weerleggen het idee dat sparsiteit (compacte wiskundige vormen) gelijkstaat aan interpreteerbaarheid. Ze tonen aan dat een spaarse vergelijking zonder link naar fundamentele principes even "onleesbaar" kan zijn als een neurale netwerkbasis.
2. Nieuwe Operationele Definitie: Ze stellen een nieuwe definitie van interpreteerbaarheid voor SciML:

   "In SciML is een geleerd model interpreteerbaar wanneer het kan worden afgeleid uit fundamentele fysieke principes, OF wanneer het een empirisch onderdeel vertegenwoordigt van een model dat uit fundamentele principes is afgeleid."
   Dit verlegt de focus van de wiskundige vorm naar het fysische mechanisme en de betekenis achter de termen.

3. Rol van Voorafgaande Kennis (Prior Knowledge): Ze benadrukken dat interpretatie afhankelijk is van de bestaande wetenschappelijke kennis. Zonder deze kennis is zelfs een spaarse vergelijking niet interpreteerbaar. Interpretatie is het proces van het verbinden van een uitdrukking met een "latente ruimte" van fundamentele principes (zoals behoudswetten).
4. Distinction tussen "Normal Science" en Revolutionaire Ontdekking: De definitie impliceert dat revolutionaire ontdekkingen (het vinden van nieuwe fundamentele principes zelf) per definitie niet "interpreteerbaar" zijn totdat ze in een bestaand kader zijn ingepast. Dit beperkt interpreteerbare vergelijking-discovery tot wat Kuhn "normale wetenschap" noemt.
5. Herwaardering van Sparsiteit: Hoewel sparsiteit op zichzelf geen garantie is voor interpretatie, kan het wel nuttig zijn als het de kans vergroot dat een vergelijking in de toekomst kan worden afgeleid uit fundamentele principes (zoals bij Kepler's wetten).

Resultaten en Analyse

• Onvoldoende Definitie: De huidige consensus in de literatuur dat "sparsiteit = interpreteerbaarheid" is onvoldoende. Een spaarse vergelijking met een onbekende term biedt geen inzicht in het mechanisme.
• Mechanisme is Cruciaal: Een vergelijking is alleen interpreteerbaar als de termen kunnen worden geassocieerd met bekende fysieke processen (zoals advectie, diffusie, reactie, of behoudswetten) of als ze een empirische relatie binnen een bestaand theoretisch kader beschrijven.
• De "Why"-Vraag: Wetenschappers stellen de vraag "waarom?" op een dieper niveau dan ML-ingenieurs. Waar een ML-ingenieur tevreden is met een "als X, dan Y" relatie, zoekt een wetenschapper naar de onderliggende wetten die deze relatie verklaren.
• Gevolgtrekking: De zoektocht naar spaarse vergelijkingen is waardevol, maar alleen als een middel om de brug te slaan naar fundamentele theorieën, niet als een einddoel op zich.

Beteeknis en Impact

Deze paper is van groot belang voor de toekomst van Scientific Machine Learning omdat het de onderzoeksgemeenschap waarschuwt voor een valkuil: het verwarren van wiskundige elegantie (sparsiteit) met wetenschappelijke inzichtelijkheid.

• Richting voor Onderzoek: Het stelt dat onderzoekers zich moeten richten op het vinden van modellen die mechanistisch onderbouwd zijn, in plaats van alleen op het minimaliseren van het aantal termen.
• Filosofische Scherpstelling: Het introduceert een filosofisch onderbouwde definitie die de kloof tussen data-gedreven modellen en traditionele wetenschappelijke kennis dicht.
• Realistische Verwachtingen: Het waarschuwt dat volledig data-gedreven ontdekking van nieuwe fundamentele wetten (zonder bestaande kennis) waarschijnlijk niet "interpreteerbaar" zal zijn totdat er een theoretisch raamwerk voor is gevonden.
• Toekomstvisie: Het suggereert dat de waarde van SciML niet ligt in het vervangen van fysieke wetten, maar in het helpen van wetenschappers om complexe data te reduceren tot vormen die kunnen worden afgeleid uit of gekoppeld aan bestaande fundamentele principes.

Kortom, de auteurs pleiten voor een verschuiving van "sparsiteit als doel" naar "mechanistisch begrip als doel", waarbij sparsiteit slechts een hulpmiddel is om de connectie met fundamentele fysica te faciliteren.