🔬 physics

Interpreting "Interpretability" and Explaining "Explainability" in Machine Learning in Physics

Dit artikel beoordeelt de concepten van interpreteerbaarheid en verklaarbaarheid in machine learning voor de natuurkunde, waarbij deze worden gedefinieerd als respectievelijk structurele transparantie en wetenschappelijke inhoud, terwijl wordt betoogd dat zij bewuste modelleringskeuzes zijn die onderhevig zijn aan afwegingen in plaats van inherente eigenschappen van de modellen zelf.

Oorspronkelijke auteurs: Rikab Gambhir, Luisa Lucie-Smith, Jesse Thaler

Gepubliceerd 2026-06-26

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rikab Gambhir, Luisa Lucie-Smith, Jesse Thaler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Twee Verschillende Vragen

Stel je voor dat er een mysterieus, hoogtechnologisch apparaat aan je wordt overhandigd dat het weer voorspelt. Je wilt twee dingen over dit apparaat weten:

Hoe werkt het apparaat? (Wat zijn de tandwielen, draden en hendels aan de binnenkant?)
Wat vertelt het apparaat ons eigenlijk over de wereld? (Komt de voorspelling overeen met wat we al weten over de meteorologie?)

De auteurs van dit artikel stellen dat wetenschappers deze twee vragen vaak met elkaar verwarren. Ze stellen een duidelijk onderscheid voor:

Interpretability (Interpreteerbaarheid) gaat over de structuur. Het vraagt: "Kan ik in de machine kijken en begrijpen hoe de tandwielen draaien om een voorspelling te doen?"
Explainability (Verklaarbaarheid) gaat over de inhoud. Het vraagt: "Maakt het antwoord van de machine zin wanneer ik het vergelijk met de kaart van de wereld die ik al heb?"

De Trade-offs: Het "Zwitserse Zakmes" versus de "Schroevendraaier"

Het artikel legt uit dat je meestal niet beide tegelijk kunt hebben. Je moet je gereedschap kiezen op basis van de klus.

1. Interpretability versus Expressivity (Het "Eenvoudige Gereedschap" versus de "Elektrische Gereedschap")

De Analogie: Denk aan een eenvoudige schroevendraaier (Interpreteerbaar) versus een complex, programmeerbaar Zwitsers zakmes met duizend opzetstukken (Expressief).
De Trade-off: Een schroevendraaier is makkelijk te begrijpen; je weet precies wat hij doet. Maar hij kan alleen schroeven aandraaien. Een Zwitsers zakmes kan bijna alles (snijden, schroeven, zagen, flessen openen), maar als je naar de binnenkant kijkt, is het een wirwar van tandwielen en veren die erg moeilijk te ontrafelen is.
Het Punt van het Artikel: In de natuurkunde zijn eenvoudige modellen (zoals de wetten van Newton) als schroevendraaiers: makkelijk te begrijpen maar beperkt. Complexe Machine Learning (ML) modellen zijn als het Zwitserse zakmes: ze kunnen ongelooflijk moeilijke problemen oplossen, maar het zijn vaak "black boxes" waarbij we niet kunnen zien hoe ze werken.

2. Explainability versus Adaptability (De "Starre Kaart" versus de "Flexibele GPS")

De Analogie: Stel je een gedrukte kaart van een stad voor (Verklaarbaar) versus een GPS die in realtime leert van elke route die een bestuurder aflegt (Adaptief).
De Trade-off: Een gedrukte kaart is gebaseerd op bekende wegen en regels. Als je een nieuwe weg op de kaart ziet, is dat een fout. Het is zeer "verklaarbaar" omdat het de regels van de stad volgt. De GPS kan echter direct aanpassen aan files, wegwerkzaamheden en omleidingen. Maar omdat hij zo veel verandert op basis van data, is het moeilijk uit te leggen waarom hij op een specifiek moment een specifieke route koos.
Het Punt van het Artikel: Als je een model wilt dat elke data perfect past (Adaptiviteit), verlies je het vermogen om het te verklaren met bekende natuurkunde. Als je een model wilt dat strikt de bekende natuurkunde volgt (Verklaarbaarheid), kan het mogelijk falen bij het passen van nieuwe, vreemde data.

Wanneer Heb Je Welke Nodig?

Het artikel stelt dat je niet altijd beide nodig hebt. Het hangt ervan af wat je probeert te doen.

Wanneer je geen Interpretability nodig hebt:
- De "Surrogaat"-klus: Stel je hebt een supertrage, complexe simulatie die een week duurt om te draaien. Je traint een snelle AI om deze na te bootsen. Je geeft niet om hoe de AI het doet (Interpretability); je wilt alleen dat het hetzelfde antwoord geeft als de trage simulatie en dat het binnen een seconde klaar is.
- De "Benchmark"-klus: Als je alleen probeert te winnen in een wedstrijd om te zien wie de hoogste score heeft, kun je een "black box" model gebruiken. Zolang het wint, hoef je niet te weten hoe het denkt.
Wanneer je wél Interpretability nodig hebt:
- Vertrouwen: Als een model een vreemde voorspelling doet, moet je in staat zijn om naar binnen te kijken en te zeggen: "Ah, ik zie het, het raakte in de war door deze specifieke input."
- Efficiëntie: Soms stelt het begrijpen van de "tandwielen" je in staat om een simpelere, snellere versie van de machine te bouwen.
Wanneer je wél Explainability nodig hebt:
- Ontdekking: Als je model iets nieuws vindt, moet je kunnen zeggen: "Dit nieuwe patroon komt overeen met de theorie van X." Als je het resultaat niet kunt koppelen aan bestaande kennis, is het slechts een lijst met getallen, geen ontdekking.
  - Validatie: Je moet kunnen bewijzen dat het model niet alleen data aan het memoriseren is (zoals een student die antwoorden uit het hoofd leert) maar daadwerkelijk de regels van het universum begrijpt.

De "By-Design" versus de "After-the-Fact" Benadering

Het artikel bespreekt twee manieren om deze kwaliteiten te verkrijgen:

Intrinsic (By-Design / Intrinsiek): Je bouwt de machine vanaf het begin met zichtbare "tandwielen".
- Analogie: Een huis bouwen met glazen wanden zodat je de leidingen kunt zien.
- Voorbeeld: Het gebruik van een eenvoudige vergelijking of een model dat de AI dwingt de natuurwetten te volgen (zoals behoud van energie) terwijl deze leert.
Post-Hoc (After-the-Fact / Achteraf): Je bouwt eerst een complex machine en probeert dan een foto van de binnenkant te maken om te zien hoe het werkt.
- Analogie: Een complexe motor uit elkaar halen nadat deze is gebouwd om een diagram te tekenen van hoe de zuigers bewegen.
- Voorbeeld: Tools gebruiken die benadrukken naar welke delen van een afbeelding de AI heeft gekeken om een beslissing te nemen. Het artikel waarschuwt dat dit vaak slechts benaderingen zijn en misschien niet de volledige waarheid vertellen.

De Belangrijkste Les: Plan Voordat Je Bouwt

De auteurs benadrukken dat Interpretability en Explainability keuzes zijn, geen magische eigenschappen.

Taakspecificatie: Voordat je je model bouwt, moet je jezelf afvragen: "Waar is dit model eigenlijk voor?" Als je alleen probeert een berekening te versnellen, heb je geen transparant model nodig. Als je probeert een nieuwe natuurwet te ontdekken, heb je dat absoluut wel nodig.
Interventieplanning: Je moet van tevoren beslissen wat je zult doen als het model verwarrend is.
- Analogie: Als je een auto bestuurt, moet je weten wat je zult doen als het motorlampje gaat branden. Stop je langs de kant? Negeer je het? Als je geen plan hebt, is het zien van het lampje nutteloos.
- Het artikel waarschuwt tegen "confirmation bias" (bevestigingsvooroordeel). Als je naar de interne werking van een model kijkt nadat je het resultaat hebt gezien, kun je jezelf voor de gek houden door te denken dat het logisch is, simpelweg omdat je wilt dat het klopt. Je hebt een plan nodig om het model te testen voordat je naar de resultaten kijkt.

Conclusie

Het artikel concludeert dat Machine Learning-modellen in de natuurkunde fundamenteel niet verschillen van de "klassieke" modellen die wetenschappers al eeuwenlang gebruiken (zoals de wetten van Newton). Het enige verschil is de schaal.

Klassieke modellen zijn simpelweg zeer eenvoudig, zeer interpreteerbaar en zeer verklaarbaar.
ML-modellen zijn enorm, complex en vaak opaak (ondoorzichtig).

Maar de regels van de wetenschap zijn op beide van toepassing. Je kunt niet gewoon een "black box" op een wetenschappelijk probleem gooien en een ontdekking verwachten. Je moet bepalen wat je nodig hebt (snelheid? vertrouwen? ontdekking?), het juiste gereedschap kiezen en een plan hebben voor hoe je de resultaten gebruikt. Als je dat doet, wordt ML een krachtig instrument voor de wetenschap, en niet slechts een trucje.

Technische Samenvatting: Het interpreteren van "Interpretability" en het verklaren van "Explainability" in Machine Learning in de Natuurkunde

Probleemstelling

De snelle adoptie van hoog expressieve machine learning (ML) modellen, zoals diepe neurale netwerken en large language models (LLM's), in de natuurwetenschappen (hogenergetische fysica, astrofysica, kosmologie) heeft fundamentele vragen opgeroepen over hun wetenschappelijke betrouwbaarheid en hun rol in ontdekkingen. Een primaire uitdaging is de verwarring van termen zoals interpretability (interpreteerbaarheid), explainability (verklaarbaarheid), trustworthiness (betrouwbaarheid) en transparency (transparantie) binnen de natuurkundige gemeenschap. In tegenstelling tot "klassieke" wetenschappelijke modellen (bijv. de wetten van Newton, het Standaardmodel), die vaak zijn afgeleid van eerste principes en beschikken over inherente structurele transparantie, worden moderne ML-modellen vaak beschouwd als opengewerkte "black boxes".

Het artikel adresseert de noodzaak om een rigoureuze definitie en onderscheid te maken tussen interpretability en explainability om te bepalen wanneer deze eigenschappen noodzakelijk zijn, hoe ze kunnen worden bereikt en welke trade-offs zij met zich meebrengen. De auteurs stellen dat dit geen inherente eigenschappen van modellen zijn, maar bewuste modelleringskeuzes die moeten worden afgestemd op specifieke wetenschappelijke doelen.

Methodologie en Raamwerk

Het artikel maakt gebruik van een conceptuele review en een taxonomisch raamwerk in plaats van het presenteren van nieuwe experimentele data of een specifiek algoritme. De methodologie omvat:

Definitionele Verheldering: Het vaststellen van onderscheidende definities voor interpretability en explainability, waarbij de modelstructuur wordt gescheiden van de wetenschappelijke inhoud.
Taxonomie Constructie: Het mappen van modellen op een spectrum gebaseerd op hun graad van interpretability en explainability, waarbij vier kwadranten worden geïdentificeerd: interpreteerbaar/verklaarbaar, interpreteerbaar/niet verklaarbaar, niet interpreteerbaar/verklaarbaar, en noch het een, noch het ander.
Trade-off Analyse: Het analyseren van de inherente spanningen tussen:
- Interpretability vs. Expressivity: Het vermogen om de structuur van een model te begrijpen versus de capaciteit om complexe datapatronen te fitten.
- Explainability vs. Adaptability: Het vermogen om een model te mappen op domeinkennis versus de flexibiliteit om willekeurige datadistributies te fitten.
Categorisering van Technieken: Het classificeren van methoden om deze eigenschappen te bereiken in Intrinsic (by-design) en Post-Hoc (analyse na training) benaderingen.
Procesintegratie: Het kaderen van interpretability en explainability als vereisten voor Task Specification (taakspecificatie) en Intervention Planning (interventieplanning), waarbij wordt betoog de stelling dat deze eigenschappen alleen waardevol zijn als ze downstream wetenschappelijke beslissingen informeren.

Belangrijkste Bijdragen

1. Onderscheidende Definities

De auteurs stellen een duidelijke dichotomie voor:

Interpretability: Betreft de structurele transparantie van een model. Het vraagt: "Kunnen we de interne werking van het model $f_\theta$ begrijpen, benaderen of aflezen en begrijpen hoe het tot zijn output komt?" Het is data-agnostisch en heeft betrekking op de vorm, parameters en het computationele mechanisme van het model (bijv. lineaire coëfficiënten, splitsingen in beslisbomen).
Explainability: Betreft de wetenschappelijke inhoud van een model. Het vraagt: "Kunnen we de geleerde parameters of functies mappen op bestaande domeinkennis?" Dit vereist een referentie naar vooraf bestaande fysische principes, wetten of empirische data om context en semantiek te bieden.

2. Het Landschap van Modellen

Het artikel categoriseert modellen op basis van deze definities:

Interpreteerbaar & Verklaarbaar: Klassieke fysische modellen (Newtoniaanse zwaartekracht, Standaardmodel) en eenvoudige ML-modellen (lineaire regressie, ondiepe bomen).
Interpreteerbaar maar Niet Verklaarbaar: Modellen waarbij de structuur duidelijk is (bijv. het inspecteren van CNN-kernels) maar de verbinding met fysische causaliteit of domeinkennis zwak of kwalitatief is.
Verklaarbaar maar Niet Interpreteerbaar: Modellen waarbij de wetenschappelijke uitkomst begrepen wordt (bijv. een QCD-voorspelling bij 10-loops of een normalizing flow die deze nabootst), maar het interne computationele mechanisme te complex is om mechanistisch transparant te zijn.
Geen van beide: Propriëtaire black boxes of modellen zonder toegang tot structuur of domeinmapping.

3. Trade-offs

Interpretability vs. Expressivity: Zeer expressieve modellen (bijv. Transformers, Diepe Neurale Netwerken) kunnen enorme klassen van functies benaderen, maar offeren structurele transparantie op. Omgekeerd zijn zeer interpreteerbare modellen (bijv. parametrische fits) vaak beperkt in hun vermogen om complexe, niet-lineaire datapatronen te vangen.
Explainability vs. Adaptability: Modellen die ontworpen zijn voor hoge explainability (het integreren van fysische symmetrieën, priors of eerste principes) hebben vaak een verminderde adaptiviteit aan willekeurige of onverwachte datadistributies. Omgekeerd kunnen zeer adaptieve modellen (bijv. look-up tables) elke data fitten, maar bieden zij geen comprimeerbare structuur om uit te leggen waarom de data zich als zodanig gedraagt.

4. Methodologische Instrumenten

Het artikel beoordeelt instrumenten om deze eigenschappen te bereiken:

Intrinsic (By-Design): Physics-informed architecturen (bijv. Lorentz-invariante netwerken), representation learning (bijv. ontkoppelde latente ruimtes, SciNet), symbolische regressie en sparse autoencoders.
Post-Hoc: Metric-gebaseerde instrumenten (Shapley-waarden/SHAP, Saliency maps, LIME) en distillatietechnieken (het trainen van een eenvoudiger "student"-model om een complex "teacher"-model na te bootsen).

5. Task Specification en Intervention Planning

Een centrale bijdrage is het argument dat interpretability en explainability alleen zinvol zijn wanneer ze gekoppeld zijn aan Task Specification (het definiëren van de wetenschappelijke vraag en gewenste eigenschappen) en Intervention Planning (het definiëren van welke acties zullen worden ondernomen op basis van de interpretatie).

De auteurs stellen dat als een model geïnterpreteerd wordt maar er geen downstream beslissing volgt (bijv. het wijzigen van een hypothese, het aanpassen van onzekerheden, het verwerpen van een model), de inspanning overbodig kan zijn.
Ze waarschuwen tegen confirmation bias (bevestigingsvooroordeel) en benadrukken dat interventieplannen vooraf gespecificeerd moeten zijn om post-hoc rationalisatie van resultaten te voorkomen.

Resultaten en Claims

Het artikel presenteert geen numerieke resultaten van een specifiek experiment, maar biedt een gestructureerde analyse van het vakgebied:

Universaliteit van het Probleem: De auteurs beweren dat interpretability en explainability geen unieke uitdagingen zijn voor ML; klassieke modellen staan voor dezelfde vragen, met slechts een verschil in schaal en complexiteit.
Noodzaak van Context: Er is geen wetenschappelijke toepassing waarbij zowel interpretability als explainability volledig onnodig zijn. Echter, de graad die vereist is, varieert per taak (bijv. wetenschappelijke ontdekking vereist beide; surrogate modeling voor snelheid kan de voorkeur geven aan explainability boven interpretability).
Huidige Status van AI in de Natuurkunde: Het artikel stelt dat hoewel ML de metingen en ontdekkingspotentieel aanzienlijk heeft verbeterd (bijv. jet tagging bij de LHC), het veld nog niet breed heeft geleerd "van" ML in de zin van het ontdekken van nieuwe fysische wetten via explainable AI. De meeste vooruitgang blijft gericht op het verbeteren van sensitiviteiten en grenswaarden in plaats van het onthullen van voorheen onbekende patronen.
Ontwerpfilosofie: De auteurs concluderen dat interpretability en explainability behandeld moeten worden als bewuste modelleringskeuzes in plaats van inherente eigenschappen. Zij pleiten voor het ontwerpen van modellen, verliesfuncties en trainingsmethoden die afgestemd zijn op specifieke wetenschappelijke doelen, in plaats van deze eigenschappen als een gedachte achteraf te behandelen.

Betekenis

Het artikel positioneert zichzelf als een fundamentele gids voor de natuurkundige gemeenschap (specifiek binnen de VERaiPHY-initiatief) om de discussie rond de validatie van ML-modellen te standaardiseren. De betekenis ligt in:

Demystificeren van Terminologie: Het bieden van een rigoureuze, operationele onderscheid tussen interpretability (structuur) en explainability (inhoud), wat de verwarring van termen die wetenschappelijke communicatie belemmert, voorkomt.
Verschuiving van het Paradigma: Het verplaatsen van de conversatie van "hoe maken we black boxes transparant" naar "welke modelleringskeuzes zijn vereist om specifieke wetenschappelijke doelen te bereiken."
Vaststellen van Standaarden: Het beargumenteren dat voor ML om een echt instrument van wetenschappelijke kennis te kunnen zijn, modellen onderworpen moeten worden aan dezelfde vragen van validiteit, vertrouwen en domeinafstemming als klassieke modellen.
Praktische Begeleiding: Het bieden van een raamwerk voor onderzoekers om te beslissen wanneer zij moeten investeren in interpretability/explainability en hoe zij deze overwegingen kunnen integreren in de wetenschappelijke workflow via taakspecificatie en interventieplanning.

De auteurs benadrukken dat hoewel instrumenten voor post-hoc analyse bestaan, de meest robuuste weg voorwaarts het maken van intrinsieke ontwerpkeuzes is die fysische kennis direct in de modelarchitectuur inbedden, waardoor de resulterende modellen niet alleen voorspellend, maar ook wetenschappelijk gefundeerd zijn.