Data-Driven Global Sensitivity Analysis for Engineering Design Based on Individual Conditional Expectations

Dit paper introduceert een nieuwe, op Individual Conditional Expectation (ICE) gebaseerde methode voor globale gevoeligheidsanalyse die interactie-effecten beter vastlegt dan traditionele Partial Dependence Plots en dit valideert door middel van wiskundige bewijzen en toepassing op diverse engineeringproblemen.

De kern

Titel: Waarom je niet alleen naar het gemiddelde moet kijken: Een nieuwe manier om complexe engineering-problemen te begrijpen

Stel je voor dat je een zeer complexe machine bouwt, zoals een vliegtuigvleugel of een windturbine. Om te weten of deze veilig en efficiënt werkt, moeten ingenieurs duizenden simulaties draaien. Maar deze simulaties zijn zo zwaar dat ze er maar een paar kunnen doen. Daarom bouwen ze een "stevig model" (een surrogate model): een slimme, snelle schatting die het gedrag van de echte machine nabootst.

Het probleem? Deze slimme modellen zijn vaak een "zwarte doos". Ze geven een goed antwoord, maar we weten niet precies waarom ze dat antwoord geven. Welke knop (bijvoorbeeld de windsnelheid of de vorm van de vleugel) is echt belangrijk? En wat gebeurt er als we twee knoppen tegelijk verdraaien?

Dit artikel introduceert een nieuwe manier om deze zwarte doos open te maken, met behulp van een slimme techniek die we ICE noemen.

Het oude probleem: De "Gemiddelde" Leugen

Stel je voor dat je een groep mensen vraagt hoe ze reageren op een bepaalde muziekstijl.

• De ene persoon (een rockliefhebber) vindt het geweldig.
• De andere persoon (een jazzliefhebber) vindt het vreselijk.

Als je nu een gemiddelde neemt (wat de oude methode deed, genaamd PDP), krijg je een score van "niets". Je zou concluderen: "Deze muziek heeft geen invloed op mensen." Dat is natuurlijk onzin! De muziek heeft een enorme invloed, maar de effecten heffen elkaar op in het gemiddelde.

In engineering gebeurt dit ook. Als je een variabele (zoals de vorm van een vleugel) verandert, kan het dat dit voor sommige situaties de prestaties verbetert en voor andere situaties verslechtert. De oude methode (PDP) middelt deze tegenstrijdige effecten weg en zegt dan: "Oh, deze variabele is niet belangrijk." Dat is gevaarlijk, want je mist dan cruciale informatie.

De nieuwe oplossing: Kijk naar de individuele verhalen (ICE)

De auteurs van dit paper zeggen: "Kijk niet naar het gemiddelde, maar naar de individuele verhalen!"

Ze gebruiken een techniek genaamd ICE (Individuële Voorwaardelijke Verwachting).

• De Analogie: In plaats van één lijn te tekenen voor de hele groep, tekenen ze een lijn voor elk persoon in de groep.
  • De rockliefhebber heeft een lijn die omhoog gaat.
  • De jazzliefhebber heeft een lijn die omlaag gaat.
  • Nu zie je pas het echte beeld: de muziek is belangrijk, maar het effect hangt af van wie je bent.

In engineering betekent dit: we kijken niet alleen naar wat er gebeurt als we alles middelen, maar we kijken naar hoe het resultaat verandert voor elke specifieke combinatie van andere variabelen.

De drie nieuwe meetinstrumenten

De auteurs hebben drie nieuwe "meetinstrumenten" bedacht om deze individuele lijnen te analyseren:

1. De "Gemiddelde Kracht" (µIice):
   Dit meet hoeveel een variabele over het algemeen invloed heeft, zonder dat de tegenstrijdige effecten elkaar opheffen. Het is alsof je kijkt naar hoe hard iedereen schreeuwt, in plaats van naar het gemiddelde geluidsniveau (waar stilte en geschreeuw elkaar opheffen). Hierdoor ontdek je variabelen die je met de oude methode zou missen.

2. De "Verspreiding" (σIice):
   Dit meet hoe verschillend de lijnen van elkaar zijn.

   • Analogie: Als alle mensen op dezelfde manier reageren op de muziek, zijn de lijnen parallel. Dat betekent: geen interactie.
   • Als de lijnen als een gekke bundel pijlen alle kanten op wijzen, betekent dat: Interactie! De invloed van variabele A hangt volledig af van wat variabele B doet. Deze meting vertelt je dus: "Pas op, hier spelen er complexe spelletjes tussen je variabelen."

3. De "Trend-Check" (Correlatie):
   Soms verandert de richting van de lijn volledig. Van "hoe meer, hoe beter" naar "hoe meer, hoe slechter". Deze meting pakt dat op. Het vertelt je of de relatie tussen input en output fundamenteel verandert door interacties, of dat het gewoon een beetje ruwer wordt.

Waarom is dit belangrijk voor de echte wereld?

De auteurs hebben dit getest op drie echte problemen:

1. Een wiskundig raadsel: Waar de oude methode dacht dat twee variabelen niets deden, bleek dat ze juist de belangrijkste waren, maar met tegenstrijdige effecten.
2. Een windturbine: Ze ontdekten dat de windrichting en de golfhoogte samenwerken op een manier die de oude methode niet zag. Dit is cruciaal om te weten wanneer een turbine veilig is.
3. Vliegtuigvleugels: Ze zagen precies welke vormen van de vleugel de luchtweerstand beïnvloeden, zelfs als die effecten soms tegenstrijdig leken.

Conclusie

Kort samengevat:
De oude manier om engineering-modellen te begrijpen was als kijken naar een wazige foto van een menigte. Je zag alleen de gemiddelde beweging en miste de individuele dansers.
De nieuwe methode (ICE) is als kijken naar een video van elke danser apart. Je ziet nu precies wie er meedraait, wie er tegenstrijdig beweegt, en hoe ze met elkaar dansen.

Dit helpt ingenieurs om betere, veiligere en efficiëntere ontwerpen te maken, omdat ze eindelijk zien wat er echt gebeurt in de "zwarte doos", in plaats van alleen naar het gemiddelde te kijken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Data-Driven Global Sensitivity Analysis for Engineering Design Based on Individual Conditional Expectations" in het Nederlands.

Titel: Data-gedreven globale gevoeligheidsanalyse voor engineeringontwerp op basis van Individuele Conditionele Verwachtingen (ICE)

1. Probleemstelling

In moderne engineering, met name in de lucht- en ruimtevaart, zijn hoge-trouw simulaties essentieel maar computergewijs duur. Ingenieurs vertrouwen daarom vaak op surrogaatmodellen (zoals Polynoom Chaos Expansie - PCE, Kriging of Deep Neural Networks) om de relatie tussen invoervariabelen en een "Quantity of Interest" (QoI) te schatten.

Om deze modellen te begrijpen en te vertrouwen, wordt Globale Gevoeligheidsanalyse (GSA) gebruikt. De traditionele methode, Partial Dependence Plots (PDP), toont het gemiddelde effect van een invoervariabele op de uitkomst.

• Het kernprobleem: PDP's kunnen misleidend zijn wanneer sterke interacties tussen variabelen aanwezig zijn. Door te middelen over andere variabelen, kunnen tegenstrijdige effecten elkaar opheffen (cancellatie-effect), wat resulteert in een vlakke lijn die suggereert dat een variabele geen invloed heeft, terwijl deze in werkelijkheid sterk interacteert.
• Aanvullende uitdaging: Bestaande methoden zoals SHAP (SHapley Additive exPlanations) bieden lokale uitleg, maar het aggregeren hiervan naar een globaal overzicht kan heterogeniteit verbergen. Er is behoefte aan een methode die zowel de globale trend als de variabiliteit door interacties kwantificeert.

2. Methodologie

De auteurs stellen een nieuwe framework voor die Individual Conditional Expectation (ICE) curves gebruikt om de beperkingen van PDP's te overwinnen.

• ICE Curves: In plaats van te middelen, plot een ICE-curve de respons van het model voor één specifieke instantie (een reeks waarden van de andere variabelen) terwijl de variabele van interesse varieert. Dit onthult de heterogeniteit die door PDP wordt verborgen.

• Nieuwe Metriek: ICE-gebaseerde Feature Importance:
  De auteurs introduceren twee nieuwe scalar-metrieken gebaseerd op de ICE-curves:

  1. $\mu_{Iice, x_j}$ (Gemiddelde ICE-importantie): Dit is het gemiddelde van de standaardafwijkingen van alle ICE-curves voor variabele $x_j$. In tegenstelling tot PDP (dat het gemiddelde van de voorspellingen neemt), neemt deze metriek het gemiddelde van de grootte van de variatie. Hierdoor worden tegenstrijdige effecten niet opgeheven; een variabele met sterke interacties krijgt een hoge score, zelfs als de PDP vlak is.
  2. $\sigma^2_{Iice, x_j}$ (Variantie van ICE-importantie): Dit meet de spreiding van de belangrijkheid over verschillende ICE-curves. Een hoge waarde duidt op sterke interacties: de invloed van $x_j$ hangt sterk af van de waarden van de andere variabelen.

• ICE-gebaseerde Correlatiewaarde ($\sigma_\rho$):
  Om te kwantificeren hoe interacties de relatie tussen input en output wijzigen, wordt de Pearson-correlatie berekend tussen elke ICE-curve en de bijbehorende PDP. De standaardafwijking van deze correlaties ($\sigma_\rho$) geeft aan of de trend van de ICE-curves afwijkt van de PDP-trend (wat wijst op niet-lineariteit of trendverschuivingen door interacties).

• Theoretische Onderbouwing:
  De auteurs bewijzen wiskundig dat voor een brede klasse van functies (waaronder polynomen en PCE-surrogaatmodellen), de ICE-gebaseerde metriek een ondergrens is voor de PDP-gebaseerde metriek:
  $$E_{x_C}[I_{ice}(x_j; x_C)] \geq I_{pdp}(x_j)$$
  Dit betekent dat de ICE-methode nooit een lagere belangrijkheid aangeeft dan PDP, en vaak hoger is wanneer interacties aanwezig zijn.

3. Belangrijkste Bijdragen

1. Nieuwe Gevoeligheidsmetriek: Introductie van $\mu_{Iice}$ en $\sigma_{Iice}$ die de beperkingen van PDP's doorbreken bij het detecteren van variabelen met sterke interacties die anders onzichtbaar zouden blijven.
2. Theoretisch Bewijs: Een wiskundig bewijs dat de ICE-metriek een ondergrens vormt voor PDP onder orthogonale polynoomexpansie, wat de betrouwbaarheid voor engineering-toepassingen garandeert.
3. Kwantitatieve Interactie-analyse: De introductie van $\sigma_\rho$ om te meten in welke mate interacties de fundamentele relatie tussen input en output veranderen (trendverschuiving), niet alleen de variantie beïnvloeden.
4. Complementair Framework: Een workflow die PDP, ICE, SHAP en Sobol'-indices combineert voor een volledig beeld: PDP/ICE voor visuele interpretatie, Sobol' voor variantie-decompositie, en de nieuwe ICE-metrieken voor kwantitatieve ranking van interactie-gevoelige variabelen.

4. Resultaten en Validatie

De methode werd getest op drie casestudies:

1. 5-variabele Analytische Functie (Friedman):

   • Toonde aan dat $\mu_{Iice}$ en $\sigma_{Iice}$ de interactie tussen $x_1$ en $x_2$ correct detecteren, terwijl PDP ($I_{pdp}$) de interactie miste of onderschatte.
   • De correlatiemetriek ($\sigma_\rho$) bevestigde dat de trend van de ICE-curves afweek van de PDP voor de interactieve variabelen.

2. 5-variabele Windturbine Vermoeiingsprobleem:

   • Gebruikmakend van een PCE-surrogaatmodel voor windturbine-krachten.
   • De resultaten toonden aan dat hoewel windsnelheid ($V_{hub}$) de belangrijkste variabele was, de variabelen windrichting ($\theta_w$) en golfhoogte ($H_s$) de sterkste interactie-effecten vertoonden (hoge $\sigma_{Iice}$).
   • De methode identificeerde specifieke condities (bijv. grote $\theta_w$ en $H_s$) die leiden tot extreme buigmomenten, wat cruciaal is voor veiligheidsontwerp.

3. 9-variabele Luchtprofiel Aerodynamica:

   • Analyse van een dataset met CST-parameters voor luchtprofielen en de weerstandcoëfficiënt ($C_d$).
   • Alle metrieken waren het eens over de belangrijkste variabelen (aanvalshoek en bovenste CST-parameters).
   • De ICE-metriek onthulde echter dat de onderste CST-parameters ($A_{l,1}, A_{l,4}$) sterke interacties vertoonden die de trend omkeerden (positief naar negatief effect), wat resulteerde in een vlakke PDP maar een hoge $\mu_{Iice}$.
   • SHAP-visualisaties waren hier complexer en minder intuïtief te interpreteren dan de gladde ICE/PDP-curves.

5. Betekenis en Toekomstperspectief

• Betere Besluitvorming: De methode stelt ingenieurs in staat om niet alleen te weten welke variabelen belangrijk zijn, maar ook hoe ze belangrijk zijn (via interacties). Dit voorkomt dat kritieke ontwerpparameters worden genegeerd omdat hun gemiddelde effect klein lijkt.
• Vertrouwen in Black-box Modellen: Door de heterogeniteit in ICE-curves te kwantificeren, biedt de methode meer transparantie dan traditionele GSA-methoden, wat essentieel is voor veiligheidskritieke toepassingen zoals luchtvaart.
• Beperkingen: De methode gaat uit van onafhankelijke invoervariabelen. Voor gecorreleerde variabelen zijn aanpassingen nodig. Ook richt de methode zich op globale gevoeligheid en niet op extreme waarden (betrouwbaarheidsanalyse), hoewel dit een mogelijke uitbreiding is.

Conclusie:
Dit artikel introduceert een robuuste, data-gedreven aanpak die de visuele kracht van ICE-curves vertaalt naar kwantitatieve metrieken. Het vult de kloof tussen lokale uitleg (SHAP) en globale variantie-analyse (Sobol'), en biedt een superieure oplossing voor het detecteren van complexe interacties in engineeringontwerp.