Impact Range Assessment (IRA): An Interpretable Sensitivity Measure for Regression Modelling

Technische Samenvatting: Impact Range Assessment (IRA) voor Regressiemodellering

Probleemstelling
Regressiemodellen worden breed gebruikt om de relaties tussen voorspellers en numerieke responsvariabelen te modelleren; het interpreteren van de invloed van individuele voorspellers blijft echter een uitdaging. In lineaire regressie zijn coëfficiënten schaalafhankelijk en verliezen ze hun oorspronkelijke eenheidsinterpretatie na standaardisatie. In niet-lineaire modellen, met name bij machine learning-algoritmen, maakt het gebrek aan interpreteerbare parameters het moeilijk om de invloed van voorspellers te vergelijken. Bestaande gevoeligheidsanalysemethoden hebben beperkingen: lokale, op afgeleiden gebaseerde benaderingen vatten effecten alleen binnen een beperkt gebied van de inputruimte, terwijl globale methoden (bijv. Sobol, Morris) vaak rekenintensief en wiskundig complex zijn. Bovendien missen visuele inspectiemethoden zoals scatterplots een kwantitatieve metriek om de belangrijkheid van voorspellers te rangschikken. Er is behoefte aan een intuïtieve, efficiënte en model-agnostische methode om de invloed van voorspellers over hun volledige geobserveerde bereik te kwantificeren en te rangschikken.

Methodologie: Impact Range Assessment (IRA)
De auteurs stellen de Impact Range Assessment (IRA) voor, een model-agnostische gevoeligheidsmaatstaf die ontworpen is om de maximale invloed van elke continue numerieke voorspeller op de responsvariabele van een regressiemodel te kwantificeren. De methode werkt door de totale potentiële verandering in de responsvariabele te meten wanneer een specifieke voorspeller wordt gevarieerd over zijn geobserveerde gegevensbereik, terwijl andere voorspellers constant worden gehouden op basis van achtergrondobservaties.

Het IRA-algoritme bestaat uit vijf stappen:

1. Selectie: Een enkele voorspeller wordt geselecteerd als de "focusvoorspeller".
2. Interpolatie: $M$ gelijkmatig verdeelde waarden worden gegenereerd tussen de minimum- en maximumwaarden van de focusvoorspeller uit de geobserveerde gegevens.
3. Achtergrondsampling: $K$ observaties worden met teruglegging willekeurig getrokken uit de oorspronkelijke trainingsdataset om te dienen als achtergrondcontexten.
4. Modificatie: Voor elke achtergrondobservatie wordt de focusvoorspeller vervangen door de $M$ geïnterpoleerde waarden, waardoor $M$ gemodificeerde inputsets per achtergrondmonster worden gecreëerd.
5. Berekening: Het model voorspelt de respons voor alle gemodificeerde sets. Voor elke achtergrondobservatie $k$ wordt het bereik van de voorspelde outputs ($\max \hat{y}_i^k - \min \hat{y}_i^k$) berekend. De IRA-waarde voor voorspeller $i$ is het gemiddelde van deze bereiken over alle $K$ achtergrondobservaties:
   $$IRA_i = \frac{1}{K} \sum_{k=1}^{K} (\max \hat{y}_i^k - \min \hat{y}_i^k)$$

De methode ondersteunt twee uitvoeringsmodi:

• Single-execution (enkele uitvoering): Biedt een puntinschatting van de impact van de voorspeller.
• Repeated-execution (herhaalde uitvoering): Herhaalt het proces meerdere keren met verschillende willekeurige achtergrondmonsters om een distributie van IRA-waarden te genereren, waardoor 95% betrouwbaarheidsintervallen (CI's) kunnen worden berekend om stabiliteit en onzekerheid te beoordelen.

Belangrijkste Resultaten
De methode werd geëvalueerd met behulp van synthetische datasets (lineair en niet-lineair) en een casestudy met een feedmill-dataset.

• Synthetische Lineaire Data: Wanneer toegepast op een lineair regressiemodel, slaagde de single-execution IRA erin om relevante voorspellers te onderscheiden van irrelevante ruisvariabelen. Relevante voorspellers ($X_1, X_3, X_4, X_6, X_7$) leverden significant hogere IRA-waarden op dan irrelevante variabelen ($X_2, X_5, X_8$). De resultaten waren robuust en identiek over verschillende configuraties van geïnterpoleerde punten (50–500) en achtergrondsteekproefgroottes (50–500), wat aangeeft dat herhaalde analyse onnodig is voor eenvoudige lineaire modellen.
• Synthetische Niet-lineaire Data: Toegepast op een Random Forest regressor, identificeerde de IRA opnieuw de relevante voorspellers met hogere waarden dan de irrelevante. De studie vond dat het gebruik van 50 geïnterpoleerde punten de impact in niet-lineaire relaties licht onderschatte, terwijl 100 of meer punten stabiele schattingen boden. Ook het verhogen van het aantal achtergrondobservaties van 50 naar 100 de stabiliteit verbeterde, met afnemende meeropbrengsten boven de 100. Een configuratie van 100 geïnterpoleerde punten en 200 achtergrondobservaties werd als optimaal beschouwd voor het balanceren van stabiliteit en rekenkosten. Herhaalde IRA-analyse (50–90 herhalingen) bevestigde de stabiliteit van de rangschikkingen en leverde nauwe betrouwbaarheidsintervallen op.
• Casestudy (Pellet Durability Index): In een meervoudig lineair regressiemodel dat de Pellet Durability Index (PDI) voorspelt op basis van feedproductiegegevens, rangschikte de IRA de voorspellers naar invloed. De resultaten wezen uit dat "Fat Content", "ADF Content" en "Indoor Humidity" de meest invloedrijke factoren waren.
  • Vergelijking met eerdere methoden: De auteurs contrasteerden IRA met een eerdere lokale gevoeligheidsanalyse (You et al.) die voorspellers varieerde met ±20% van hun gemiddelde. Terwijl de lokale methode "Expanding Temperature" als meest invloedrijk identificeerde op basis van een smal bereik, toonde de IRA, die het volledige geobserveerde bereik (62,5°C tot 111,7°C) in overweging nam, aan dat "Fat Content" een grotere totale impact had (ongeveer 5,5 eenheden verandering in PDI) vergeleken met "Cumulative Production" (ongeveer 1,6 eenheden verandering), ondanks het bredere numerieke bereik van de laatste. Dit demonstreerde het vermogen van IRA om een globale samenvattende metriek te bieden.

Betekenis en Claims
Het artikel beweert dat IRA een eenvoudige, intuïtieve benadering biedt om de invloed van voorspellers te interpreteren en te rangschikken, waardoor de transparantie en betrouwbaarheid van modellen wordt verbeteren. De belangrijkste bijdragen zijn:

1. Interpreteerbaarheid: Het biedt een enkele, interpreteerbare waarde die de maximale mogelijke verandering in de responsvariabele vertegenwoordigt als gevolg van de variatie van een voorspeller, toegankelijk voor zowel technische als niet-technische gebruikers.
2. Model-agnosticisme: De methode is toepasbaar op zowel lineaire als niet-lineaire modellen, inclusief modellen met getransformeerde variabelen of voorspellers op verschillende schalen.
3. Interactie-capturing: Door gebruik te maken van achtergrondobservaties vangt IRA gedeeltelijk interactie-effecten op op basis van realistische combinaties van voorspellers, in tegen tegenstelling tot methoden die één voorspeller in isolatie variëren zonder context.
4. Robuustheid: De methode maakt herhaalde analyse mogelijk om de stabiliteit van de resultaten te beoordelen en betrouwbaarheidsintervallen te genereren, waarmee de onzekerheid die inherent is aan willekeurige sampling wordt geadresseerd.

Beperkingen
De auteurs erkennen verschillende beperkingen:

• IRA is niet goed geschikt voor discrete numerieke of categorische voorspellers zonder aanpassing naar unieke geobserveerde waarden.
• Het is uitdagend om het toe te passen op logistische regressie vanwege de probabilistische aard van de output.
• IRA-waarden zijn dataset-afhankelijk en kunnen niet worden vergeleken tussen datasets met verschillende voorspellersbereiken.
• De resultaten kunnen gevoelig zijn voor extreme waarden; de auteurs suggereren het analyseren van een beperkt bereik (bijv. 25e–75e percentiel) indien er sprake is van uitschieters.
• Parameterinstelling (aantal geïnterpoleerde punten en achtergrondmonsters) kan vereist zijn voor verschillende modellen.