Impact Range Assessment (IRA): An Interpretable Sensitivity Measure for Regression Modelling

Technisches Resümee: Impact Range Assessment (IRA) für die Regressionsmodellierung

Problemstellung
Regressionsmodelle werden weit verbreitet eingesetzt, um Beziehungen zwischen Prädiktoren und numerischen Zielvariablen zu modellieren; die Interpretation des Einflusses einzelner Prädiktoren bleibt jedoch eine Herausforderung. In der linearen Regression sind Koeffizienten skalenabhängig und verlieren nach der Standardisierung ihre ursprüngliche Interpretation in Bezug auf die Maßeinheiten. In nichtlinearen Modellen, insbesondere bei Algorithmen des maschinellen Lernens, erschwert der Mangel an interpretierbaren Parametern den Vergleich von Prädiktoreinflüssen. Bestehende Methoden der Sensitivitätsanalyse weisen Einschränkungen auf: lokale, derivatbasierte Ansätze erfassen Effekte nur innerhalb eines eingeschränkten Bereichs des Eingaberaums, während globale Methoden (z. B. Sobol, Morris) oft rechenintensiv und mathematisch komplex sind. Darüber hinaus fehlt visuellen Inspektionsmethoden wie Streudiagrammen ein quantitatives Maß zur Rangfolge der Wichtigkeit von Prädiktoren. Es besteht ein Bedarf an einer intuitiven, effizienten und modellagnostischen Methode, um den Einfluss von Prädiktoren über deren gesamten beobachteten Bereich hinweg zu quantifizieren und zu ranken.

Methodik: Impact Range Assessment (IRA)
Die Autoren schlagen das Impact Range Assessment (IRA) vor, ein modellagnostisches Sensitivitätsmaß, das darauf ausgelegt ist, den maximalen Einfluss jedes kontinuierlichen numerischen Prädiktors auf die Zielvariable eines Regressionsmodells zu quantifizieren. Die Methode arbeitet durch die Messung der potenziellen Gesamtänderung der Zielvariable, wenn ein spezifischer Prädiktor über seinen beobachteten Datenbereich variiert wird, während andere Prädiktoren basierend auf Hintergrundbeobachtungen konstant gehalten werden.

Der IRA-Algorithmus besteht aus fünf Schritten:

1. Selektion: Ein einzelner Prädiktor wird als „Fokus-Prädiktor“ ausgewählt.
2. Interpolation: $M$ gleichmäßig verteilte Werte werden zwischen dem Minimum und Maximum des beobachteten Wertes des Fokus-Prädiktors generiert.
3. Hintergrund-Sampling: $K$ Beobachtungen werden mit Zurücklegen aus dem ursprünglichen Trainingsdatensatz gezogen, um als Hintergrundkontexte zu dienen.
4. Modifikation: Für jede Hintergrundbeobachtung wird der Fokus-Prädiktor durch die $M$ interpolierten Werte ersetzt, wodurch pro Hintergrundprobe $M$ modifizierte Eingabesätze entstehen.
5. Berechnung: Das Modell sagt die Zielvariable für alle modifizierten Sätze voraus. Für jede Hintergrundbeobachtung $k$ wird die Spannweite der vorhergesagten Ausgaben ($\max \hat{y}_i^k - \min \hat{y}_i^k$) berechnet. Der IRA-Wert für Prädiktor $i$ ist der Durchschnitt dieser Spannweiten über alle $K$ Hintergrundbeobachtungen:
   $$IRA_i = \frac{1}{K} \sum_{k=1}^{K} (\max \hat{y}_i^k - \min \hat{y}_i^k)$$

Die Methode unterstützt zwei Ausführungsmodi:

• Einzelausführung (Single-execution): Liefert eine Punktschätzung des Prädiktoreinflusses.
• Wiederholte Ausführung (Repeated-execution): Wiederholt den Prozess mehrfach mit unterschiedlichen zufälligen Hintergrundproben, um eine Verteilung von IRA-Werten zu generieren, was die Berechnung von 95 % Konfidenzintervallen (CIs) zur Beurteilung von Stabilität und Unsicherheit ermöglicht.

Wichtigste Ergebnisse
Die Methode wurde anhand synthetischer Datensätze (linear und nichtlinear) sowie einer Fallstudie mit einem Futtermittel-Datensatz evaluiert.

• Synthetische lineare Daten: Bei Anwendung auf ein lineares Regressionsmodell konnte die IRA der Einzelausführung relevante Prädiktoren erfolgreich von irrelevanten Rauschvariablen unterscheiden. Relevante Prädiktoren ($X_1, X_3, X_4, X_6, X_7$) lieferten signifikant höhere IRA-Werte als irrelevante ($X_2, X_5, X_8$). Die Ergebnisse waren robust und identisch über verschiedene Konfigurationen der interpolierten Punkte (50–500) und der Hintergrund-Stichprobengrößen (50–500) hinweg, was darauf hindeutet, dass eine wiederholte Analyse für einfache lineare Modelle nicht notwendig ist.
• Synthetische nichtlineare Daten: Bei Anwendung auf einen Random Forest Regressor identifizierte die IRA auch hier die relevanten Prädiktoren mit höheren Werten als die irrelevanten. Die Studie ergab, dass die Verwendung von 50 interpolierten Punkten nichtlineare Beziehungen leicht unterschätzte, während 100 oder mehr Punkte stabile Schätzungen lieferten. Ebenso verbesserte die Erhöhung der Hintergrundbeobachtungen von 50 auf 100 die Stabilität, mit abnehmendem Grenznutzen jenseits von 100. Eine Konfiguration von 100 interpolierten Punkten und 200 Hintergrundbeobachtungen wurde als optimal für die Balance zwischen Stabilität und Rechenaufwand erachtet. Die wiederholte IRA-Analyse (50–90 Wiederholungen) bestätigte die Stabilität der Rankings und lieferte enge Konfidenzintervalle.
• Fallstudie (Pellet Durability Index): In einem multiplen linearen Regressionsmodell zur Vorhersage des Pellet Durability Index (PDI) aus Futtermittel-Herstellungsdaten rankte die IRA die Prädiktoren nach ihrem Einfluss. Die Ergebnisse hoben hervor, dass „Fettgehalt“ (Fat Content), „ADF-Gehalt“ (ADF Content) und „Innenraumfeuchtigkeit“ (Indoor Humidity) die einflussreichsten Faktoren waren.
  • Vergleich mit bisherigen Methoden: Die Autoren kontrastierten die IRA mit einer vorherigen lokalen Sensitivitätsanalyse (You et al.), die Prädiktoren um ±20 % ihres Mittelwerts variierte. Während die lokale Methode basierend auf einem engen Bereich die „Expansionstemperatur“ (Expanding Temperature) als einflussreichstes Merkmal identifizierte, zeigte die IRA, die den gesamten beobachteten Bereich (62,5 °C bis 111,7 °C) berücksichtigte, dass der „Fettgehalt“ einen größeren Gesamteinfluss (ca. 5,5 Einheiten Änderung des PDI) hatte als die „Kumulative Produktion“ (ca. 1,6 Einheiten Änderung), trotz des letzteren breiteren numerischen Bereichs. Dies demonstrierte die Fähigkeit der IRA, eine globale Zusammenfassungsmetrik bereitzustellen.

Bedeutung und Ansprüche
Das Paper behauptet, dass die IRA einen einfachen, intuitiven Ansatz zur Interpretation und zum Ranking des Prädiktoreinflusses bietet, wodurch die Modelltransparenz und -zuverlässigkeit verbessert wird. Die primären Beiträge sind:

1. Interpretierbarkeit: Sie liefert einen einzelnen, interpretierbaren Wert, der die maximale mögliche Änderung der Zielvariable aufgrund der Variation eines Prädiktors darstellt, und ist somit sowohl für technische als auch für nicht-technische Anwender zugänglich.
2. Modellagnostik: Die Methode ist sowohl für lineare als auch für nichtlineare Modelle anwendbar, einschließlich Modellen mit transformierten Variablen oder Prädiktoren auf unterschiedlichen Skalen.
3. Erfassung von Interaktionen: Durch die Nutzung von Hintergrundbeobachtungen erfasst die IRA teilweise Interaktionseffekte basierend auf realistischen Kombinationen von Prädiktoren, im Gegensatz zu Methoden, die einen Prädiktor isoliert ohne Kontext variieren.
4. Robustheit: Die Methode ermöglicht die Durchführung wiederholter Analysen, um die Stabilität der Ergebnisse zu bewerten und Konfidenzintervalle zu generieren, wodurch die mit dem Zufalls-Sampling verbundene Unsicherheit adressiert wird.

Einschränkungen
Die Autoren räumen mehrere Einschränkungen ein:

• Die IRA ist ohne Anpassung an eindeutige beobachtete Werte nicht gut für diskrete numerische oder kategorische Prädiktoren geeignet.
• Die Anwendung auf die logistische Regression ist aufgrund der probabilistischen Natur der Ausgabe schwierig.
• Die IRA-Werte sind datensatzabhängig und können nicht zwischen Datensätzen mit unterschiedlichen Prädiktorbereichen verglichen werden.
• Die Ergebnisse können empfindlich gegenüber Extremwerten sein; die Autoren schlagen vor, den Analysebereich einzuschränken (z. B. 25.–75. Perzentil), falls Ausreißer vorhanden sind.
• Eine Parameterabstimmung (Anzahl der interpolierten Punkte und Hintergrundproben) kann für verschiedene Modelle erforderlich sein.