Impact Range Assessment (IRA): An Interpretable Sensitivity Measure for Regression Modelling

Resumen Técnico: Evaluación del Rango de Impacto (IRA) para el Modelado de Regresión

Planteamiento del Problema
Los modelos de regresión se utilizan ampliamente para modelar las relaciones entre los predictores y las variables de respuesta numéricas; sin embargo, interpretar la influencia de los predictores individuales sigue siendo un desafío. En la regresión lineal, los coeficientes dependen de la escala y pierden su interpretación original de unidades tras la estandarización. En los modelos no lineales, particularmente en los algoritmos de aprendizaje automático, la falta de parámetros interpretables dificulta la comparación de las influencias de los predictores. Los métodos de análisis de sensibilidad existentes presentan limitaciones: los enfoques locales basados en derivadas solo capturan efectos dentro de una región restringida del espacio de entrada, mientras que los métodos globales (por ejemplo, Sobol, Morris) suelen ser computacionalmente intensivos y matemáticamente complejos. Además, los métodos de inspección visual como los diagramas de dispersión carecen de una métrica cuantitativa para clasificar la importancia de los predictores. Existe la necesidad de un método intuitivo, eficiente y agnóstico al modelo para cuantificar y clasificar la influencia de los predictores a lo largo de todo su rango observado.

Metodología: Evaluación del Rango de Impacto (IRA)
Los autores proponen la Evaluación del Rango de Impacto (IRA), una medida de sensibilidad agnóstica al modelo diseñada para cuantificar la influencia máxima de cada predictor numérico continuo en la variable de respuesta de un modelo de regresión. El método opera midiendo el cambio potencial total en la variable de respuesta cuando un predictor específico varía a través de su rango de valores observados, mientras que otros predictores se mantienen constantes basándose en observaciones de fondo.

El algoritmo IRA consta de cinco pasos:

1. Selección: Se selecciona un único predictor como el "predictor de enfoque".
2. Interpolación: Se generan $M$ valores uniformemente espaciados entre el valor mínimo y máximo observado del predictor de enfoque.
3. Muestreo de Fondo: Se extraen $K$ observaciones de forma aleatoria con reemplazo del conjunto de datos de entrenamiento original para servir como contextos de fondo.
4. Modificación: Para cada observación de fondo, el predictor de enfoque se reemplaza por los $M$ valores interpolados, creando $M$ conjuntos de entrada modificados por cada muestra de fondo.
5. Cálculo: El modelo predice la respuesta para todos los conjuntos modificados. Para cada observación de fondo $k$, se calcula el rango de las salidas predichas ($\max \hat{y}_i^k - \min \hat{y}_i^k$). El valor IRA para el predictor $i$ es el promedio de estos rangos a través de todas las $K$ observaciones de fondo:
   $$IRA_i = \frac{1}{K} \sum_{k=1}^{K} (\max \hat{y}_i^k - \min \hat{y}_i^k)$$

El método admite dos modos de ejecución:

• Ejecución única: Proporciona una estimación puntual del impacto del predictor.
• Ejecución repetida: Repite el proceso múltiples veces con diferentes muestras de fondo aleatorias para generar una distribución de valores IRA, lo que permite calcular intervalos de confianza (IC) del 95% para evaluar la estabilidad y la incertidumbre.

Resultados Clave
El método fue evaluado utilizando conjuntos de datos sintéticos (lineales y no lineales) y un caso de estudio real que involucra un conjunto de datos de una planta de fabricación de alimentos (feed mill).

• Datos Lineales Sintéticos: Al aplicarse a un modelo de regresión lineal, el IRA de ejecución única distinguió con éxito los predictores relevantes de las variables de ruido irrelevantes. Los predictores relevantes ($X_1, X_3, X_4, X_6, X_7$) produjeron valores IRA significativamente más altos que los irrelevantes ($X_2, X_5, X_8$). Los resultados fueron robustos e idénticos en diversas configuraciones de puntos interpolados (50–500) y tamaños de muestra de fondo (50–500), lo que indica que el análisis repetido es innecesario para modelos lineales simples.
• Datos No Lineales Sintéticos: Aplicado a un regresor de Bosque Aleatorio (Random Forest), el IRA también identificó correctamente los predictores relevantes con valores más altos que los irrelevantes. El estudio encontró que el uso de 50 puntos interpolados subestimaba ligeramente los impactos en relaciones no lineales, mientras que 100 o más puntos proporcionaban estimaciones estables. Del mismo modo, aumentar las observaciones de fondo de 50 a 100 mejoró la estabilidad, con rendimientos decrecientes más allá de 100. Una configuración de 100 puntos interpolados y 200 observaciones de fondo se consideró óptima para equilibrar la estabilidad y el costo computacional. El análisis IRA repetido (50–90 repeticiones) confirmó la estabilidad de las clasificaciones y proporcionó intervalos de confianza estrechos.
• Caso de Estudio (Índice de Durabilidad de Pellets): En un modelo de regresión lineal múltiple que predice el Índice de Durabilidad de Pellets (PDI) a partir de datos de fabricación de alimentos, el IRA clasificó los predictores por su influencia. Los resultados destacaron el "Contenido de Grasa", el "Contenido de ADF" y la "Humedad Interior" como los factores más influyentes.
  • Comparación con Métodos Previos: Los autores contrastaron el IRA con un análisis de sensibilidad local previo (You et al.) que variaba los predictores en ±20% de su media. Mientras que el método local identificó la "Temperatura de Expansión" como la más influyente basándose en un rango estrecho, el IRA, que consideró el rango observado completo (62.5 °C a 111.7 °C), reveló que el "Contenido de Grasa" tenía un impacto total mayor (cambio aproximado de 5.5 unidades en PDI) comparado con la "Producción Acumulada" (cambio aproximado de 1.6 unidades), a pesar de que esta última tiene un rango numérico más amplio. Esto demostró la capacidad del IRA para proporcionar una métrica de resumen global.

Significancia y Reivindicaciones
El artículo afirma que el IRA ofrece un enfoque simple e intuitivo para interpretar y clasificar la influencia de los predictores, mejorando así la transparencia y la fiabilidad del modelo. Sus principales contribuciones incluyen:

1. Interpretabilidad: Proporciona un valor único e interpretable que representa el cambio máximo posible en la variable de respuesta debido a la variación de un predictor, accesible tanto para usuarios técnicos como no técnicos.
2. Agnosticismo de Modelo: El método se aplica tanto a modelos lineales como no lineales, incluyendo aquellos con variables transformadas o predictores en diferentes escalas.
3. Captura de Interacción: Al utilizar observaciones de fondo, el IRA captura parcialmente los efectos de interacción basados en combinaciones realistas de predictores, a diferencia de los métodos que varían un predictor de forma aislada sin contexto.
4. Robustez: El método permite realizar análisis repetidos para evaluar la estabilidad de los resultados y generar intervalos de confianza, abordando la incertidumbre inherente al muestreo aleatorio.

Limitaciones
Los autores reconocen varias restricciones:

• El IRA no es adecuado para predictores numéricos discretos o categóricos sin una adaptación a los valores únicos observados.
• Es difícil de aplicar a la regresión logística debido a la naturaleza probabilística de su salida.
• Los valores de IRA dependen del conjunto de datos y no pueden compararse entre conjuntos de datos con diferentes rangos de predictores.
• Los resultados pueden ser sensibles a los valores extremos; los autores sugieren restringir el rango de análisis (por ejemplo, percentiles 25–75) si existen valores atípicos.
• Puede ser necesario el ajuste de parámetros (número de puntos interpolados y muestras de fondo) para diferentes modelos.