Impact Range Assessment (IRA): An Interpretable Sensitivity Measure for Regression Modelling

Resumo Técnico: Avaliação de Alcance de Impacto (IRA) para Modelagem de Regressão

Definição do Problema
Modelos de regressão são amplamente utilizados para modelar relações entre preditores e variáveis de resposta numéricas; no entanto, interpretar a influência de preditores individuais permanece um desafio. Na regressão linear, os coeficientes dependem da escala e perdem sua interpretação original de unidade após a padronização. Em modelos não lineares, particularmente algoritmos de aprendizado de máquina, a falta de parâmetros interpretáveis dificulta a comparação da influência dos preditores. Os métodos existentes de análise de sensibilidade possuem limitações: abordagens locais baseadas em derivadas capturam apenas efeitos dentro de uma região restrita do espaço de entrada, enquanto métodos globais (ex: Sobol, Morris) são frequentemente computacionalmente intensivos e matematicamente complexos. Além disso, métodos de inspeção visual como gráficos de dispersão carecem de uma métrica quantitativa para classificar a importância do preditor. Há uma necessidade de um método intuitivo, eficiente e agnóstico ao modelo para quantificar e classificar a influência dos preditores em todo o seu intervalo observado.

Metodologia: Avaliação de Alcance de Impacto (IRA)
Os autores propõem a Avaliação de Alcance de Impacto (IRA), uma medida de sensibilidade agnóstica ao modelo projetada para quantificar a influência máxima de cada preditor numérico contínuo sobre a variável de resposta de um modelo de regressão. O método opera medindo a mudança potencial total na variável de resposta quando um preditor específico é variado através de seu intervalo de dados observado, enquanto outros preditores são mantidos constantes com base em observações de fundo.

O algoritmo IRA consiste em cinco etapas:

1. Seleção: Um único preditor é selecionado como o "preditor de foco".
2. Interpolação: $M$ valores igualmente espaçados são gerados entre o valor mínimo e máximo observado do preditor de foco.
3. Amostragem de Fundo: $K$ observações são extraídas aleatoriamente com reposição do conjunto de dados de treinamento original para servirem como contextos de fundo.
4. Modificação: Para cada observação de fundo, o preditor de foco é substituído pelos $M$ valores interpolados, criando $M$ conjuntos de entrada modificados por amostra de fundo.
5. Cálculo: O modelo prevê a resposta para todos os conjuntos modificados. Para cada observação de fundo $k$, o intervalo de saídas previstas ($\max \hat{y}_i^k - \min \hat{y}_i^k$) é calculado. O valor de IRA para o preditor $i$ é a média desses intervalos através de todas as $K$ observações de fundo:
   $$IRA_i = \frac{1}{K} \sum_{k=1}^{K} (\max \hat{y}_i^k - \min \hat{y}_i^k)$$

O método suporta dois modos de execução:

• Execução única: Fornece uma estimativa pontual do impacto do preditor.
• Execução repetida: Repete o processo múltiplas vezes com diferentes amostras de fundo aleatórias para gerar uma distribuição de valores de IRA, permitindo o cálculo de intervalos de confiança (IC) de 95% para avaliar a estabilidade e incerteza.

Principais Resultados
O método foi avaliado utilizando conjuntos de dados sintéticos (lineares e não lineares) e um estudo de caso do mundo real envolvendo um conjunto de dados de fábrica de ração.

• Dados Lineares Sintéticos: Quando aplicado a um modelo de regressão linear, o IRA de execução única distinguiu com sucesso preditores relevantes de variáveis de ruído irrelevantes. Os preditores relevantes ($X_1, X_3, X_4, X_6, X_7$) apresentaram valores de IRA significativamente mais altos que os irrelevantes ($X_2, X_5, X_8$). Os resultados foram robustos e idênticos em várias configurações de pontos interpolados (50–500) e tamanhos de amostra de fundo (50–500), indicando que a análise repetida é desnecessária para modelos lineares simples.
• Dados Não Lineares Sintéticos: Aplicado a um regressor Random Forest, o IRA identificou corretamente os preditores relevantes com valores mais altos do que os irrelevantes. O estudo descobriu que o uso de 50 pontos interpolados subestimava ligeiramente os impactos em relações não lineares, enquanto 100 ou mais pontos forneciam estimativas estáveis. Da mesma forma, aumentar as observações de fundo de 50 para 100 melhorou a estabilidade, com retornos decrescentes além de 100. Uma configuração de 100 pontos interpolados e 200 observações de fundo foi considerada ideal para equilibrar estabilidade e custo computacional. A análise de IRA repetida (50–90 repetições) confirmou a estabilidade das classificações e forneceu intervalos de confiança estreitos.
• Estudo de Caso (Índice de Durabilidade de Pellets): Em um modelo de regressão linear múltipla prevendo o Índice de Durabilidade de Pellets (PDI) a partir de dados de fabricação de ração, o IRA classificou os preditores por influência. Os resultados destacaram "Conteúdo de Gordura", "Conteúdo de ADF" e "Umidade Interna" como os fatores mais influentes.
  • Comparação com Métodos Anteriores: Os autores contrastaram o IRA com uma análise de sensibilidade local anterior (You et al.) que variava os preditores em ±20% de sua média. Enquanto o método local identificou a "Temperatura de Expansão" como mais influente com base em um intervalo estreito, o IRA, que considerou o intervalo observado completo (62,5°C a 111,7°C), revelou que o "Conteúdo de Gordura" teve um impacto total maior (mudança de aprox. 5,5 unidades no PDI) comparado à "Produção Cumulativa" (mudança de aprox. 1,6 unidade), apesar de esta última possuir um intervalo numérico mais amplo. Isso demonstrou a capacidade do IRA de fornecer uma métrica de resumo global.

Significância e Alegações
O artigo afirma que o IRA oferece uma abordagem simples e intuitiva para interpretar e classificar a influência dos preditores, melhorando a transparência e a confiabilidade do modelo. Suas principais contribuições incluem:

1. Interpretabilidade: Fornece um valor único e interpretável representando a mudança máxima possível na variável de resposta devido à variação de um preditor, acessível tanto para usuários técnicos quanto não técnicos.
2. Agnosticismo ao Modelo: O método aplica-se a modelos lineares e não lineares, incluindo aqueles com variáveis transformadas ou preditores em diferentes escalas.
3. Captura de Interação: Ao utilizar observações de fundo, o IRA captura parcialmente os efeitos de interação baseados em combinações realistas de preditores, ao contrário de métodos que variam um preditor isoladamente sem contexto.
4. Robustez: O método permite a análise repetida para avaliar a estabilidade dos resultados e gerar intervalos de confiança, abordando a incerteza inerente à amostragem aleatória.

Limitações
Os autores reconhecem diversas restrições:

• O IRA não é adequado para preditores numéricos discretos ou categóricos sem adaptação para valores observados únicos.
• É desafiador aplicar o método à regressão logística devido à natureza probabilística da saída.
• Os valores de IRA dependem do conjunto de dados e não podem ser comparados entre conjuntos de dados com diferentes intervalos de preditores.
• Os resultados podem ser sensíveis a valores extremos; os autores sugerem restringir o intervalo de análise (ex: percentis 25–75) se houver outliers.
• O ajuste de parâmetros (número de pontos interpolados e amostras de fundo) pode ser necessário para diferentes modelos.