Resumo Técnico: Corrigindo a Importância de Variáveis Pontuada por Florestas Aleatórias

Declaração do Problema

As Florestas Aleatórias (RF) são amplamente reconhecidas como ferramentas poderosas para análise estatística de dados e aprendizado de máquina, oferecendo um desempenho robusto em tarefas de classificação e regressão. Uma característica fundamental das RF é sua capacidade de fornecer pontuações de importância de variáveis, que são essenciais para a interpretação, seleção e diagnóstico do modelo. No entanto, o cálculo padrão da importância de variáveis em RF — especificamente o método de acurácia por permutação — sofre de uma limitação crítica: ele falha em considerar as correlações entre as variáveis.

Quando uma variável $U$ está altamente correlacionada com outras variáveis ($V_1, V_2, \dots$) condicionadas à variável resposta $Y$, a importância de $U$ é frequentemente subestimada ou completamente mascarada. No método de permutação padrão, embaralhar os valores de $U$ quebra sua associação com $Y$. No entanto, se $V_1, V_2, \dots$ permanecerem no modelo e estiverem altamente correlacionadas com $U$, elas podem efetivamente "preencher" a informação ausente, resultando em uma queda negligenciável na acurácia preditiva. Consequentemente, a importância calculada para $U$ permanece artificialmente baixa, apesar de $U$ ser um verdadeiro preditor. Este fenômeno leva a discrepâncias significativas entre a importância calculada e a utilidade preditiva real das variáveis.

Metodologia

Para abordar o efeito de mascaramento causado por variáveis correlacionadas, os autores propõem um framework que agrupa variáveis com base em suas correlações condicionais (correlação dada a variável resposta $Y$) antes de calcular a importância. A ideia central é remover a influência das variáveis correlacionadas durante a avaliação da importância de uma variável específica de interesse.

O artigo define o coeficiente de correlação condicional $\rho(U, V | Y)$ como a razão entre a covariância condicional e o produto dos desvios padrão condicionais. Utilizando esta métrica, os autores exploram duas abordagens algorítmicas distintas:

Método 1: Correção de Variável Individual (corrVI-Individual)

Esta abordagem opera em uma base por variável:

1. Para uma variável alvo $V_i$, o algoritmo identifica o conjunto de variáveis $V_{cor}$ que são condicionalmente correlacionadas com $V_i$.
2. Ele constrói um conjunto de dados reduzido contendo todas as variáveis exceto aquelas em $V_{cor}$ (denotado como $V_{nc}$).
3. A acurácia preditiva da Floresta Aleatória é calculada no conjunto $V_{nc}$ e depois no conjunto $V_{nc} \cup \{V_i\}$.
4. A importância de $V_i$ é definida como o aumento na acurácia preditiva quando $V_i$ é adicionada ao conjunto de variáveis não correlacionadas.
5. Ao remover todas as variáveis correlacionadas, o método garante que o ganho de acurácia seja atribuído exclusivamente a $V_i$, evitando o mascaramento.

Nota: Os autores reconhecem que este método remove "mais" informação do que o estritamente necessário (pois $V_{cor}$ pode conter informação além de $V_i$), o que pode levar a uma leve superestimação da importância. No entanto, eles argumentam que essa superestimação é negligenciável se as variáveis restantes fornecerem uma separação preditiva adequada.

Método 2: Correção por Agrupamento Espectral (corrVI-Spectral)

Esta abordagem agrupa todo o conjunto de variáveis em subgrupos disjuntos baseados em correlações condicionais pareadas:

1. Uma matriz de correlação condicional pareada é computada para todas as variáveis.
2. Esta matriz é tratada como uma matriz de similaridade, e o agrupamento espectral (spectral clustering) é aplicado para particionar as variáveis em grupos disjuntos ($G_1, \dots, G_K$) onde as variáveis dentro de um grupo são altamente correlacionadas, e as variáveis entre grupos são fracamente correlacionadas.
3. Para uma variável $V$ pertencente ao grupo $G_i$, o algoritmo remove o grupo inteiro $G_i$ do conjunto de dados.
4. A importância de $V$ é calculada como o aumento na acurácia preditiva quando $V$ é adicionada de volta ao conjunto de variáveis $V_{nc} = \text{Todas as Variáveis} \setminus G_i$.
5. Como nenhuma variável em $V_{nc}$ é condicionalmente correlacionada com $V$, a pontuação de importância não é mascarada.

Remoção de Variáveis vs. Permutação:
Os autores escolhem explicitamente remover variáveis correlacionadas em vez de permutá-las durante o cálculo da importância. Eles demonstram que, embora remover ou permutar uma única variável resulte em resultados semelhantes devido à seleção de variáveis integrada da RF, permutar múltiplas variáveis simultaneamente pode degradar a acurácia preditiva mais do que a simples remoção. Isso ocorre porque permutar múltiplas variáveis de ruído aumenta a probabilidade de uma variável de ruído ser selecionada como ponto de divisão, inflando artificialmente a queda na acurácia. Portanto, a remoção é considerada a abordagem mais estável para corrigir correlações de múltiplas variáveis.

Principais Contribuições

1. Identificação do Problema de Mascaramento: O artigo destaca formalmente como as correlações condicionais em RF levam à subestimação da importância das variáveis, um problema frequentemente negligenciado nas implementações padrão.
2. Framework de Correlação Condicional: Os autores introduzem o uso da correlação condicional (dada $Y$) como a métrica para o agrupamento de variáveis, em vez da correlação incondicional.
3. Dois Algoritmos de Correção: A proposta de dois métodos computacionalmente eficientes:
   • Método 1: Uma abordagem flexível e baseada em indivíduos que remove variáveis correlacionadas específicas para cada alvo.
   • Método 2: Uma abordagem de agrupamento usando clustering espectral para lidar com grupos de variáveis globalmente.
4. Validação Empírica: Os métodos são testados em oito conjuntos de dados reais do repositório UC Irvine Machine Learning Repository, demonstrando que as correções alinham-se melhor com o conhecimento de domínio do que as pontuações de importância padrão de RF.

Resultados Experimentais

Os autores avaliaram ambos os métodos em conjuntos de dados incluindo Seeds, Indian Liver Patient, Heart Disease, Wine, Maternal Health, Obesity e Bank Marketing.

• Seeds Dataset: A RF original atribuiu importância próxima de zero para "Compactness" ($V_3$) e baixa importância para "Area" ($V_1$) e "Perimeter" ($V_2$). Ambos os métodos de correção aumentaram significativamente a importância de $V_1$ e $V_2$. O Método 1 identificou corretamente $V_3$ como tendo importância não nula (pois contém informação única), enquanto o Método 2 (devido às limitações de agrupamento) a subestimou ligeiramente.
• Indian Liver Patient Dataset: Variáveis como Alkaline Phosphatase ($V_5$) e Total Protein ($V_8$) receberam importância próxima de zero pela RF padrão. O Método 1 ajustou esses valores para cima corretamente, refletindo sua significância médica. O Método 2 falhou em ajustar $V_5$ porque o algoritmo de agrupamento não capturou totalmente sua correlação com outras variáveis, mascarando sua importância.
• Heart Disease Dataset: Variáveis críticas como Idade ($V_1$), Gênero ($V_2$) e Pressão Arterial em Repouso ($V_4$) foram significativamente subclassificadas pela RF padrão. Ambos os métodos corrigiram essas pontuações. No entanto, o Método 2 falhou em ajustar $V_4$ e $V_{11}$ (Slope of ST segment) tão eficazmente quanto o Método 1 devido aos limites de agrupamento.
• Obesity e Bank Marketing Datasets: Tendências semelhantes foram observadas onde variáveis críticas de domínio (ex: Histórico Familiar de Sobrepeso, Histórico de Contato Anterior) foram subclassificadas pela RF, mas corrigidas pelos métodos propostos. O Método 1 provou ser geralmente mais robusto em casos onde a estrutura de correlação não formava clusters disjuntos perfeitos.

Em geral, o Método 1 demonstrou maior flexibilidade e precisão na correção das pontuações de importância, particularmente quando as variáveis formavam estruturas de correlação complexas que o clustering espectral não conseguia particionar perfeitamente.

Significância e Alegações

O artigo afirma que sua abordagem fornece "correções sensatas" às pontuações de importância de variáveis produzidas por Florestas Aleatórias. A significância reside em:

• Melhoria da Interpretabilidade: Ao mitigar o efeito de mascaramento, as pontuações corrigidas refletem melhor a verdadeira contribuição preditiva das variáveis, auxiliando na interpretação do modelo e seleção de características.
• Alinhamento com o Domínio: As pontuações de importância corrigidas alinham-se mais proximamente com o conhecimento estabelecido de domínio (ex: marcadores médicos em conjuntos de dados de fígado e coração) comparado às pontuações de RF padrão.
• Aplicabilidade Geral: Embora motivado por RF, os autores observam que a abordagem de remover variáveis correlacionadas para avaliar a importância é aplicável a métodos preditivos gerais.

Os autores mantêm um tom modesto, reconhecendo que o Método 1 pode superestimar ligeiramente a importância ao remover mais informação do que o necessário, e que o desempenho do Método 2 depende da qualidade do clustering espectral. Eles não alegam resolver todos os problemas de importância de características, mas oferecem um mecanismo prático e computacionalmente eficiente para abordar o problema específico do mascaramento induzido pela correlação.