Quantifying uncertainty and stability among highly correlated predictors: a subspace perspective

Título: Quantificando incerteza e estabilidade entre preditores altamente correlacionados: uma perspectiva de subespaço

1. O Problema

A seleção de variáveis (ou seleção de características) é um desafio fundamental na ciência de dados, especialmente em cenários onde os preditores (features) são altamente correlacionados (multicolinearidade). O artigo identifica duas limitações críticas nas abordagens tradicionais (como a Seleção de Estabilidade de Meinshausen & Bühlmann, 2010) nesses cenários:

1. Definição Discreta de Similaridade: Métricas tradicionais medem a similaridade entre dois modelos contando o número de características em comum ($|S_1 \cap S_2|$). Em presença de alta correlação, dois modelos podem não compartilhar nenhuma característica, mas serem quase idênticos em capacidade preditiva (ex: $X_1$ e $X_3$ são altamente correlacionados; um modelo com $\{X_1, X_2\}$ e outro com $\{X_3, X_4\}$ podem ter desempenho similar, mas a métrica discreta diz que são totalmente diferentes).
2. Instabilidade e "Divisão de Votos" (Vote Splitting): Em métodos de seleção baseados em reamostragem, a alta correlação faz com que o algoritmo escolha aleatoriamente entre características correlacionadas em diferentes subamostras. Isso resulta em "divisão de votos", onde nenhuma das características correlacionadas recebe uma pontuação de estabilidade alta, mesmo que ambas sejam sinais reais. Consequentemente, métodos tradicionais tendem a selecionar modelos muito pequenos (para evitar falsos positivos) ou falham em identificar a estrutura de substituição entre variáveis.

2. Metodologia Proposta

Os autores propõem uma mudança de paradigma: em vez de tratar a seleção de variáveis como um problema discreto de conjuntos de índices, eles a abordam através da geometria de subespaços.

A. Perspectiva de Subespaço

Cada conjunto de características selecionado $S$ é mapeado para um subespaço de características, definido como o espaço gerado pelas colunas da matriz de dados $X$ correspondentes a $S$ (denotado por $\text{col}(X_S)$).

• Similaridade Contínua: A similaridade entre dois modelos não é mais uma contagem binária, mas sim o grau de alinhamento entre seus subespaços. Eles utilizam a soma dos cossenos quadrados dos ângulos principais entre os subespaços como medida de similaridade ($\tau$).
• Medidas de Erro:
  • Verdadeiros Positivos (TP): Medidos pelo alinhamento entre o subespaço estimado e o subespaço do modelo verdadeiro.
  • Falsos Positivos (FP): Medidos pelo alinhamento do subespaço estimado com o subespaço ortogonal ao modelo verdadeiro.

B. Estabilidade via Subespaços

A estabilidade de um conjunto de características $S$ é definida pela sua capacidade de permanecer alinhada com os subespaços gerados por múltiplas reamostragens dos dados.

• Seja $P_{\text{avg}}$ a média das matrizes de projeção dos subespaços selecionados em $B$ subamostras.
• A estabilidade $\pi(S)$ é definida como o $|S|$-ésimo valor singular da matriz $P_{\text{col}(X_S)} P_{\text{avg}} P_{\text{col}(X_S)}$.
• Isso permite que um conjunto $S$ seja considerado estável mesmo se as características individuais variarem, desde que o subespaço global permaneça consistente.

C. Algoritmo FSSS (Feature Subspace Stability Selection)

Os autores desenvolvem o algoritmo FSSS para enumerar múltiplos modelos estáveis:

1. Entrada: Uma base de seleção (ex: Lasso ou regressão $\ell_0$) aplicada a subamostras.
2. Busca: Um processo iterativo que expande modelos a partir do conjunto vazio, adicionando variáveis uma a uma.
3. Critério de Estabilidade: Um modelo é considerado estável se sua métrica $\pi(S)$ exceder um limiar $\alpha$.
4. Otimização de Busca: O algoritmo utiliza propriedades de monotonicidade e critérios de rejeição precoce (baseados em traços de projeção) para reduzir drasticamente o espaço de busca, tornando viável a enumeração de múltiplos modelos estáveis (maximal $\alpha$-stable sets).

3. Contribuições Principais

1. Novo Framework Teórico: Introdução de medidas contínuas de similaridade, erro e estabilidade baseadas em subespaços, que se reduzem às noções discretas clássicas quando as variáveis são ortogonais, mas capturam a estrutura de correlação quando presentes.
2. Algoritmo FSSS: Um método computacionalmente eficiente para encontrar múltiplos modelos estáveis que capturam a intercambiabilidade de características, em vez de forçar uma única solução.
3. Garantias Teóricas:
   • Controle de Falsos Positivos: O artigo prova limites superiores para o erro de falsos positivos do FSSS, dependendo da qualidade da procedure base.
   • Consistência: Sob certas condições (agrupamento de características correlacionadas), o FSSS recupera com alta probabilidade conjuntos de seleção que contêm exatamente uma característica de cada "cluster" de sinal, ignorando ruído.
4. Implementação: O método foi implementado no pacote R substab.

4. Resultados Experimentais

Os autores testaram o FSSS em dados sintéticos e em um conjunto de dados reais de expressão gênica de câncer de mama (Sotiriou et al., 2006).

• Dados Sintéticos:
  • O FSSS superou a Seleção de Estabilidade (SS) e a Seleção de Estabilidade por Cluster (CSS).
  • Enquanto a SS sofria de "divisão de votos" (resultando em modelos vazios ou com baixa estabilidade) e a CSS dependia de agrupamentos pré-definidos que nem sempre capturavam a estrutura complexa, o FSSS identificou corretamente características de sinal e seus substitutos correlacionados.
  • Desempenho: O FSSS produziu modelos maiores (mais características selecionadas) com menor erro quadrático médio (MSE) de teste e menor taxa de falsos positivos.
• Dados Reais (Câncer de Mama):
  • O FSSS identificou múltiplos modelos estáveis que explicam a prognose do câncer de mama.
  • A análise de similaridade entre esses modelos revelou grupos de genes altamente correlacionados que são intercambiáveis para fins preditivos, oferecendo uma visão mais rica da incerteza do modelo do que uma única lista de genes.

5. Significado e Impacto

Este trabalho é significativo porque:

• Resolve a Ambiguidade da Multicolinearidade: Reconhece que, em dados altamente correlacionados, não existe um "único melhor modelo", mas sim um conjunto de modelos equivalentes (efeito Rashomon). O FSSS quantifica essa incerteza em vez de ignorá-la.
• Melhora a Interpretabilidade: Ao fornecer múltiplos modelos estáveis e medir sua similaridade, os pesquisadores podem entender quais características são essenciais e quais são apenas substitutos estatísticos, melhorando a interpretação biológica ou física dos resultados.
• Avanço Teórico: A integração de conceitos de álgebra linear (subespaços, projeções) com a seleção de variáveis estatística oferece um novo caminho para lidar com a instabilidade inerente a dados de alta dimensão e correlacionados.

Em resumo, o artigo propõe uma abordagem mais robusta e matizada para a seleção de variáveis, substituindo a contagem discreta de características por uma análise geométrica contínua de subespaços, resultando em modelos mais estáveis, preditivamente superiores e interpretativamente mais ricos.