Resumo Técnico: Projeções Aleatórias Bidirecionais para Regressão OLS

Declaração do Problema

Este artigo aborda as propriedades estatísticas da regressão de Mínimos Quadrados Ordinários (OLS) quando aplicada a dados de grande escala e alta dimensionalidade. Embora a projeção aleatória seja uma técnica bem estabelecida para reduzir a dimensionalidade dos dados (espaço de características) para escalar o OLS, e separadamente para reduzir o número de amostras (pontos de dados) para acelerar a estimativa, o comportamento estatístico de aplicar projeções aleatórias em ambas as direções simultaneamente permanece inexplorado.

Os autores investigam o estimador de Projeção Aleatória Bidirecional (bOLS), que opera sobre um conjunto de dados $(WXR, WY)$, onde $X \in \mathbb{R}^{n \times p}$ é a matriz de características, $Y \in \mathbb{R}^n$ é o vetor de rótulos, $R \in \mathbb{R}^{p \times p_1}$ projeta as características para uma dimensão inferior $p_1$ e $W \in \mathbb{R}^{n_1 \times n}$ projeta as amostras para uma contagem reduzida $n_1$. O objetivo é derivar um limite de excesso de perda esperado para este estimador bOLS e compará-lo com o limite estabelecido para o estimador OLS projetado padrão (pOLS), que aplica apenas a projeção de características $(XR, Y)$.

Metodologia

A análise é conduzida sob um cenário de design fixo. O modelo de geração de dados é definido como $Y = X\beta^* + E$, onde $\beta^*$ é um vetor de parâmetros fixos e $E$ consiste em ruídos aleatórios independentes com média zero e variância $\sigma^2$.

Duas matrizes de projeção aleatória são introduzidas:

1. Projeção de Características ($R$): As entradas são Gaussianas i.i.d. $\mathcal{N}(0, 1/p_1)$.
2. Projeção de Amostra ($W$): As entradas são Gaussianas i.i.d. $\mathcal{N}(0, 1/n)$.

O estudo define dois estimadores:

• pOLS ($\hat{\theta}_R$): Minimiza $\frac{1}{n}\|XR\theta - Y\|^2$.
• bOLS ($\hat{\theta}_{RW}$): Minimiza $\frac{1}{n_1}\|WXR\theta - WY\|^2$.

A métrica de desempenho é o excesso de perda esperado, definido como a diferença entre a perda quadrática esperada do estimador e a perda ótima $L(\beta^*)$. Os autores derivam um limite superior teórico para o excesso de perda do bOLS e analisam o "gap" entre este limite e o limite conhecido para o estimador pOLS. A derivação baseia-se nas propriedades dos valores singulares da matriz de projeção aleatória $W$, utilizando especificamente resultados assintóticos relativos à concentração dos maiores ($\lambda_{w\uparrow}$) e menores ($\lambda_{w\downarrow}$) valores singulares de matrizes aleatórias Gaussianas.

Principais Contribuições

1. Limite Teórico para Projeção Bidirecional

O artigo estabelece um novo limite de excesso de perda esperada para o estimador bOLS (Teorema 3.2). O limite é expresso como:
$$B_{RW} = C_1 \frac{\sigma^2 p_1}{n} + C_2 \frac{1}{p_1} \|\beta^*\|_M^2 + b$$
onde $C_1$ e $C_2$ são constantes dependentes da razão $r = \sqrt{n_1/n}$ e dos valores singulares de $W$, e $b$ é um termo de viés. Este limite generaliza o resultado existente para pOLS (Teorema 3.1), recuperando-o quando $W$ é a matriz identidade ($n_1 = n$).

2. Análise do Gap de Desempenho

Uma contribuição primária é a caracterização analítica do gap entre o limite do bOLS ($B_{RW}$) e o do pOLS ($B_R$). Os autores identificam três implicações principais sobre este gap conforme a dimensão projetada $p_1$ aumenta:

• Degradação de Desempenho: Geralmente, o gap é positivo, indicando que o estimador bOLS performa pior que o estimador pOLS.
• Comportamento Não Monotônico do Gap: O gap não simplesmente aumenta ou diminui monotonicamente. Ele inicialmente diminui e depois aumenta conforme $p_1$ cresce. O ponto de "pivô" (onde a tendência se inverte) ocorre mais cedo quando a razão de redução de amostra ($n_1/n$) é menor.
• Recuperação Precoce de Perda: Embora ambos os estimadores exibam uma curva de perda em formato de "U" (diminuindo e depois aumentando) conforme $p_1$ aumenta, a perda do estimador bOLS "recupera-se" (começa a aumentar) mais cedo do que a do estimador pOLS.

3. Validação Empírica

As implicações teóricas são validadas usando dados reais do conjunto de dados Digit (1797 imagens, 64 características). Os resultados numéricos confirmam que:

• O bOLS geralmente produz um excesso de perda esperada maior que o pOLS.
• O gap de perda diminui conforme $p_1$ aumenta, mas eventualmente "dá o salto de volta" (bounces back).
• O ponto de recuperação ocorre em um $p_1$ mais baixo quando a redução de amostra é mais agressiva (ex: $n_1/n = 0,25$ vs. $0,5$), alinhando-se com as previsões teóricas.

Significância e Alegações

O artigo afirma preencher uma lacuna na literatura ao fornecer a primeira análise teórica de projeções aleatórias bidirecionais para regressão OLS. A significância reside em quantificar os compromissos (trade-offs) de reduzir simultaneamente o tamanho da amostra e a dimensão das características.

Os autores concluem modestamente que, embora a projeção bidirecional seja desejável para eficiência computacional em cenários de grande escala, ela acarreta um custo estatístico. Os limites derivados e o comportamento de "pivô" identificado fornecem orientação teórica para praticantes sobre como a interação entre a redução de amostra ($n_1$) e a redução de dimensão ($p_1$) afeta a precisão da estimativa. Especificamente, os resultados sugerem que uma redução agressiva de amostra ($pequena \ n_1/n$) pode causar a deterioração do erro de estimativa em dimensões de características mais baixas em comparação com a redução de dimensionalidade padrão isolada.