The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression

Resumen Técnico: El patrón de ceros de una matriz de diseño impulsa el descenso múltiple en la regresión sobreparametrizada

Planteamiento del Problema
La regresión lineal sobreparametrizada ha sido estudiada extensamente; sin embargo, los marcos teóricos existentes dependen en gran medida de dos supuestos restrictivos: que las covariables son independientes y que sus matrices de covarianza son no degeneradas (definidas positivas). Bajo estas condiciones, el riesgo de predicción típicamente exhibe una curva de "doble descenso" con un único pico en el umbral de interpolación ($\gamma = p/n = 1$), impulsado por un único evento espectral donde la matriz de diseño pierde rango.

Este artículo aborda la brecha en la comprensión de cuándo y por qué surge el descenso múltiple —la aparición de múltiples picos de riesgo— basándose únicamente en la estructura de los datos, sin depender de ajustes arquitectónicos, bloques de características distintos o escalas de kernel diferenciadas. Los autores investigan la regresión de mínimos cuadrados con regularización ridge evanescente ($\lambda_n \downarrow 0$) en el régimen proporcional ($p/n \to \gamma \in (0, \infty)$) bajo dos relajaciones específicas:

1. Heterogeneidad: Las observaciones son independientes pero poseen matrices de covarianza potencialmente deficientes en rango (rank-deficient).
2. Dependencia: Las observaciones están correlacionadas a través de componentes separables de rango finito (por ejemplo, aumentación de datos).

Metodología
La innovación metodológica central es la reducción de ambos diseños (heterogéneo y dependiente) a un modelo de perfil de varianza. Al rotar los datos hacia un eigenbasis compartido (donde las covarianzas son simultáneamente diagonalizables), los autores transforman el problema en el análisis de una matriz Gaussiana con entradas independientes pero varianzas desiguales, definida por una matriz de perfil de varianza $S \in \mathbb{R}^{n \times p}$.

1. Reducción al Perfil de Varianza:

   • Para el Modelo 1 (Heterogéneo), donde $X_i = \Sigma_i^{1/2} Z_i$, el perfil $S$ se construye a partir de los autovalores de las covarianzas individuales $\Sigma_i$.
   • Para el Modelo 2 (Dependiente), donde $X = \sum (\tilde{\Sigma}^{(m)})^{1/2} Z^{(m)} (\Sigma^{(m)})^{1/2}$, el perfil $S$ se deriva del producto de los autovalores de los componentes de covarianza de muestra y de coordenadas.
   • Crucialmente, el patrón de ceros de $S$ (donde $S_{ij} = 0$) codifica qué observaciones no pueden "ver" qué direcciones de coordenadas, representando degeneraciones estructurales.

2. Equivalentes Deterministas mediante Leyes Locales:
   Los autores derivan equivalentes deterministas para el riesgo de predicción (sesgo y varianza) en un régimen de ridge evanescente. Esto requiere extender la ley local de la teoría de matrices aleatorias (específicamente de [4]) para rastrear explícitamente el parámetro espectral a medida que se aproxima a cero ($\lambda_n \downarrow 0$). Esto permite el análisis del "borde duro" (hard edge) del espectro, donde se acumulan los autovalores pequeños.

3. Caracterización Combinatoria:
   El comportamiento del riesgo está vinculado a la descomposición de Dulmage–Mendelsohn (DM) del grafo bipartito asociado al soporte de $S$ (el "grafo de varianza").

   • Soporte del Sesgo: Determinado por el conjunto de columnas ($J_S$) que pueden quedar sin emparejar por un emparejamiento máximo en el grafo de varianza. Estos corresponden a las direcciones donde el estimador retiene sesgo.
   • Picos de Varianza: Determinados por una "condición de conmutación" (switching condition) en el grafo residual (tras eliminar las columnas degeneradas y sus vecinos). Un pico ocurre cuando el grafo residual pierde la "propiedad de Hall fuerte del lado de las columnas", forzando los autovalores más pequeños no nulos hacia el borde duro.

Contribuciones Clave y Resultados

1. Mecanismo para el Descenso Múltiple:
   El artículo demuestra que una única matriz de diseño y un único estimador pueden producir múltiples picos de riesgo. Estos picos no son artefactos de arquitecturas específicas, sino que son intrínsecos a la degeneración espectral causada por el patrón de ceros en la estructura de la covarianza.

   • Sesgo: Persiste en las coordenadas que son estructuralmente inobservables (no emparejadas en la descomposición DM).
   • Varianza: Diverge en valores específicos de la relación de aspecto donde el diseño residual se vuelve "cuadrado" (la condición de conmutación), causando un pico en el riesgo.

2. Reglas Exactas para la Ubicación de los Picos:
   Los autores proporcionan una regla combinatoria exacta para predecir el número y la ubicación de los picos:

   • El soporte del sesgo está fijado por el conjunto de columnas degeneradas $J_S$.
   • Los picos de varianza ocurren en los valores de $\gamma$ donde el sub-diseño residual (tras eliminar $J_S$) transiciona de tener holgura de Hall fuerte del lado de las columnas a fallar en ella.
   • Esto se ilustra en ejemplos como la aumentación de datos (Modelo 2) y subespacios heterogéneos (Modelo 1), donde emergen múltiples umbrales a medida que diferentes bloques del diseño se vuelven cuadrados en relación con el tamaño de la muestra.

3. Contraste con Diseños Definidos Positivos:
   El artículo distingue entre covarianzas con rango deficiente y definidas positivas.

   • Si las covarianzas son definidas positivas (incluso si son heterogéneas y no conmutativas), el patrón de ceros es vacío. Los autores conjeturan, apoyados por simulaciones, que tales diseños retienen únicamente el pico clásico único en $\gamma = 1$.
   • El descenso múltiple es impulsado específicamente por los ceros (deficiencia de rango) en la covarianza, no meramente por la heterogeneidad o la rotación.

4. Robustez y Universalidad:

   • Los resultados teóricos se mantienen para diseños con entradas independientes y perfiles de varianza coincidentes, no solo para los gaussianos (Observación 1). Las simulaciones con entradas Student-$t_3$ (momento tercero infinito) confirman que la estructura de los picos persiste.
   • El mecanismo se aplica a diseños degenerados del mundo real, como los embeddings de texto de transformadores preentrenados aumentados con ruido Gaussiano, que exhiben un descenso múltiple en pruebas empíricas.

Significado
El artículo sostiene que el fenómeno del descenso múltiple no se limita a modelos complejos de múltiples componentes, sino que puede surgir del patrón de ceros estructural de un diseño único, heterogéneo o dependiente. Al caracterizar los picos de riesgo a través de la descomposición de Dulmage–Mendelsohn del soporte del perfil de varianza, los autores proporcionan una regla determinista para predecir dónde ocurren los picos de riesgo. Esto desplaza la comprensión de la regresión sobreparametrizada de una perspectiva puramente espectral (basada en relaciones de aspecto) a una estructural (basada en la observabilidad de las coordenadas), destacando que la degeneración en la covarianza de los datos es el principal motor del descenso múltiple.

El trabajo también introduce una extensión técnica de las leyes locales al régimen de ridge evanescente, permitiendo el análisis del borde duro del espectro en presencia de ceros estructurales, una herramienta de interés independiente para la teoría de matrices aleatorias.