The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression

Technische Samenvatting: Het Nulpatroon van een Ontwerndatamatrix Drijft Meervoudige Daling aan in Overgeparameteriseerde Regressie

Probleemstelling
Overgeparameteriseerde lineaire regressie is uitgebreid bestudeerd, maar bestaande theoretische kaders steunen grotendeels op twee restrictieve aannames: dat covariaten onafhankelijk zijn en dat hun covariantiematrices niet-degeneratief (positief definiet) zijn. Onder deze condities vertoont het voorspellingsrisico doorgaans een "dubbele daling"-curve met een enkele piek bij de interpolatiedrempel ($\gamma = p/n = 1$), gedreven door een enkel spectraal evenement waarbij de ontwerndatamatrix zijn rang verliest.

Dit artikel adresseert de kloof in het begrip van wanneer en waarom meervoudige daling—de opkomst van meervoudige risicopeken—kan ontstaan, uitsluitend door de structuur van de data, zonder te vertrouwen op architecturale afstemming, afzonderlijke feature-blokken of verschillende kernel-schalen. De auteurs onderzoeken ridge-least squares met een verdwijnende straf ($\lambda_n \downarrow 0$) in het proportionele regime ($p/n \to \gamma \in (0, \infty)$) onder twee specifieke relaxaties:

1. Heterogeniteit: Observaties zijn onafhankelijk maar bezitten verschillende, potentieel rang-arme covariantiematrices.
2. Afhankelijkheid: Observaties zijn gecorreleerd via eind-rang scheidbare componenten (bijv. data-augmentatie).

Methodologie
De kern van de methodologische innovatie is de reductie van zowel heterogene als afhankelijke Gaussische designs naar een variantieprofielmodel. Door de data te roteren naar een gedeelde eigenbasis (waar covariances gelijktijdig diagonaliseerbaar zijn), transformeren de auteurs het probleem naar het analyseren van een Gaussische matrix met onafhankelijke entries maar ongelijke varianties, gedefinieerd door een variantieprofielmatrix $S \in \mathbb{R}^{n \times p}$.

1. Variantieprofiel Reductie:

   • Voor Model 1 (Heterogeen), waar $X_i = \Sigma_i^{1/2} Z_i$, wordt het profiel $S$ geconstrueerd uit de eigenwaarden van de individuele covariances $\Sigma_i$.
   • Voor Model 2 (Afhankelijk), waar $X = \sum (\tilde{\Sigma}^{(m)})^{1/2} Z^{(m)} (\Sigma^{(m)})^{1/2}$, wordt het profiel $S$ afgeleid van het product van de eigenwaarden van de sample- en coördinatencovariance-componenten.
   • Cruciaal is dat het nulpatroon van $S$ (waar $S_{ij} = 0$) codeert welke observaties welke coördinatierichtingen niet kunnen "zien", wat structurele degeneraties vertegenwoordigt.

2. Deterministische Equivalenten via Lokale Wetten:
   De auteurs leiden deterministische equivalenten af voor het voorspellingsrisico (bias en variantie) in een regime met een verdwijnende ridge. Dit vereist het uitbreiden van de lokale wet van de random matrix theory (specifiek vanuit [4]) om de spectrale parameter expliciet te volgen terwijl deze de nul nadert ($\lambda_n \downarrow 0$). Dit maakt de analyse van de "harde rand" van het spectrum mogelijk, waar kleine eigenwaarden zich ophopen.

3. Combinatorische Karakterisering:
   Het gedrag van het risico is gekoppeld aan de Dulmage–Mendelsohn (DM) decompositie van de bipartiete graaf geassocieerd met de ondersteuning van $S$ (de "variantie-graaf").

   • Bias Support: Wordt bepaald door de set kolommen ($J_S$) die niet gematcht kunnen worden door een maximale matching in de variantie-graaf. Dit komt overeen met richtingen waar de estimator bias behoudt.
   • Variantiepieken: Worden bepaald door een "schakelconditie" op de residu-graaf (na het verwijderen van degeneratieve kolommen en hun buren). Een piek treedt op wanneer de residu-graaf de "kolomzijde sterke Hall-eigenschap" verliest, waardoor de kleinste niet-nul eigenwaarden naar de harde rand worden gedreven.

Belangrijkste Bijdragen en Resultaten

1. Mechanisme voor Meervoudige Daling:
   Het artikel toont aan dat een enkele ontwerndatamatrix en een enkele estimator meerdere risicopeken kunnen produceren. Deze pieken zijn geen artefacten van specifieke architecturen, maar zijn inherent aan de spectrale degeneratie veroorzaakt door het nulpatroon van de covarantiestructuur.

   • Bias: Persisteert op coördinaten die structureel onobserveerbaar zijn (niet gematcht in de DM-decompositie).
   • Variantie: Divergeert bij specifieke aspectratio's waar de residu-ontwerp "vierkant" wordt (de schakelconditie), wat een piek in het risico veroorzaakt.

2. Exacte Regels voor Locatie van Pieken:
   De auteurs bieden een exacte combinatorische regel om het aantal en de locatie van de pieken te voorspellen:

   • De bias support wordt vastgesteld door de degeneratieve kolomset $J_S$.
   • De variantiepieken treden op bij de waarden van $\gamma$ waar de residu-subdesign (na het verwijderen van $J_S$) overgaat van het hebben van kolomzijde sterke Hall-slack naar het falen daarvan.
   • Dit wordt geïllustreerd door voorbeelden zoals data-augmentatie (Model 2) en heterogene subruimtes (Model 1), waarbij meerdere drempels ontstaan naarmate verschillende blokken van de design "vierkant" worden ten opzichte van de samplegrootte.

3. Contrast met Positief-Definitieve Designs:
   Het artikel maakt onderscheid tussen rang-arme en positief-definitieve covariances.

   • Als de covariances positief definitief zijn (zelfs als ze heterogeen en niet-commutatief zijn), is het nulpatroon leeg. De auteurs vermoeden, ondersteund door simulaties, dat dergelijke designs slechts de enkele klassieke piek behouden bij $\gamma = 1$.
   • Meervoudige daling wordt specifiek gedreven door de nulwaarden (rang-armoede) in de covariance, en niet louter door heterogeniteit of rotatie.

4. Robuustheid en Universaliteit:

   • De theoretische resultaten gelden voor designs met onafhankelijke entries en overeenkomende variantieprofielen, niet alleen voor Gaussische designs (Opmerking 1). Simulaties met Student-$t_3$ entries (oneindig derde moment) bevestigen dat de piekstructuur standhoudt.
   • Het mechanisme is van toepassing op real-world degeneratieve designs, zoals tekst-embeddings van voorgetrainde transformers die zijn uitgebreid met Gaussische ruis, die meervoudige daling vertonen in empirische tests.

Betekenis
Het artikel beweert dat het fenomeen van meervoudige daling niet beperkt is tot complexe, multi-component modellen, maar kan voortkomen uit het structurele nulpatroon van een enkel, heterogeen of afhankelijk design. Door de risicopeken te karakteriseren via de Dulmage–Mendelsohn decompositie van de ondersteuning van het variantieprofiel, bieden de auteurs een deterministische regel om te voorspellen waar risico-pieken optreden. Dit verschuift het begrip van overgeparameteriseerde regressie van een puur spectraal perspectief (gebaseerd op aspectratio's) naar een structureel perspectief (gebaseerd op de observeerbaarheid van coördinaten), waarbij zij benadrukken dat degeneratie in de data-covariance de primaire drijfveer is van meervoudige daling.

Het werk introduceert ook een technische uitbreiding van lokale wetten naar het regime met een verdwijnende ridge, wat de analyse van de harde rand van het spectrum in de aanwezigheid van structurele nullen mogelijk maakt, een instrument van onafhankelijke interesse voor de random matrix theory.