Triple descent in quantum linear regression

In het opkomende veld van quantum machine learning proberen computers patronen te leren van data die bestaat in de vreemde, probabilistische wereld van de kwantummechanica. In plaats van getallen op een scherm af te lezen, interageren deze machines met kwantumtoestanden—fragiele configuraties van deeltjes—en meten ze deze vervolgens om informatie te extraheren. Dit proces is inherent ruisgevoelig. Omdat kwantummetingen probabilistisch zijn, vertelt een enkele blik op een kwantumsysteem zelden het hele verhaal. Om een betrouwbare meting te krijgen, moeten onderzoekers de meting vele malen herhalen, een proces dat bekend staat als het nemen van "shots", en vervolgens de resultaten middelen. Hoe meer shots er worden genomen, hoe duidelijker het beeld wordt en hoe minder de willekeurige ruis interfereert. Jarenlang was de heersende wijsheid dat deze ruis slechts een overlast was, een tijdelijk obstakel dat simpelweg kon worden gladgestreken door meer data te verzamelen. Als de computer een fout maakte door een toevalstreffer in de meting, werd aangenomen dat de oplossing voor de hand lag: gewoon opnieuw meten.

Een team van onderzoekers heeft nu aangetoond dat deze intuïtie incompleet is. In een studie naar kwantum lineaire regressie—een methode waarbij een machine leert een waarde te voorspellen op basis van kwantummetingen—ontdekten zij dat de ruis van deze metingen niet simpelweg wegsterft. In plaats daarvan kan het de manier waarop het leerproces zich gedraagt fundamenteel hervormen, wat leidt tot onverwachte pieken in de fout die de standaardverwachtingen tarten. De onderzoekers ontdekten dat naarmate het aantal meetuitkomsten toeneemt, de voorspellingsfout niet simpelweg gestaag daalt. Het stijgt en daalt in een complex patroon met drie duidelijke stadia, een fenomeen dat zij "triple descent" noemen. Dit gedrag onthult dat de ruis het leerproces soms kan helpen, en op andere momenten diepe, onwrikbare vallen kan creëren die met meer data niet te verhelpen zijn.

De studie richt zich op een specifiek type leerprobleem waarbij een kwantumapparaat een set kenmerken produceert, die in essentie de waarschijnlijkheden van verschillende meetuitkomsten zijn. Een klassieke computer probeert vervolgens een lijn door deze kenmerken te trekën om een doelwaarde te voorspellen. De onderzoekers simuleerden dit proces met willekeurige kwantummetingen en trainingsdata, waarbij zij het aantal meetuitkomsten en het aantal keren dat elke toestand werd gemeten varieerden. Zij observeerden dat de fout in de voorspelling een specifiek pad volgt. Aanvankelijk, naarmate het aantal meetuitkomsten groter wordt, daalt de fout. Daarna bereikt het een eerste piek. Deze eerste piek treedt op wanneer de meetopstelling net complex genoeg wordt om theoretisch alle informatie over de kwantumtoestand te vatten, een punt dat bekend staat als informatieve volledigheid. Op dit precieze moment wordt de wiskundige structuur van de meting instabiel, waardoor de fout piekt. Deze instabiliteit is een bekend probleem in de klassieke statistiek, waarbij het hebben van net genoeg datapunten om een probleem op te lossen, de oplossing extreem gevoelig kan maken voor kleine fouten. De onderzoekers bevestigden dat deze eerste piek een "klassiek" effect is, gedreven door de geometrie van de meting zelf.

Echter, het verhaal eindigt daar niet. Terwijl de onderzoekers verder gingen met het toevoegen van meer meetuitkomsten, daalde de fout niet simpelweg verder. De fout steeg opnieuw naar een tweede, duidelijke piek. Deze tweede piek verschijnt wanneer het aantal meetuitkomsten overeenkomt met het aantal trainingsvoorbeelden, een punt dat de interpolatiedrempel wordt genoemd. In tegen tegenstelling tot de eerste piek is deze puur "kwantumachtig" van oorsprong. Het ontstaat omdat het eindige aantal shots dat wordt gebruikt om de waarschijnlijkheden te schatten, willekeurige fluctuaties introduceert die valse kenmerken creëren. Deze valse kenmerken bestaan niet in de ware kwantumtoestand; het is pure ruis. Wanneer het aantal uitkomsten overeenkomt met het aantal trainingsstatussen, probeert het leeralgoritme deze alleen uit ruis bestaande kenmerken perfect aan te passen. Het wijst ze enorme gewichten toe, waardoor het de willekeurige ruis in plaats van het onderliggende patroon effectief memoriseert. Dit creëert een tweede piek in de fout die fundamenteel anders is dan de eerste.

De meest verrassende bevinding is hoe deze twee pieken reageren op meer data. De eerste piek, veroorzaakt door de meetgeometrie, kan worden onderdrukt door meer shots te nemen tijdens de trainingsfase. Als de onderzoekers het aantal metingen per trainingsstatus verhoogden, werd de ruis gemiddeld en vlakte de eerste piek af. Echter, de tweede piek, de kwantumachtige, gedraagt zich anders. Zelfs als de onderzoekers een enorm aantal shots gebruikten om het model te trainen, verdween deze tweede piek niet. Deze verdween pas in het theoretische limiet waar de trainingskenmerken met perfecte, oneindige precisie bekend waren. In elk realistische scenario waar data eindig is, blijft deze piek bestaan. De onderzoekers toonden aan dat het toevoegen van meer trainingsshots deze piek zelfs erger maakt voordat deze uiteindelijk stabiliseert, omdat het algoritme meer vertrouwen krijgt in het aanpassen aan de ruis. Dit betekent dat het simpelweg verzamelen van meer data geen wondermiddel is; in het kwantumregime kan meer data de fouten zelfs verankeren.

Het team gebruikte geavanceerde wiskundige instrumenten, specifiek een vakgebied van de wiskunde genaamd random matrix theory, om de exacte vorm van deze foutcurves af te leiden. Zij bewezen dat de hoogte en breedte van deze pieken afhangen van de balans tussen het aantal meetuitkomsten, het aantal trainingsstatussen en het aantal genomen shots. Zij toonden ook aan dat een techniek genaand ridge regularisatie, die een kleine straf toevoegt om te voorkomen dat het model te veel belang toekent aan een enkel kenmerk, deze pieken kan afvlakken. Dit suggereert dat hoewel de kwantumeffectieve ruis een fundamentele instabiliteit creëert, deze beheersbaar is met de juiste wiskundige beperkingen. De resultaten dagen het idee uit dat kwantumkenmerken als zodanig kunnen worden behandeld alsof ze perfect bekend zijn. Als onderzoekers de ruis negeren en aannemen dat de kenmerken exact zijn, zullen zij de instabiliteit veroorzaakt door de meetgeometrie onderschatten en de nieuwe, kwantumspecifieke instabiliteit die voortvloeit uit de ruis zelf volledig missen.

Dit werk benadrukt een subtiele maar cruciale relatie tussen meetprecisie en leerstabiliteit in kwantumsystemen. Het laat zien dat de weg naar nauwkeurige voorspellingen geen rechte lijn is. Er zijn specifieke drempels waar het systeem fragiel wordt, en de aard van die fragiliteit verandert afhankelijk van of de meetopstelling net complex genoeg is om volledig te zijn, of dat het model probeert de ruis aan te passen. De onderzoekers concluderen dat het ontwerpen van kwantumleersystemen vereist een zorgvuldige balans. Men kan niet simpelweg het aantal uitkomsten of het aantal shots onafhankelijk van elkaar verhogen. De keuze voor het aantal meetuitkomsten moet gecoördineerd worden met de omvang van de trainingsset en het beschikbare shot-budget. Als deze factoren niet op elkaar zijn afgestemd, kan het toevoegen van meer meetuitkomsten de voorspellingen zelfs slechter maken, zelfs terwijl de meting zelf nauwkeuriger wordt. De studie biedt een roadmap voor het begrijpen van deze instabiliteiten, een manier om te voorspellen wanneer een kwantumleermodel zal worstelen en hoe men het kan afstemmen om de valkuilen van het triple-descent landschap te vermijden.