Entangling power of neural networks

Stel je voor dat je een enorme, complexe puzzel aan een vriend probeert te beschrijven, maar je kunt hem slechts twee aparte, piepkleine enveloppen sturen. De ene envelop bevat de stukjes voor de linkerkant van de puzzel, en de andere voor de rechterkant. De grote vraag in de wetenschap is: hoeveel informatie moet je in die kleine enveloppen proppen zodat je vriend, wanneer hij ze bij elkaar legt, het hele plaatje perfect kan reconstrueren? In de wereld van de kwantumfysica is dit als proberen te begrijpen hoe twee verreeltjes met elkaar "verstrengeld" zijn—een spookachtige verbinding waarbij de toestand van de één onmiddellijk invloed heeft op de ander, ongeacht hoe ver ze van elkaar verwijderd zijn. Wetenschappers weten al lang dat voor sommige van deze kwantumpuzzels de "enveloppen" onmogelijk groot moeten zijn om alle noodzakelijke details te bevatten. Maar wat als de manier waarop je de stukjes weer in elkaar zet niet zomaar een simpel stapelwerk is? Wat als de persoon die de puzzel weer in elkaar zet een superintelligent, niet-lineair brein heeft dat naar de twee kleine enveloppen kan kijken en er magisch het hele plaatje uit kan afleiden? Dit is het mysterie dat een team van natuurkundigen van MIT, Harvard en Caltech wilde oplossen. Ze wilden weten of het gebruik van een specifiek soort wiskundig "brein"—een neuraal netwerk—die enorme enveloppen kon verkleinen tot iets hanteerbaars, zelfs voor de meest ingewikkelde kwantumverbindingen.

Het artikel, getiteld "Entangling power of neural networks", introduceert een nieuwe manier om te meten hoe goed een neuraal netwerk is in deze "reconstructie"-truc. De auteurs, Taige Wang, Nisarga Paul en Liang Fu, stellen een concept voor dat ze "entangling power" noemen. Denk aan een neuraal netwerk als een proces van twee stappen: eerst nemen twee "encoders" de data van de linker- en rechterzijde en comprimeren deze in een kleine, gedeelde "latente ruimte" (zoals een grote koffer samenpersen tot een kleine rugzak). Vervolgens probeert een "decoder" die twee rugzakken te gebruiken om de oorspronkelijke functie of golffunctie weer op te bouwen. In de oude dagen keken wetenschappers vooral naar hoeveel items er in de rugzakken zaten (de "Schmidt-rang") om de complexiteit van de verbinding te raden. Maar dit artikel betoogt dat het type decoder net zo belangrijk is. Als de decoder slechts een simpel, lineair instrument is (zoals een basis rekenmachine), kan hij niet veel magie verrichten. Echter, als de decoder een "niet-lineair" polynoom is—een chique wiskundige functie die gegevens kan vervormen en draaien—kan hij een enorme hoeveelheid verstrengeling genereren uit een verrassend kleine rugzak.

De onderzoekers hebben precies berekend hoe krachtig deze polynoom-decoders zijn. Ze ontdekten dat het vermogen om verstrengeling te genereren afhangt van twee dingen: de grootte van de latente ruimte (laten we dat $K$ noemen, de breedte van de rugzak) en de complexiteit van de decoder (laten we dat $p$ noemen, de graad van het polynoom). Hun belangrijkste bevinding is een formule die laat zien dat de entangling power, $E_p(K)$, gelijk is aan $\binom{K+p}{p}$. Dit ziet er misschien uit als een eng wiskundige vergelijking, maar het resultaat is verbijsterend: zelfs met een zeer bescheiden grootte van de rugzak (een kleine $K$), kan het netwerk met een decoder die een redelijke hoeveelheid complexiteit heeft (een hogere $p$), een astronomisch aantal verbindingen aan.

Om dit te bewijzen, keken de auteurs naar een "maximaal verstrengelde" toestand, wat als de meest ingewikkelde puzzel denkbaar is (specifiek $n$ Bell-paren, waarbij het aantal configuraties $D = 2^n$ is). Normaal gesproken vereist het vertegenwoordigen van deze toestand een rugzakgrootte die exponentieel groeit met het aantal deeltjes. Maar het artikel laat zien dat als je een polynoom-decoder gebruikt, je die rugzak drastisch kunt verkleinen. Bijvoorbeeld, als je een decoder gebruikt met een graad van $p = n$ (waarbij $n$ het aantal deeltjes is), heb je slechts een latente ruimtebreedte nodig van ongeveer $0,29n$. Nog verbazingwekkender is dat als je de decoder echt complex maakt (graad $p \ge 2n - 1$), je de gehele maximaal verstrengelde toestand in een enkele variabele ($K=1$) kunt persen. Het artikel biedt hiervoor een rigoureus wiskundig bewijs, waarbij wordt aangetoond dat elke functie exact gerepresenteerd kan worden, zolang het aantal mogelijke polynoomcombinaties groter is dan het aantal configuraties dat je moet beschrijven.

De auteurs verduidelijken ook wat dit niet betekent. Ze wijzen erop dat hoewel je theoretisch elke functie in een minuscule ruimte kunt comprimeren als de decoder complex genoeg is, die decoder zelf onmogelijk ingewikkeld kan worden om te bouwen. In hun voorbeeld van de "maximaal verstrengelde" toestand laten ze zien dat het comprimeren van de toestand naar $K=1$ een decoder vereist van graad $D-1$ (wat enorm is). Er is dus een afweging: je kunt de rugzak klein maken, maar de "instructies voor de assemblage" (de decoder) worden dan veel langer en complexer. Het artikel stelt vast dat neurale netwerken, met hun niet-lineaire decoders, een "exponentiële entangling power" hebben met bescheiden middelen, wat betekent dat ze veel efficiënter zijn in het vastleggen van complexe kwantumcorrelaties dan voorheen gedacht, mits men bereid is een voldoende complexe decoder te gebruiken. Dit werk is niet alleen van toepassing op de kwantumfysica; het biedt ook een nieuw kader voor het begrijpen van hoe machine learning-modellen correlaties in het algemeen afhandelen, wat suggereert dat de "niet-lineariteit" in onze AI-modellen een superkracht is voor het comprimeren van informatie die lineaire methoden simpelweg niet kunnen evenaren.