Quantum probability for statisticians; some new ideas

Gedurende het grootste deel van de vorige eeuw vertrouwde de wetenschap van de statistiek op één enkel, rigide kader voor het begrijpen van kans en onzekerheid. Dit kader, bekend als klassieke waarschijnlijkheid, beschouwt de wereld als een enorme bibliotheek van mogelijkheden waar elke vraag een enkel, vaststaand antwoord heeft dat wacht om ontdekt te worden. Het werkt prachtig bij het tellen van stemmen, het voorspellen van het weer of het analyseren van medische proeven, uitgaande van de veronderstelling dat de parameters die we bestuderen slechts getallen zijn in een verzameling zonder verborgen structuur. Echter, een aparte tak van de wetenschap, de kwantumfysica, opereert al lang onder een andere set regels. In de kwantumwereld kan de handeling van het stellen van een vraag het antwoord veranderen, en kunnen twee verschillende vragen over hetzelfde systeem zo diep met elkaar verbonden zijn dat het weten van het antwoord op de één de ander fundamenteel onzeker maakt. Lange tijd beschouwden statistici deze kwantumregels als exotische instrumenten die alleen voorbehouden waren aan de microscopische wereld van atomen en deeltjes, in de overtuiging dat ze geen plaats hadden in de macroscopische wereld van menselijke data en besluitvorming.

Deze scheiding heeft een kloof gecreëerd in ons begrip. Terwijl de kwantumfysica ons zicht op het universum heeft gerevolutioneerd, is haar wiskundige taal grotendeels geïsoleerd gebleven van het dagelijkse werk van statistici. Toch suggereren recente ontwikkelingen dat het vreemde gedrag van kwantumdeeltjes niet zozeer een eigenaardigheid van het zeer kleine is, maar eerder een reflectie van hoe wij, als waarnemers, informatie verzamelen en verwerken. Als de regels die het spin van een elektron beheersen in feite regels zijn over de grenzen van wat wij kunnen weten, dan kunnen diezelfde regels ook van toepassing zijn op hoe wij data analyseren in de geneeskunde, economie of kunstmatige intelligentie. De vraag is niet langer of kwantummechanica echt is, maar of de logica ervan ons kan helpen een beter begrip te krijgen van de complexe, ruisige data die onze moderne wereld definiëren.

In een nieuw artikel stelt Inge S. Helland van de Universiteit van Oslo een gedurfde brug voor tussen deze twee werelden. Hij betoogt dat kwantumwaarschijnlijkheden niet alleen voor atomen zijn; ze kunnen dienen als een krachtig nieuw instrument voor statistici. Helland bouwt zijn betoog op een frisse fundering voor de kwantumtheorie, een fundering die de mystiek van "spookachtige" fysica wegneemt en deze vervangt door een heldere, logische structuur gebaseerd op wat een waarnemer daadwerkelijk kan meten. Hij suggereert dat het universum gevuld is met "theoretische variabelen"—hoeveelheden die in een model bestaan maar niet allemaal tegelijkertijd voor ons toegankelijk zijn. Sommige van deze variabelen zijn "toegankelijk", wat betekent dat we ze met hoge precisie kunnen meten, terwijl andere "ontoegankelijk" zijn, verborgen voor direct zicht. De kern van zijn argument is dat wanneer we proberen twee verschillende toegankelijke variabelen te meten die diep met elkaar verbonden zijn, ze zich op een manier gedragen die de klassieke statistiek niet kan verklaren, maar die de kwantumwaarschijnlijkheid natuurlijk afhandelt.

Om dit concreet te maken, beschrijft Helland een gedachte-experiment met een medische proef met vier verschillende behandelingen voor een huiduitslag. Stel je een patiënt voor die aan de linkerkant van hun rug een behandeling krijgt en aan de rechterkant een mengsel van de andere drie. Het doel is om te zien welke kant meer verbetert. Vanuit een klassiek oogpunt zouden we kunnen aannemen dat we de exacte waarschijnlijkheid van één winnende zijde kunnen berekenen op basis van de verborgen sterktes van de vier behandelingen. Helland laat echter zien dat als we de situatie behandelen als een kwantumprobleem, waarbij de "vraag" die we stellen (welke zij is beter) afhangt van een voorafgaande "vraag" (hoe de behandelingen werden gemengd), het antwoord verandert. Hij berekent dat onder een specifieke set symmetrieën de waarschijnlijkheid van een bepaalde uitkomst verschuift van een klassieke schatting van ongeveer 43 procent naar een kwantumschatting van exact 33 procent. Dit is niet louter een wiskundige truc; het suggereert dat wanneer onze data beperkt zijn of onze parameters complex zijn, de kwantumbenadering een robuustere manier biedt om onze initiële overtuigingen, of "priors", vast te stellen nog voordat we de resultaten zien.

Het artikel gaat verder door aan te tonen hoe deze ideeën complexe dataproblemen kunnen vereenvoudigen, met name in het veld van machine learning. In moderne kunstmatige intelligentie worstelen computers vaak wanneer ze worden geconfronteerd met duizenden variabelen maar slechts enkele datapunten, een situatie die bekend staat als de "vloek van de dimensionaliteit". Helland demonstreert dat de wiskundige technieken die worden gebruikt om dit in de kwantumfysica op te lossen—specifiek een methode genaamd modelreductie—kunnen worden toegepast op statistische modellen. Door de verborgen lagen van een neuraal netwerk te behandelen alsof het kwantumsystemen zijn, laat hij zien dat we het aantal variabelen dat we moeten bijhouden kunnen verminderen zonder belangrijke informatie te verliezen. Deze benadering, die nauw verwant is aan een statistische techniek genaamd partial least squares regressie, stelt onderzoekers in staat om de meest essentiële patronen in een dataset te vinden door zich te concentreren op de "maximale" variabelen die de meeste informatie dragen, waardoor de ruis effectief wordt weggefilterd.

Een van de meest significante bevindingen in het artikel is de afleiding van de "Born-regel", de beroemde formule die natuurkundigen gebruiken om de waarschijnlijkheid van een kwantumevenement te berekenen. Meestal wordt deze regel beschouwd als een fundamenteel postulaat van de natuur, iets dat er simpelweg is. Helland leidt de regel echter af uit een reeks logische principes over wat een waarnemer kan weten. Hij betoogt dat als we accepteren dat onze kennis beperkt is tot wat we kunnen meten, en dat onze metingen onderhevig zijn aan bepaalde symmetrieën, de Born-regel zich natuurlijk voordoet als de enige logische manier om waarschijnlijkheden toe te wijzen. Dit verschuift het perspectief van de kwantumtheorie van een beschrijving van hoe de wereld "is" naar een beschrijving van wat we over de wereld kunnen "weten". In dit licht zijn de vreemde waarschijnlijkheden van de kwantummechanica geen eigenschap van de deeltjes zelf, maar een reflectie van de structuur van onze eigen onderzoekendheid.

De implicaties voor de statistiek zijn diepgaand. Helland suggereert dat statistici door het adopteren van deze kwantumgeïnspireerde methoden situaties kunnen aanpakken waarin traditionele methoden falen, zoals wanneer data schaars zijn of wanneer de variabelen diep onderling verbonden zijn. Hij biedt een lijst met potentiële toepassingen, variërend van het verbeteren van de nauwkeurigheid van machine learning-algoritmen tot het verfijnen van de interpretatie van klinische proeven. Het artikel beweert niet dat de hele wereld een kwantumcomputer is, noch suggereert het dat de klassieke statistiek verouderd is. In plaats daarvan biedt het een nieuwe lens om naar data te kijken, een lens die de grenzen van menselijke kennis erkent en de wiskundige instrumenten van de kwantumtheorie gebruikt om die grenzen te navigeren.

Uiteindelijk is dit werk een uitnodiging om het fundament van hoe we leren van data te heroverwegen. Net zoals de introductie van nieuwe wiskundige structuren in het verleden de horizonten van de fysica heeft uitgebreid, betoogt Helland dat het integreren van kwantumwaarschijnlijkheid in de statistiek het vakgebied kan verrijken, door oplossingen te bieden voor problemen die lang onoplosbaar leken. Het artikel concludeert met een visie op een toekomst waarin de culturen van statistiek en kwantumfysica niet langer gescheiden zijn, maar in plaats daarvan deel uitmaken van een verenigd begrip van hoe we de wereld om ons heen observeren, meten en begrijpen. Door de waarnemer niet te behandelen als een passieve recorder van feiten, maar als een actieve deelnemer wiens vragen de antwoorden vormgeven, kunnen we een nauwkeurigere en krachtigere manier vinden om zin te geven aan de complexe data die onze samenleving aandrijven.