Perspective on AI and quantum open-source software

Kwantuminformatiewetenschap is een snel groeiend veld dat probeert de vreemde regels van de subatomaire wereld te benutten om problemen op te lossen die onmogelijk zijn voor de computers van vandaag. Deze wetenschap leunt zwaar op software om circuits te bouwen, simulaties uit te voeren en de delicate hardware te besturen die de kwantum bits vasthoudt. Jarenlang is deze software openlijk gebouwd en gedeeld door een wereldwijde gemeenschap van onderzoekers, waardoor iedereen het werk kan inspecteren, verbeteren en erop voort te bouwen. Recentelijk heeft kunstmatige intelligentie dit landschap begonnen te hervormen. Deze intelligente tools kunnen code schrijven, nieuwe manieren suggereren om machines te kalibreren en zelfs helpen bij het ontdekken van nieuwe methoden om fouten te corrigeren. Echter, net zoals een nieuwe motor een nieuwe reeks veiligheidscontroles nodig heeft, heeft de introductie van kunstmatige intelligentie in deze hooggevoelige omgeving een kritische vraag opgeroepen: hoe weten we of de code die deze tools schrijven daadwerkelijk correct is, en wie is verantwoordelijk voor het controleren ervan?

Een team van onderzoekers van de Unitary Foundation en het Centre for Quantum Technologies heeft een nauwkeurige blik geworpen op deze opkomende realiteit. Ze onderzochten hoe kunstmatige intelligentie momenteel wordt gebruikt om kwantumsoftware te schrijven en te onderhouden, en ze analyseerden de last die dit legt op de menselijke vrijwilligers die deze projecten draaiende houden. Door publieke coderepositories, verslagen van vijf jaarlijkse hacking-evenementen en enquêtes onder meer dan 1.600 leden van de gemeenschap te bestuderen, ontdekten de onderzoekers dat kunstmatige intelligentie, hoewel een krachtige helper, ook een verborgen flessenhals creëert. De studie onthult dat zonder strikte nieuwe regels voor verificatie, de mensen die de kwantumsoftware veilig houden, worden overspoeld door de noodzaak om werk te controleren dat zij niet zelf hebben geschreven, een situatie die de wetenschappelijke vooruitgang dreigt te vertragen en het vertrouwen dat nodig is voor open samenwerking kan ondermijnen.

De onderzoekers begonnen met het in kaart brengen van precies waar kunstmatige intelligentie wordt gebruikt in de kwantumsoftwarestack. Ze vonden dat deze tools al helpen bij alles, van het schrijven van basiscode en het optimaliseren van de manier waarop circuits worden gecompileerd, tot het ontwerpen van controlepulsen voor hardware en zelfs het ontdekken van nieuwe manieren om fouten te corrigeren. In sommige gevallen werken kunstmatige intelligentie-agenten in lussen, waarbij ze oplossingen voorstellen, deze testen en hun aanpak verfijnen om een wetenschappelijk doel te bereiken. Deze "auto-research"-aanpak biedt grote belofte voor het versnellen van ontdekkingen. De onderzoekers merkten echter een aanzienlijke kloof op: terwijl de tools beter worden in het genereren van ideeën en code, zijn de methoden voor het verifiëren dat deze outputs wetenschappelijk geldig zijn, niet mee gegroeid. Voor kwantumsoftware is verificatie uniek moeilijk omdat het controleren van het antwoord vaak vereist dat het hele systeem wordt gesimuleerd, een taak die voor klassieke computers onmogelijk wordt zodra het systeem groeit voorbij enkele tientallen deeltjes.

Om de impact op de echte wereld te begrijpen, keken de onderzoekers naar de data. Ze analyseerden duizenden bestanden uit publieke repositories en ontdekten dat de kwantumsoftwaregemeenschap veel kleiner en minder stabiel is dan mainstream softwaregemeenschappen. Terwijl mainstream bibliotheken miljoenen keren per maand worden gedownload, zien kwantumbibliotheken veel minder downloads, en is de code die ze gebruikt vaak minder zichtbaar. Belangrijker nog, ze ontdekten dat de tests die deze code controleren bijna altijd worden uitgevoerd op kleine, vereenvoudigde versies van de problemen. In de testsuites van grote kwantumframeworks is het mediaan aantal deeltjes dat in een test wordt gebruikt slechts twee, en bijna alle tests omvatten twintig of minder. Dit betekent dat de veiligheidsnetten die momenteel in werking zijn, zijn ontworpen voor kleine, beheersbare problemen en fouten kunnen missen die pas optreden wanneer het systeem opschaalt naar de grootte die nodig is voor echt wetenschappelijk werk.

Het menselijke element van dit verhaal is misschien wel het meest urgent. De onderzoekers onderzochten de gemeenschap en ontdekten dat wanneer kunstmatige intelligentie code genereert, de last van het controleren ervan zwaar op de projectbeheerders valt. In een recente enquête gaf 79 procent van de respondenten aan dat zij vertrouwden op handmatige controle om door AI gegenereerde code te verifiëren, terwijl slechts 60 procent automatische tests gebruikte. Deze afhankelijkheid van het menselijk oog creëert een verschuiving in de manier waarop gemeenschapsevenementen worden georganiseerd. Organisatoren van jaarlijkse hackathons rapporteerden dat de tijd die wordt besteed aan het begeleiden van nieuwe bijdragers, wordt vervangen door tijd die wordt besteed aan het beoordelen van inzendingen die mogelijk door kunstmatige intelligentie zijn gegenereerd. Eén beheerder beschreef de ervaring als het praten met een kunstmatige intelligentie-tool via de interface, in plaats van het begeleiden van een menselijke leerling. De gegevens suggereren dat hoewel kunstmatige intelligentie de voltooiing van taken kan versnellen, het nieuwe bijdragers niet noodzakelijkerwijs helpt de vaardigheden aan te leren die ze nodig hebben om toekomstige beheerders te worden, en het risico loopt de review-procedure te veranderen in een flessenhals die het hele vakgebied vertraagt.

Het artikel betoogt dat de oplossing ligt in het vaststellen van nieuwe standaarden voor hoe bijdragen worden geleverd en geverifieerd. De onderzoekers stellen voor dat iedereen die code indient, of dat nu door een mens of een kunstmatige intelligentie is geschreven, reproduceerbaar bewijs moet leveren dat hun wijzigingen werken. Dit betekent dat in plaats van alleen een fix in te dienen, bijdragers de specifieke tests en gegevens moeten toevoegen die bewijzen dat de fix correct is. Ze suggereren dat projecten gespecialiseerde tools moeten gebruiken die de logica van een circuit kunnen verifiëren zonder dat het hele systeem gesimuleerd hoeft te worden, en dat deze tools deel uit moeten maken van het standaard reviewproces. Het team raadt ook aan dat projecten duidelijke grenzen stellen voor kunstmatige intelligentie-agenten, zodat zij niet zonder menselijke goedkeuring geld kunnen uitgeven aan hardware of gevaarlijke software kunnen installeren. Door verificatie een routine onderdeel van de workflow te maken, kan de gemeenschap ervoor zorgen dat de door kunstmatige intelligentie geproduceerde resultaten betrouwbaar zijn en door andere wetenschappers kunnen worden vertrouwd.

Uiteindelijk gaat dit werk over het bewaren van de integriteit van wetenschappelijke ontdekkingen in een tijdperk van geautomatiseerde ondersteuning. De onderzoekers onderhouden een open-source begeleidend repository om projecten te helpen deze nieuwe praktijken te adopteren, waarbij ze sjablonen en tools bieden om verificatie gemakkelijker te maken. Ze zien een toekomst voor zich waarin softwarebijdragen met dezelfde strengheid worden behandeld als wetenschappelijke artikelen, waarbij het bewijs dat een claim ondersteunt even belangrijk is als de claim zelf. Door de snelheid van kunstmatige intelligentie te combineren met de strengheid van onafhankelijke verificatie, kan de kwantumgemeenschap de grenzen van wat mogelijk is blijven verleggen zonder het vertrouwen en de samenwerking te verliezen die open wetenschap mogelijk maken. De studie concludeert dat hoewel kunstmatige intelligentie een krachtig instrument is voor exploratie, het de menselijke toewijding aan verificatie is die zal bepalen of de ontdekkingen die het helpt te maken, echt zijn.