Quantum Models with Multi-Stage Training for Compositional Concept Generalization

Menselijke intelligentie bezit het opmerkelijke vermogen om eenvoudige, aangeleerde ideeën te combineren tot geheel nieuwe situaties. Iemand die begrijpt wat een "auto" is en wat "geel" betekent, kan direct een gele auto herkennen die hij nog nooit eerder heeft gezien, door de kennis van gevaar toe te passen op deze nieuwe combinatie. Dit vermogen, bekend als compositionele generalisatie, stelt ons in staat om te navigeren in een wereld waar we voortdurend nieuwe arrangementen van vertrouwde onderdelen tegenkomen. Voor kunstmatige intelligentie blijft dit vaardigheid echter een hardnekkige hindernis. Hoewel moderne systemen uitblinken in het herkennen van patronen die ze tijdens de training hebben gezien, struikelen ze vaak wanneer ze dezelfde patronen moeten toepassen op nieuwe combinaties, zoals een specifiek object geplaatst in een nieuwe ruimtelijke relatie. Deze beperking suggereert dat huidige modellen voorbeelden memoriseren in plaats van werkelijk te begrijpen hoe de onderliggende regels van hoe dingen samenkomen werken.

Onderzoekers aan University College London en de Universiteit van Amsterdam hebben een ander pad verkend om dit probleem op te lossen, door zich te wenden tot de vreemde en krachtige logica van de kwantummechanica. In hun werk, gepresenteerd voor de IEEE Quantum Week conferentie, stellen zij voor dat de manier waarop kwantumcomputers informatie verwerken, mogelijk natuurlijk aansluit bij de manier waarop mensen concepten combineren. Door een model te bouwen dat het leren van objecten scheidt van het leren van de relaties tussen hen, creëerden zij een systeem dat in ongeziene scenario's veel effectiever kan generaliseren dan traditionele methoden, terwijl het slechts een fractie van de rekenkracht gebruikt.

Het team richtte zich op een taak waarbij een computer naar een afbeelding van twee geometrische vormen moet kijken en de juiste beschrijving van hun relatie moet kiezen uit twee opties. Gegeven bijvoorbeeld een afbeelding van een kubus links van een kegel, moet het systeem de juiste frase "kubus links kegel" onderscheiden van een afleider zoals "kubus rechts kegel". Om de machine te leren, gebruikten de onderzoekers een dataset met afbeeldingen van vormen zoals bollen, cilinders en kegels in verschillende posities. De uitdaging was om het systeem te trainen op enkele combinaties, zoals een kegel rechts van een kubus, en het vervolgens te testen op combinaties die het nog nooit had gezien, zoals een kegel links van een kubus. Deze opzet dwingt het model om het concept "links" en "rechts" te leren als onafhankelijke regels die op elke vorm kunnen worden toegepast, in plaats van simpelweg specifieke plaatjes te memoriseren.

In plaats van het hele systeem in één keer te trainen, adopteerden de onderzoekers een tweestapsbenadering die een curriculum nabootst. In de eerste fase leerde het model individuele objecten te herkennen. Het kreeg afbeeldingen te zien van enkele vormen, zoals een eenzame bol of een enkele kubus, en leerde deze te koppelen aan hun namen. Zodra het model deze basisbouwstenen onder de knie had, bevroren de onderzoekers zijn geheugen van hoe deze vormen eruit zagen. In de tweede fase introduceerden zij de relationele taak. Het model kreeg nu afbeeldingen met twee vormen te zien en moest alleen leren wat de regels zijn van hoe ze zich tot elkaar verhouden, gebruikmakend van de stabiele, vooraf geleerde definities van de vormen die het al had gememoriseerd. Dit ontwerp zorgde ervoor dat het systeem niet telkens opnieuw probeerde te leren wat een "kubus" was wanneer het een nieuwe relatie zag, waardoor het werd gedwongen de relatie te behandelen als een aparte transformatie die op een vast object wordt toegepast.

Om dit te implementeren, gebruikten het team een raamwerk dat taal en betekenis vertaalt naar wiskundige structuren genaamd tensoren, die direct op kwantumcircuits kunnen worden afgebeeld. Ze testten verschillende manieren om beeldgegevens in deze kwantumcircuits te voeden. Eén methode, amplitude encoding genoemd, probeerde de exacte geometrie van de oorspronkelijke beeldgegevens te behouden. Een andere, angle encoding genoemd, transformeerde de gegevens op een manier die niet-lineaire veranderingen introduceerde, waardoor de informatie effectief werd hervormd om de verschillen tussen relaties duidelijker te maken. Ze experimenteerden ook met een "collage"-methode, waarbij de kwantumcircuits van twee afzonderlijke vormen fysiek werden gecombineerd om een enkele relationele afbeelding te representeren.

De resultaten van hun simulaties waren veelzeggend. Wanneer de onderzoekers hun meerstaps kwantummodel vergeleken met een standaard klassiek systeem, was het verschil in efficiëntie groot. De klassieke baseline had meer dan 150 miljoen trainbare parameters nodig om de taak te proberen te voltooien, maar faalde in het generaliseren en scoorde slechts 50 procent op ongeziene combinaties — wat in feite gokken was. In contrast hiermee bereikte het kwantummodel een sterke generalisatie met slechts 426 trainbare parameters. De meest succesvolle versie van hun systeem, die de collage-methode combineerde met angle encoding, bereikte een nauwkeurigheid van meer dan 72 procent op de ongeziene testgevallen. Deze prestatie was aanzienlijk beter dan een eenstaps kwantummodel dat probeerde alles tegelijk te leren, wat bewees dat het scheiden van het leren van objecten van het leren van relaties cruciaal was.

De onderzoekers ontdekten dat het succes van hun model sterk afhing van hoe de gegevens werden gecodeerd. De angle encoding methode, die niet-lineaire transformaties introduceerde, bleek superieur aan de amplitude encoding methode. Dit suggereert dat de oorspronkelijke beeldgegevens, zoals verwerkt door standaardinstrumenten, de ruimtelijke relaties die nodig waren voor de taak niet duidelijk genoeg scheidden. Het kwantumcoderingproces zelf hielp de informatie te herstructureren, waardoor het onderscheid tussen "links" en "rechts" zichtbaarder werd voor het model. Terwijl de amplitude encoding de oorspronkelijke vorm van de gegevens behield, hield het de verwarrende gelijkenissen tussen verschillende ruimtelijke arrangementen intact, waardoor ze moeilijker te onderscheiden waren.

Deze bevindingen, die volledig voortkomen uit computer-simulaties, suggereren dat gestructureerde kwantumrepresentaties een veelbelovende weg bieden voor het aanleren van de machine van compositionaliteit. Door een duidelijke scheiding af te dwingen tussen wat dingen zijn en hoe ze zich tot elkaar verhouden, en door kwantumcircuits te gebruiken om de gegevens in een meer scheidbare vorm te herstructureren, bereikte het model een niveau van generalisatie waar klassieke systemen met veel meer middelen moeite mee hadden. Het werk beweert niet de oplossing voor het probleem van kunstmatige intelligentie te hebben gevonden, maar het demonstreert dat een specifieke, gestructureerde benadering van leren — waarbij eerst primitieven worden geleerd en deze vervolgens worden gecombineerd — zeer effectief kan zijn wanneer het wordt gekoppeld aan de unieke eigenschappen van kwantumcomputing. De auteurs merken op dat toekomstig werk deze ideeën op echte kwantumhardware moet testen en moet onderzoeken of deze methoden kunnen schalen naar complexere scènes en rijkere vocabulaire, maar de huidige resultaten bieden een overtuigend bewijs van concept voor een nieuwe manier van denken over machine learning.