Implementation of Quantum Implicit Neural Representation in Deterministic and Probabilistic Autoencoders for Image Reconstruction/Generation Tasks

Dit paper introduceert een hybride quantum-klassiek autoencoder- en variational autoencoder-model dat gebruikmaakt van quantum impliciete neurale representaties (QINR) om beeldreconstructie en -generatie te verbeteren door rijke, hoogfrequente kenmerken te genereren en de stabiliteit en diversiteit ten opzichte van bestaande quantum generatieve modellen te vergroten.

De kern

Stel je voor dat je een kunstenaar bent die probeert een meesterwerk te schilderen, maar je hebt slechts een heel klein potloodje en een beperkt aantal verfkleuren. Dat is ongeveer de uitdaging waar wetenschappers zich mee bezighouden in de wereld van Quantum Machine Learning.

Dit artikel, geschreven door Saadet Muzehher Eren, introduceert een nieuwe manier om computers te leren hoe ze afbeeldingen (zoals cijfers of kledingstukken) kunnen "herkennen" en "naken" met behulp van quantumcomputers. Laten we de complexe termen uit het papier vertalen naar alledaagse beelden.

1. Het Probleem: De "Mode Collapse"

Stel je voor dat je een robot wilt bouwen die nieuwe gezichten kan bedenken.

• De oude robots (QGANs): Deze robots zijn vaak als een student die alleen maar het antwoord op één vraag uit zijn hoofd heeft geleerd. Als je ze vraagt om een nieuw gezicht te tekenen, tekenen ze steeds hetzelfde gezicht, misschien met een klein beetje verandering in de haarkleur. Ze worden vastgeplakt in één patroon. In de vakjargon noemen ze dit "mode collapse" (een instorting in de variatie). Ze zijn creatief, maar ze herhalen zich maar.
• De nieuwe robot (QINR-VAE): De auteur heeft een nieuw type robot ontworpen die beter is in variëren. Deze robot kan niet alleen herkennen wat er op een foto staat, maar kan ook heel verschillende, nieuwe foto's bedenken die er echt anders uitzien, zonder vast te lopen in één patroon.

2. De Oplossing: De "Quantum Implicit Neural Representation" (QINR)

Hoe werkt deze nieuwe robot? De auteur gebruikt een slimme techniek genaamd QINR.

• Het Concept: Stel je voor dat je een foto niet opslaat als een raster van pixels (een muur van tegels), maar als een oneindig gladde, wiskundige formule.
  • De Analogie: Een gewone computer slaat een foto op als een mozaïek van vierkante tegeltjes. Als je inzoomt, zie je de randen. Een QINR is meer zoals een 3D-printer die een vorm uit vloeistof spuit. Je kunt inzoomen op elk puntje, en het blijft perfect glad en scherp.
• De Quantum-slag: De auteur plaatst een "quantum-deel" in deze printer. Quantumcomputers zijn goed in het simuleren van complexe golven en patronen. Door dit quantum-deel toe te voegen, kan de robot veel meer details en "fijne lijntjes" (zoals de randen van een oog of een rimpel) vastleggen dan een gewone computer zou kunnen met dezelfde hoeveelheid geheugen.

3. De Twee Robots: De "Auto-Encoder" en de "Variational Auto-Encoder"

Het papier test twee soorten robots:

1. De QINR-Auto-Encoder (De Herkenner):

   • Wat doet hij? Hij krijgt een foto (bijvoorbeeld een '7') en probeert deze in een heel klein, compact pakketje te vouwen (de "latent space"). Vervolgens probeert hij dat pakketje weer uit te vouwen tot een perfecte foto.
   • Het resultaat: Het is alsof je een foto in een postzegel vouwt en hem weer uitpakt. De robot slaagt erin om de foto haarscherp en duidelijk terug te krijgen, zelfs met weinig data.

2. De QINR-Variational Auto-Encoder (De Schepper):

   • Wat doet hij? Deze robot is nog slimmer. Hij leert niet alleen hoe hij een foto moet vouwen, maar hij leert ook de regels van de foto's. Als je hem een leeg pakketje geeft, kan hij daaruit een nieuwe, unieke foto van een '7' bedenken.
   • Het voordeel: In tegenstelling tot de oude robots (QGANs) die steeds dezelfde '7' tekenden, tekent deze robot een '7' met een schuine streep, een dikke streep, of een ietsje gekantelde streep. Hij heeft diversiteit.

4. Wat hebben ze ontdekt?

De auteur heeft deze robots getest op bekende datasets: cijfers (MNIST), letters (E-MNIST) en kleding (Fashion MNIST).

• Scherpte: De afbeeldingen die door de nieuwe quantum-robots werden gemaakt, waren veel scherper. De randen waren niet wazig, maar duidelijk.
• Variatie: De robots maakten geen kopieën van elkaar. Elke gegenereerde '7' zag er anders uit, net als bij echte mensen die handgeschreven cijfers maken.
• Stabiliteit: De oude quantum-robots (QGANs) hadden vaak last van "mode collapse" (ze werden saai en herhaaldelijk). De nieuwe QINR-VAE was veel stabieler en maakte minder fouten tijdens het leren.

5. De "Leercurve" en de Toekomst

De robots werden getraind met slechts 500 voorbeelden per categorie (wat erg weinig is voor moderne AI). Ondanks dit kleine aantal data, presteerden ze verrassend goed.

• De beperking: Omdat het nog een simulatie is (geen echte quantumcomputer in de wereld), zijn de resultaten nog niet perfect. Soms zijn de gezichten of kledingstukken nog een beetje vaag.
• De belofte: Het papier concludeert dat deze methode een enorme stap voorwaarts is. Het laat zien dat quantumcomputers in de toekomst misschien wel beter kunnen zijn in het creëren van kunst en het herkennen van details dan onze huidige supercomputers, vooral omdat ze minder ruimte nodig hebben om complexe patronen te onthouden.

Kortom:
De auteur heeft een nieuwe, slimme manier bedacht om quantumcomputers te gebruiken als "kunstenaars". In plaats van dat ze vastlopen in saaiheid (zoals hun voorgangers), kunnen deze nieuwe quantum-robots nu prachtige, scherpe en diverse afbeeldingen maken, zelfs als ze maar weinig voorbeelden hebben gezien. Het is alsof je een kunstenaar hebt die met een magisch potloodje (de quantum-deel) kan tekenen dat scherper is dan elk gewoon potlood.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Implementation of Quantum Implicit Neural Representation in Deterministic and Probabilistic Autoencoders for Image Reconstruction/Generation Tasks" in het Nederlands.

Titel

Implementatie van Quantum Implicit Neural Representation (QINR) in Deterministische en Probabilistische Auto-encoders voor Taak van Beeldreconstructie/Generatie.

1. Het Probleem

Hoewel klassieke deep-learningmodellen (zoals Auto-encoders, Variational Auto-encoders en GANs) succesvol zijn in beeldreconstructie en generatie, kampen quantum-machinelearningmodellen (QML) vaak met specifieke uitdagingen:

• Mode Collapse: Quantum Generative Adversarial Networks (QGANs) hebben de neiging om vast te lopen in een beperkt aantal patronen, waardoor ze weinig diversiteit in de gegenereerde data tonen.
• Beperkte Expressiviteit: Bestaande quantum-decoders kunnen moeite hebben om complexe, hoogfrequente details in beelden te modelleren zonder een enorm aantal parameters.
• Stabiliteit: Het trainen van hybride quantum-klassieke modellen is vaak instabiel, met name bij het regulariseren van de latente ruimte in VAE's (het probleem van "posterior collapse").

Het doel van dit onderzoek is om te demonstreren dat Quantum Implicit Neural Representations (QINR) deze problemen kunnen oplossen door informatie uit de latente ruimte om te zetten in rijke, periodieke en hoogfrequente beeldkenmerken, terwijl het de stabiliteit en diversiteit ten opzichte van QGAN-modellen verbetert.

2. Methodologie

De auteurs stellen hybride quantum-klassieke modellen voor: een QINR-Auto-encoder (QINR-AE) en een QINR-Variational Auto-encoder (QINR-VAE).

• Architectuur:

  • Encoder: Een klassiek Convolutional Neural Network (CNN) dat de invoerbeelden comprimeert naar een latente vector (dimensie $d_z = 8$). Voor de VAE worden hierbij ook de mean ($\mu$) en standaarddeviatie ($\sigma$) gegenereerd voor het reparameterisatie-trucje.
  • Decoder (QINR): Dit is het kerninnovatiepunt. In plaats van een klassieke decoder, gebruikt het model een QINR-decoder.
    • De latente vector wordt eerst door klassieke lineaire lagen en batchnormalisatie geleid.
    • Vervolgens wordt deze gemapt naar leerbare rotatiehoeken voor een quantumcircuit.
    • Data Re-uploading: Het quantumcircuit gebruikt een "spectrale feature extractor" met data re-uploading. Dit betekent dat de invoer (de latente vector) herhaaldelijk in het circuit wordt ingeladen via rotatiehoeken. Dit stelt het circuit in staat om functies te benaderen die lijken op Fourier-reeksen, wat essentieel is voor het modelleren van hoge frequenties in beelden.
    • Learnable Angle-Scaling: Er wordt een leerbare schaalparameter ($\lambda$) geïntroduceerd voor de rotatiehoeken om optimalisatieproblemen aan te pakken en de expressiviteit te vergroten.
    • Het circuit bevat 6 qubits, Euler-rotaties ($Rot$) en entangling gates (CZ).
    • De uitkomst wordt gemeten (via Pauli-Z verwachtingswaarden) en via klassieke lineaire lagen omgezet naar de pixel-logits.

• Training en Loss Functies:

  • Reconstructie: Binary Cross-Entropy with Logits (BCEWithLogits) wordt gebruikt voor zowel AE als VAE.
  • Regularisatie (VAE alleen): Kullback-Leibler (KL) divergentie wordt gebruikt om de latente ruimte te regulariseren. Om posterior collapse te voorkomen, wordt gebruikgemaakt van $\beta$-warm-up of capacity scheduling (waarbij de KL-term geleidelijk wordt opgevoerd tot een maximale capaciteit $C_{max}$).
  • Optimalisatie: Een hybride optimizer (Adam) met gescheiden leerfrequenties voor klassieke en quantum parameters. Gradient clipping wordt toegepast om instabiliteit te voorkomen.

• Datasets: De modellen zijn getest op MNIST, E-MNIST en Fashion MNIST (28x28 pixels), met slechts 500 samples per klasse om de prestaties bij kleine datasets te evalueren.

3. Belangrijkste Bijdragen

1. Introductie van QINR in AE/VAE: Voor het eerst wordt de QINR-architectuur succesvol geïntegreerd in zowel deterministische als probabilistische auto-encoders voor beeldgeneratie.
2. Oplossing voor Mode Collapse: Het artikel toont aan dat de QINR-VAE aanzienlijk diverser is dan QGAN-modellen (zoals PQWGAN, Quantum AnoGAN en QINR-QGAN). De VAE-structuur voorkomt dat het model vastloopt in één enkel patroon.
3. Learnable Angle-Scaling: De invoering van leerbare schaalparameters in de data re-uploading verbetert de stabiliteit van de training en de expressiviteit van het quantumcircuit zonder handmatige hyperparameter-tuning.
4. Kwaliteit bij Kleine Datasets: De modellen genereren scherpe, gedetailleerde beelden zelfs met een zeer beperkt aantal trainingssamples (500 per klasse), wat een groot voordeel is voor toepassingen waar data schaars is.

4. Resultaten

De prestaties zijn zowel kwalitatief als kwantitatief geëvalueerd en vergeleken met bestaande quantum-modellen.

• Kwalitatieve Analyse:

  • QINR-VAE: Produceert de scherpste beelden met de meeste variatie binnen een klasse (bijv. verschillende schrijfstijlen voor het cijfer '7' of '1'). De randen zijn duidelijk en er is minder ruis dan bij GAN-modellen.
  • QGAN-modellen: Toonden een neiging tot "mode collapse" (alle gegenereerde beelden zagen er bijna identiek uit) en hadden meer achtergrondruis (vaagheid).
  • QINR-AE: Levert zeer duidelijke reconstructies op met scherpe randen.

• Kwantitatieve Analyse:

  • FID (Fréchet Inception Distance): De QINR-VAE behaalde de beste (laagste) FID-scores op alle drie de datasets (bijv. ~100-130 voor MNIST), wat aangeeft dat de verdeling van de gegenereerde beelden dichter bij de echte data ligt dan bij de concurrenten (PQWGAN had vaak >250).
  • SSIM & PSNR: Voor reconstructietaken (AE en VAE-reconstructie) behaalde het model hoge scores, wat duidt op goede structurele gelijkenis en pixelnauwkeurigheid.
  • Convergentie: De loss-curves tonen stabiele convergentie aan, zonder grote oscillaties, wat de effectiviteit van de capacity scheduling bevestigt.

• Appendix Resultaten:

  • Op het CelebA-dataset (gezichten) waren de resultaten minder scherp door de complexiteit en beperkte data, maar de reconstructies waren nog steeds herkenbaar.
  • Het gebruik van meerdere readouts (meten van $\langle X \rangle, \langle Y \rangle, \langle Z \rangle$ en correlatoren) verbeterde de beeldkwaliteit aanzienlijk ten opzichte van alleen $\langle Z \rangle$.
  • Een vergelijking met een klassieke lineaire decoder toonde aan dat de QINR-decoder continuïter en visuele integriteit beter behoudt, hoewel de klassieke decoder soms een iets lagere FID had door meer variatie (maar vaak met kwaliteitsverlies in details).

5. Betekenis en Conclusie

Dit onderzoek demonstreert dat het combineren van Implicit Neural Representations met Quantum Circuits een krachtige route is voor generatieve modellen. De belangrijkste conclusies zijn:

• Superioriteit van QINR-VAE: De QINR-VAE is robuuster dan QGAN-varianten voor beeldgeneratie, voornamelijk omdat het het probleem van mode collapse effectief aanpakt en een bredere diversiteit aan beelden genereert.
• Efficiëntie: Het model bereikt hoge kwaliteit met een beperkt aantal parameters (120 quantum parameters) en een kleine latent vector, wat het efficiënt maakt voor huidige en toekomstige quantumhardware.
• Toekomstperspectief: Hoewel de simulaties ruisvrij waren (6 qubits), biedt de architectuur een solide basis voor toekomstige implementaties op echte quantumhardware. Verdere verbetering van de beeldkwaliteit en diversiteit is mogelijk door meer trainingdata en het gebruik van meerdere readouts.

Samenvattend bewijst dit werk dat quantum-gebaseerde decoders, specifiek QINR, een waardevolle toevoeging zijn aan de machinelearning-toolbox voor het genereren van hoogwaardige, gedetailleerde beelden, zelfs onder beperkte omstandigheden.