A PennyLane-Centric Dataset to Enhance LLM-based Quantum Code Generation using RAG

Titel: Een op PennyLane-gecentreerde dataset om LLM-gebaseerde kwantumcodegeneratie te verbeteren met RAG

Auteurs: Abdul Basit et al. (NYU Abu Dhabi)
Publicatie: IEEE International Joint Conference on Neural Networks (IJCNN) 2026

---

1. Het Probleem

Hoewel Large Language Models (LLM's) revolutionair zijn voor het genereren van klassieke code, blijft hun toepassing in de kwantumsoftwareontwikkeling beperkt. Dit komt door een gebrek aan hoogwaardige, gestructureerde datasets die specifiek zijn voor kwantumframeworks.

• Onbalans in Frameworks: Bestaande AI-tools en datasets richten zich voornamelijk op Qiskit (IBM), terwijl PennyLane (Xanadu), een toonaangevend framework voor hybride kwantum-klassieke computing en Quantum Machine Learning (QML), geen vergelijkbare dedicated code-assistenten of trainingscorpora heeft.
• Data-fragmentatie: Kwantumcode is verspreid over papers, forums en repositories, vaak zonder de nodige contextuele annotaties die LLM's nodig hebben om kwantumoperaties correct te koppelen aan hun doel.
• Consequentie: Ontwikkelaars hebben moeite om geoptimaliseerde, foutloze PennyLane-code te genereren, wat de adoptie van hybride kwantum-algoritmen vertraagt.

2. Methodologie

De auteurs introduceren PennyLang, een uitgebreid proces voor het creëren van een dataset en het evalueren ervan via een Retrieval-Augmented Generation (RAG) pipeline.

A. Dataverzameling en Cursatie (PennyLang)

De dataset bestaat uit 3.347 hoogwaardige PennyLane-codevoorbeelden, verzameld uit drie bronnen:

1. GitHub Repositories: Gescrapt via de GitHub API (focus op officiële en populaire repositories, exclusief forks en gegenereerde bestanden).
2. Academische Boeken: Code-extracties uit twee gespecialiseerde boeken over Quantum Machine Learning.
3. Officiële Documentatie: Code-snippets uit de PennyLane-documentatie en tutorials.

Verwerking en Verrijking:

• Filtering: Verwijdering van dubbele codes en niet-PennyLane snippets.
• Annotatie: Handmatige en geautomatiseerde conversie van code naar instructie-query-paren. Contextuele beschrijvingen en uitleg (vaak uit boeken of docs) werden omgezet in inline comments.
• Format: De dataset is gestructureerd in JSON, conform PEP 8-stijlrichtlijnen, en voorbereid voor instructie-tuning.
• Tokenisatie: Toepassing van linker-padding en attention masking om compatibiliteit te garanderen met autoregressieve transformer-architecturen (zoals GPT-4o en LLaMa).

B. Evaluatie Framework (RAG)

Om de effectiviteit te testen, werd een RAG-pijplijn opgezet met LangChain en Chroma als vectordatabase:

• Retrieval: Gebruik van Maximum Marginal Relevance (MMR) om de meest relevante context uit de dataset op te halen bij een gebruikersvraag.
• Vergelijking: Modellen werden getest onder vier condities: 0% (geen RAG), 50%, 75% en 100% (volledige context) van de opgehaalde informatie.
• Validatie: De gegenereerde code werd uitgevoerd in Jupyter-notebooks. Een oplossing werd als "succesvol" beschouwd als deze correct draaide en de verwachte output leverde (pass@k meting).

3. Belangrijkste Bijdragen

1. PennyLang Dataset: De eerste open-source, gestructureerde dataset specifiek voor PennyLane, met 3.347 voorbeelden verrijkt met instructies en context.
2. Systematische Data-pijplijn: Een reproduceerbaar framework voor het schoonmaken, annoteren en formatteren van kwantumcode voor LLM-training.
3. RAG-evaluatie: Een uitgebreide benchmark van 7 LLM's (zowel open-source als commercieel) die aantoont hoe RAG de prestaties beïnvloedt in de kwantumcontext.

4. Resultaten

De evaluatie omvatte 264 testcases en resulteerde in 1.320 gegenereerde notebooks per model.

• Open-source Modellen (Grootste winst):

  • Qwen 2.5-7B: De succesrate steeg dramatisch van 8,7% (zonder RAG) naar 41,7% (met volledige context). Interessant genoeg presteerde de 75% context-instelling vaak beter dan 100%, wat suggereert dat te veel context ruis introduceert.
  • LLaMa 4: Verbetering van 78,8% naar 84,8% met RAG.
  • Conclusie: RAG compenseert effectief het gebrek aan specifieke voortraining in kwantumkennis bij kleinere modellen.

• Commerciële Modellen (Beperkte winst):

  • Modellen zoals Claude 3.5 Sonnet, GPT-4o Mini en Gemini 2.5 Flash presteerden al zeer goed zonder RAG (bijv. Claude 3.5 bereikte ~95% zonder retrieval).
  • Toevoeging van de dataset leverde vaak geen significante verbetering op, of zelfs een lichte daling (bij volledige context). Dit wijst erop dat deze modellen al voldoende kennis van PennyLane hebben door hun brede voortraining.

• Ablatie Study (Vanilla RAG vs. GraphRAG):

  • Een simpele "Vanilla RAG" (op basis van vector-afstand) presteerde consistent beter dan een complexere GraphRAG-aanpak. Dit suggereert dat voor codegeneratie directe, relevante voorbeelden belangrijker zijn dan het modelleren van complexe relaties tussen documenten.

5. Betekenis en Impact

• Versnelling van AI-gestuurde Kwantumontwikkeling: PennyLang vult een kritieke lacune in het ecosysteem door een betrouwbare bron voor het trainen en evalueren van AI-tools voor PennyLane te bieden.
• Inzicht in RAG-strategieën: Het onderzoek toont aan dat voor open-source modellen RAG essentieel is, maar dat de hoeveelheid context (retrieval budget) moet worden geoptimaliseerd om "context saturation" te voorkomen.
• Reproduceerbaarheid: Door de dataset en het evaluatiekader openbaar te maken (via GitHub), wordt de weg vrijgemaakt voor verdere research in kwantum-NLP en het ontwikkelen van gespecialiseerde kwantum-assistenten.
• Toekomstperspectief: De auteurs plannen om lichtgewicht, instructie-gefineerde modellen te trainen op deze dataset en de methodologie uit te breiden naar andere frameworks zoals Qiskit en Cirq.

Conclusie: Dit werk bewijst dat een hoogwaardige, domeinspecifieke dataset gecombineerd met een zorgvuldig afgestelde RAG-pijplijn de prestaties van open-source LLM's in de kwantumwereld aanzienlijk kan verbeteren, terwijl het ook inzicht geeft in de grenzen van bestaande commerciële modellen in dit niche-domein.