Technische Samenvatting: Strategieën voor het Sturen van LLM's naar het Gebruik van Softwareontwerppatronen (Singleton-geval)

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijke vaardigheid hebben getoond in het genereren van syntactisch correcte en functionele broncode vanuit natuurlijke taalprompten, slagen ze er vaak niet in om zich te houden aan hogere architecturale structuren en gevestigde ontwerpprincipes. Specifiek worstelen LLM's met het consistent toepassen van softwareontwerppatronen, zoals het Singleton-patroon, die cruciaal zijn voor langetermijnonderhoudbaarheid, modulariteit en betrouwbaarheid van software. Het kernprobleem dat in deze studie wordt aangepakt, is het gebrek aan effectieve strategieën om LLM's te sturen tot het opnemen van specifieke ontwerppatronen in gegenereerde code, zonder de functionele correctheid van die code te compromitteren.

Methodologie

De auteurs voerden een computationeel experiment uit met 13 LLM's uit zes verschillende modelfamilies (GPT, Llama, Qwen, Gemma, Mistral en DeepSeek), variërend van 4B tot 70B parameters. De studie gebruikte het HumanEval-X-dataset, bestaande uit 164 Java-coderingsuitdagingen. Cruciaal is dat het dataset werd geselecteerd omdat de canonieke oplossingen voor deze taken het Singleton-patroon niet inherent vereisen, waardoor elke implementatie van het patroon het resultaat was van de sturende strategie in plaats van een toevallige oplossing.

Evaluatiemetrics

1. Functionaliteit: Gemeten aan de hand van de pass@1-ratio, wat het percentage gegenereerde oplossingen aangeeft dat de vooraf gedefinieerde eenheidstests voor elke taak heeft doorstaan.
2. Singleton-uitlijning: Gemeten met een gewijzigde Singleton-score gebaseerd op de Pattern Property Satisfactory Rate (PSR). Een klasse werd geëvalueerd aan de hand van drie specifieke predicaten:
   • Privé-constructor: De klasse heeft één privé-constructor.
   • Instantiemethode: Er bestaat een privé-statische methode voor het ophalen van de instantie.
   • Globaal toegangspunt: Er bestaat een publieke statische accessor-methode.
     De score werd berekend als het percentage ontbrekende predicaten ten opzichte van het totaal vereiste aantal predicaten.

Experimenteel Ontwerp

Vier verschillende promptstrategieën werden geëvalueerd over de 13 modellen:

1. Sturen met instructies: Modellen kregen via een prompt expliciet de instructie het Singleton-patroon te implementeren, maar ontvingen geen feedback over fouten.
2. Zelfverbetering (binaire feedback): Modellen kregen iteratieve pogingen. Na elke poging ontvingen ze binaire feedback die aangaf of de code het Singleton-patroon volgde, zonder aan te geven welke eigenschappen ontbraken.
3. Tool-ondersteunde zelfverbetering (uitgebreide feedback): Vergelijkbaar met de vorige strategie, maar de feedback identificeerde expliciet welke van de drie Singleton-predicaten ontbraken (bijvoorbeeld: "Het heeft de volgende checks niet gehaald: Globaal toegangspunt").
4. Tool-ondersteunde few-shot prompting: Modellen ontvingen de uitgebreide feedback uit Strategie 3, vergezeld van twee voorbeelden van correct geïmplementeerde Singleton-classes.

Belangrijkste Resultaten

Impact op Singleton-implementatie

• Directe instructies: Het simpelweg instrueren van modellen om het Singleton-patroon te gebruiken verbeterde de naleving voor de meeste modellen aanzienlijk. Llama 3.3 (70B) en Gemma 3 (27B) behaalden een perfecte Singleton-score (100%) uitsluitend met directe instructies.
• Iteratieve feedback: Geautomatiseerde feedbackloops verbeterden consistent de Singleton-uitlijning over alle modellen. Tool-ondersteunde zelfverbetering (uitgebreide feedback) leverde de hoogste uitlijning op voor de meeste modellen, waarbij verschillende (waaronder Llama 3.3, GPT-4o mini en GPT-5 mini) 100% Singleton-scores behaalden.
• Beperkingen van few-shot: In tegenstelling tot de hypothese dat voorbeelden universeel zouden helpen, verbeterde het toevoegen van few-shot-voorbeelden de prestaties niet consistent ten opzichte van uitgebreide feedback alleen. In sommige gevallen (bijvoorbeeld Gemma 3 (4B)) resulteerde dit in lagere Singleton-scores.

Impact op Functionele Correctheid

De studie vond dat het effect van het sturen van LLM's naar ontwerppatronen op functionele correctheid sterk modelafhankelijk is:

• Positieve correlatie: Voor verschillende hoogpresterende modellen verbeterde het sturen naar het gebruik van het Singleton-patroon de functionele correctheid daadwerkelijk. Llama 3.3 zag een stijging van 34,1 procentpunt in de testdoorloopratio wanneer het werd gestuurd door instructies. GPT-4o mini verhoogde zijn doorloopratio met 55,5 procentpunten.
• Negatieve correlatie: Omgekeerd degradeerde voor kleinere of minder capabele modellen (bijvoorbeeld DeepSeek Coder v2, Gemma 3 (4B)) de eis om het Singleton-patroon te implementeren de functionaliteit aanzienlijk, met doorloopratio's die met maximaal 32,3 procentpunten daalden.
• Trade-offs: Sommige modellen (bijvoorbeeld DeepSeek Coder) slaagden erin de Singleton-structuur te implementeren, maar faalden om de oorspronkelijke functionaliteit te behouden, wat wijst op een verlies van context waarbij het patroon correct werd toegepast maar op de verkeerde logica.

Belangrijkste Bijdragen

1. Empirische evaluatie van strategieën: Het paper biedt een systematische vergelijking van vier verschillende strategieën (instructies, binaire feedback, uitgebreide feedback en few-shot) voor het sturen van LLM's naar het gebruik van ontwerppatronen.
2. Model-specifieke inzichten: De resultaten tonen aan dat er geen "one-size-fits-all"-strategie bestaat. De optimale aanpak hangt sterk af van de specifieke LLM-architectuur en -grootte. Terwijl uitgebreide feedback de meeste modellen hielp, waren directe instructies voldoende voor topmodellen zoals Llama 3.3.
3. Functionaliteit versus patroonnaleving: De studie daagt de aanname uit dat het afdwingen van ontwerppatronen noodzakelijkerwijs de codekwaliteit schaadt. Het toont aan dat voor capabele modellen het afdwingen van architecturale beperkingen toevallig de functionele correctheid kan verbeteren, waarschijnlijk door het model te dwingen code strikter te structureren.

Betekenis en Claims

De auteurs claimen dat dit werk significant is omdat het verder gaat dan eenvoudige codegeneratie en de architecturale integriteit van door LLM's gegenereerde software aanpakt. Het paper stelt het volgende:

• Sturing is haalbaar: Zelfs simpele strategieën, zoals directe instructies of binaire feedback, kunnen LLM's effectief sturen tot het implementeren van ontwerppatronen.
• Iteratieve feedback is robuust: Iteratieve binaire feedback biedt de beste algehele uitlijning met het Singleton-patroon terwijl de functionaliteit voor een breed scala aan modellen behouden of verbeterd blijft.
• Context is belangrijk: Het vermogen om ontwerppatronen correct toe te passen is niet alleen een functie van modelgrootte, maar van de gebruikte promptstrategie.
• Praktische toepassing: De bevindingen suggereren dat software-engineeringtools die LLM's integreren, deze feedbackloops kunnen gebruiken om ervoor te zorgen dat gegenereerde code voldoet aan industriestandaard ontwerpprincipes, waardoor de langetermijnonderhoudbaarheid van AI-ondersteunde softwareontwikkeling wordt verbeterd.

Het paper concludeert bescheiden, met de opmerking dat hoewel het Singleton-patroon een creatiepatroon is met duidelijke structurele predicaten, de resultaten kunnen variëren voor complexere gedragspatronen. De studie claimt niet dat LLM's autonoom kunnen beslissen wanneer ze een patroon moeten gebruiken, maar eerder dat ze effectief kunnen worden gestuurd om ze te gebruiken wanneer expliciet gevraagd of gecorrigeerd.