Technische Samenvatting: SAKE – Software Architectural Knowledge Evaluation Benchmark

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden ingezet in de gehele softwareontwikkelingslevenscyclus, blijft hun vermogen om te redeneren over softwarearchitectuur grotendeels ongemeten. Bestaande benchmarks richten zich primair op syntactische codegeneratie of algoritmische probleemoplossing (bijv. HumanEval, MMLU), en falen daardoor in het vastleggen van de complexe cognitieve eisen van architecturale besluitvorming. Dergelijke beslissingen vereisen het balanceren van afwegingen tussen kwaliteitskenmerken (quality attributes), het toepassen van design patterns en het navigeren door systeembrede beperkingen—taken die verder gaan dan eenvoudige patroonherkenning. Bijgevolg missen professionals een gefundeerde basis om vertrouwen te hebben in LLM's als architecturale adviseurs, en missen onderzoekers een gedeelde baseline om vooruitgang in dit domein te meten.

Methodologie

De auteurs introduceren SAKE (Software Architectural Knowledge Evaluation), een gestandaardiseerde, reproduceerbare benchmark die is ontworpen om de competentie van LLM's in softwarearchitectuur te beoordelen. De methodologie volgt een driefasig proces:

1. Taxonomie Definitie: De benchmark is gestructureerd rond acht kenniscategorieën, afgeleid van twee canonieke referenties: Software Architecture in Practice [5] en Gang of Four Design Patterns [10]. Deze categorieën zijn:
   • Design Patterns: Creational (CP), Structural (SPA) en Behavioral (BP).
   • Systeembrede Concepten: Quality Attributes (QA), Architectural Solutions (ASO), Scalable Practices (SPR), Architectural Styles (AST) en Software Architecture for Quantum Computing (QC).
2. Vraagconstructie: De benchmark bestaat uit 2.154 door experts gecureerde meerkeuzevragen (elk met vier opties). De vragen werden onafhankelijk geschreven door de drie auteurs en onderworpen aan een dubbel onafhankelijk peer-reviewproces om de inhoudelijke validiteit en inter-rater overeenstemming te waarborgen. Ambigue items werden herzien of verwijderd.
3. Stratificatie: Vragen zijn gestratificeerd op basis van contextlengte (kort, medium-kort, medium-lang, lang) om te evalueren of prestaties verslechteren wanneer prompts een bredere contextuele integratie vereisen.
4. Evaluatieprotocol: De auteurs evalueerden 11 state-of-the-art modellen (zowel proprietary als open-weight) in zowel zero-shot als five-shot settings. Prompts werden beperkt tot korte outputs om consistente extractie van antwoorden te garanderen.

Belangrijkste Bijdragen

• Eerste Specifieke Benchmark: SAKE is de eerste gestandaardiseerde benchmark die expliciet is ontworpen om softwarearchitecturale kennis in LLM's te evalueren, waarmee een kritiek gat wordt opgevuld dat is geïdentificeerd in systematische reviews van het vakgebied.
• Door Experts gevalideerde Dataset: In tegenstelling tot crowdsourced benchmarks, leunt SAKE op een rigoureus dubbel reviewproces door domeinexperts, wat ervoor zorgt dat vragen werkelijk architecturaal begrip testen in plaats van enkel leesvaardigheid.
• Granulaire Analyse: De benchmark gaat verder dan geaggregeerde scores door gestratificeerde resultaten te bieden over acht architecturale categorieën en vier contextlengte-niveaus om specifieke competentiekloven te diagnosticeren.
• Open Source Release: Alle benchmarkdata, evaluatiescripts en resultaten worden als open source vrijgegeven om een baseline voor de gemeenschap te vestigen.

Resultaten

De evaluatie van 11 modellen leverde de volgende inzichten op:

• Algemene Prestaties (RQ1): Modellen vertoonden consequent hoge algemene nauwkeurigheid, variërend van 89,31% tot 94,23%. Het praktische onderscheidende vermogen ligt echter in de kosten; open-weight modellen zoals Qwen 3 235B bieden concurrerende nauwkeurigheid tegen aanzienlijk lagere kosten vergeleken met de beste proprietary modellen.
• Categorie Variantie (RQ2): Prestaties zijn ongelijk verdeeld over domeinen.
  • Makkelijkste Categorieën: Quality Attributes (QA) en Creational Patterns (CP) vertoonden bijna-plafondprestaties (gemiddeld ~98% en ~97% in zero-shot), wat aangeeft dat modellen een sterke recall van deze concepten bezitten.
  • Moeilijkste Categorieën: Architectural Solutions (ASO) en Quantum Computing (QC) waren consistent de meest uitdagende categorieën, met lagere gemiddelde nauwkeurigheid en hogere variantie tussen modellen. Architectural Solutions bleef de zwakste categorie, zelfs in five-shot settings.
• Effecten van Contextlengte (RQ3): De impact van de promptlengte is categorie-afhankelijk, wat indruist tegen de intuïtie dat "meer context altijd beter is."
  • Recall-georiënteerde Taken: Langere prompts verbeterden de nauwkeurigheid over het algemeen of hielden deze gelijk.
  • Redenerings-zware Taken: Voor Architectural Solutions daalde de nauwkeurigheid naarmate de promptlengte toenam. De auteurs suggereren dat dit komt door een hogere dichtheid aan distractoren in langere scenario's, wat de afwegingsredenering bemoeilijkt in plaats van ondersteunt.
• Impact van Few-Shot: Five-shot prompting leverde variabele resultaten op. Hoewel sommige high-capacity modellen licht verbeterden, ervoeren verschillende efficiëntie-georiënteerde modellen (bijv. Deepseek v3.2) een significante prestatiedegeneratie, met name in complexe categorieën.

Betekenis en Claims

Het paper positioneert SAKE als een fundamentele kennislagen, in plaats van een vervanging voor volledige ondersteuning bij architecturaal ontwerp. De auteurs stellen dat:

1. Betrouwbaarheid is Categorie-specifiek: Een hoge geaggregeerde score van een model is misleidend; professionals moeten de resultaten op categorieniveau raadplegen om te bepalen of een model betrouwbaar is voor specifieke architecturale taken (bijv. een model kan uitstekend zijn in Quality Attributes, maar onbetrouwbaar voor Architectural Solutions).
2. Context is Geen Panacee: Het toevoegen van context verbetert de architecturale redenering niet uniform; het kan de prestaties bij complexe afwegingsanalyses zelfs hinderen.
3. Baseline voor Vooruitgang: SAKE biedt de eerste reproduceerbare baseline voor het volgen van architecturaal redeneren in LLM's, waardoor onderzoekers specifieke hiaten (bijv. in redeneren over lange contexten) kunnen identificeren en kunnen verbeteren via technieken zoals Retrieval-Augmented Generation (RAG) of Chain-of-Thought prompting.

De auteurs concluderen dat hoewel huidige modellen veelbelovend zijn, er aanzienlijke competentiekloven blijven bestaan in gebieden die centraal staan in de professionele praktijk, wat voortdurend menselijk toezicht en gerichte modelontwikkeling noodzakelijk maakt.