A Benchmarking Framework for Model Datasets

Dit artikel introduceert een benchmarkkader en een bijbehorend platform voor het systematisch evalueren en vergelijken van kwaliteit, representativiteit en geschiktheid van datasets met softwaremodellen om de reproduceerbaarheid en vergelijkbaarheid van onderzoek in modelgestuurde engineering te verbeteren.

De kern

Titel: De "Keuringsdienst" voor Software-ontwerpplannen

Stel je voor dat softwareontwikkelaars en kunstenaars werken met enorme verzamelingen van ontwerpplannen. In de wereld van software noemen we dit modellen. Het zijn geen tekeningen van gebouwen, maar blauwdrukken van hoe een computerprogramma in elkaar zit.

Deze ontwerpers willen nu kunstmatige intelligentie (AI) gebruiken om deze plannen te verbeteren, te herschrijven of zelfs nieuwe plannen te bedenken. Maar hier zit een groot probleem: de kwaliteit van de plannen is vaak willekeurig.

Soms zijn de plannen perfect, soms zijn het krabbels op een servet, en soms zijn ze vol fouten. Als je een slimme AI traint op slechte of rommelige plannen, wordt die AI ook slecht. Het is alsof je een kok traint met rotte groenten; de maaltijd wordt nooit lekker, hoe slim de kok ook is.

Dit artikel introduceert een nieuw systeem om deze verzamelingen plannen te "keuren". Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Schaakbord" zonder regels

Stel je voor dat je een grote doos met Lego-blokken krijgt. Sommige blokken zijn van de juiste maat, sommige zijn gebroken, en sommige zijn van een heel ander type speelgoed. Als je iemand vraagt om een kasteel te bouwen met deze doos, en je vertelt niet wat er in de doos zit, is het resultaat een verrassing.

In de wetenschap gebeurde dit vaak: onderzoekers pakten een doos met modellen, trainden hun AI, en zeiden: "Kijk, het werkt!" Maar niemand wist of de doos vol zat met gebroken blokken of met perfecte stukken. Dit maakte het onmogelijk om te vergelijken wie de beste AI had gebouwd.

2. De Oplossing: De "Keuringsdienst" (Het Kader)

De auteurs van dit artikel hebben een Keuringsdienst bedacht. In plaats van te zeggen "dit is een goed plan", meten ze precies wat er in de doos zit. Ze kijken naar vier belangrijke dingen:

• De "Leesbaarheid" (Parsing): Kunnen we de plannen überhaupt lezen? Sommige bestanden zijn zo beschadigd of in een vreemde code dat de computer ze niet kan openen. De keuringsdienst telt hoeveel plannen er kapot zijn.
• De "Naamgeving" (Lexical Quality): Kijken de mensen die de plannen maakten hun werk aan? Hebben ze duidelijke namen gegeven aan de onderdelen (bijv. "Klant" in plaats van "Ding123")? Of is het een warboel van onbegrijpelijke codes? Dit is belangrijk als AI de teksten moet begrijpen.
• De "Diversiteit" (Construct Coverage): Zijn er genoeg verschillende soorten onderdelen? Als een doos alleen maar rode blokken heeft, kun je geen kleurrijk kasteel bouwen. De keuringsdienst kijkt of er genoeg variatie is in de bouwstenen.
• De "Structuur" (Size & Shape): Hoe groot en ingewikkeld zijn de plannen? Zijn het kleine schetsjes of enorme fabrieksplannen? En zijn ze logisch aan elkaar verbonden, of liggen ze als een losse hoop?

3. Het Gereedschap: De "Vertaalrobot"

Om al deze verschillende soorten plannen (die in verschillende talen en formaten geschreven zijn) te kunnen vergelijken, hebben ze een Vertaalrobot gebouwd.

Stel je voor dat je een verzameling brieven hebt in het Nederlands, het Frans en het Chinees. Je kunt ze niet direct vergelijken. De robot vertaalt ze allemaal naar één standaardtaal (een soort "gemeenschappelijke tussenstaal"). Nu kan de keuringsdienst ze allemaal op dezelfde manier meten, alsof ze allemaal in hetzelfde boekje staan.

4. Wat hebben ze ontdekt? (De Test)

Ze hebben hun nieuwe systeem getest op drie grote verzamelingen plannen:

1. Een grote, rommelige verzameling van het internet: Hier zaten veel fouten in, maar ook veel echte, alledaagse voorbeelden. De AI moet hier leren omgaan met "vuilnis".
2. Een verzameling van studenten en docenten: Deze waren netter, maar soms te simpel (alsof je alleen maar oefentekeningen hebt).
3. Een verzameling van experts: Deze waren heel netjes, maar misschien te perfect om echte, chaotische situaties te simuleren.

Het resultaat? Het systeem liet zien dat elke verzameling heel anders is. Als je een AI wilt trainen om echte bedrijven te helpen, moet je de "rommelige" verzameling gebruiken. Wil je een AI trainen om perfecte theorieën te maken, dan is de "experten-verzameling" beter.

Waarom is dit belangrijk voor jou?

Vroeger was het alsof onderzoekers in het donker schoten. Ze wisten niet of hun AI echt slim was, of dat ze gewoon geluk hadden met een goede dataset.

Met dit nieuwe systeem kunnen onderzoekers nu zeggen: "Kijk, we hebben deze dataset gebruikt. We weten precies hoeveel fouten erin zaten, hoe groot de plannen waren, en of de namen duidelijk waren."

Dit betekent:

• Betere AI: De slimme computers worden slimmer omdat ze op betere, beter begrepen data worden getraind.
• Eerlijke vergelijking: We kunnen nu echt zeggen wie de beste software heeft gemaakt, omdat we weten dat ze met dezelfde kwaliteit van "grondstof" werkten.
• Minder gedoe: Geen tijd meer verspillen aan het proberen te begrijpen of een dataset wel of niet bruikbaar is.

Kortom: Dit artikel introduceert een meetlat en een vertaalrobot om de "grondstof" van software-ontwikkeling te controleren. Zodat we zeker weten dat de slimme computers die we bouwen, niet op een zandkasteel staan, maar op een stevige fundering.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "A Benchmarking Framework for Model Datasets" in het Nederlands.

Probleemstelling

Onderzoek in Model-Driven Engineering (MDE) dat gebruikmaakt van kunstmatige intelligentie (AI) en Large Language Models (LLM's) is steeds meer afhankelijk van datasets van softwaremodellen (bijv. UML, ArchiMate, Ecore) voor training en evaluatie. Echter, deze datasets worden vaak ad hoc verzameld of gegenereerd zonder garanties over hun kwaliteit of geschiktheid voor specifieke taken. Dit leidt tot:

• Gebrek aan vergelijkbaarheid: Resultaten tussen studies zijn moeilijk te vergelijken omdat de onderliggende datasets fundamenteel verschillend kunnen zijn.
• Onbekende kwaliteit: Eigenschappen zoals representativiteit, structuur en lexische rijkdom worden zelden transparant gerapporteerd.
• Reproduceerbaarheidsproblemen: Gebrek aan gestandaardiseerde methoden om datasets te analyseren, bemoeilijkt de reproduceerbaarheid van experimenten.
• Bias en fouten: Subtiele gebreken in modelopslag (zoals clones, dummy-modellen of onvolledige parsing) kunnen doorwerken in AI-modellen en leiden tot vertekende resultaten.

Er is een dringende behoefte aan een gestructureerd kader om datasets zelf te benchmarken, in plaats van alleen de prestaties van modellen die op die datasets zijn getraind.

Methodologie

De auteurs stellen een Benchmarking Framework voor Model Datasets voor, ondersteund door een geïmplementeerd platform. De aanpak bestaat uit de volgende kerncomponenten:

1. Metamodel voor Benchmarking:

   • Het kader definieert een metamodel dat onafhankelijk is van specifieke modelleringstalen.
   • Het behandelt modellen als gestructureerde, getypeerde grafen (Intermediate Representation - IR) die worden gegenereerd uit diverse serialisatieformaten (XML, JSON, XMI, etc.).
   • Het onderscheidt tussen Dataset-level eigenschappen (aggregaten) en Model-level eigenschappen (per model), evenals Element-level details.
   • Het introduceert een levenscyclus voor datasets: Acquisitie (verzamelen), Verwerking (parsing, normalisatie), Annotatie (optioneel) en Packaging/Gebruik.

2. Kwaliteitsdimensies en Maatstaven:
   Het framework introduceert vier initiële kwaliteitsdimensies om datasets te karakteriseren:

   • D1 Parsing: Technische bruikbaarheid (succesvol/partial/failure parsing, waarschuwingen, overgeslagen elementen).
   • D2 Lexical Quality: Kwaliteit van labels (aanwezigheid, lengte, diversiteit, taalherkenning).
   • D3 Construct Coverage: Dekking en frequentie van taalconstructen (welke elementen uit de metamodel-catalogus worden gebruikt en hoe evenwichtig).
   • D4 Size & Structure: Grootteverdeling, grafdichtheid, connectiviteit (geïsoleerde knopen) en diepte van containment-hiërarchieën.

3. Platform Architectuur:

   • Het platform is een file-based, profiel-gedreven pijplijn (Scan → Parse → Measure → Report).
   • Het gebruikt een Intermediate Representation (IR) als gemeenschappelijke basis voor taal-onafhankelijke metingen.
   • Het ondersteunt zowel een CLI (voor batch-verwerking) als een Web UI (voor interactieve inspectie).
   • Alle tussenresultaten worden gepersisteerd in JSON-bestanden om reproduceerbaarheid en inspectie mogelijk te maken.

Belangrijkste Bijdragen

1. Conceptueel Framework: Een eerste gestructureerde aanpak om modeldatasets zelf te benchmarken, met een focus op intrinsieke eigenschappen in plaats van alleen taak-specifieke prestaties.
2. Het Benchmark Platform: Een implementatie die modellen uit verschillende talen (UML, ArchiMate, Ecore) normaliseert naar een graaf-gebaseerde IR en daarop een reeks metrics berekent.
3. Gedetailleerde Catalogus van Metrics: Een uitgebreide lijst van meetbare eigenschappen (zoals parse-status, lexische diversiteit, construct-frequentie en graaf-dichtheid) die transparantie bieden over datasetkwaliteit.
4. Empirische Validatie: Toepassing van het framework op drie bestaande, publieke datasets (EA ModelSet, ModelSet, AtlanMod Zoo) om de haalbaarheid en het inzicht te demonstreren.

Resultaten (Empirische Evaluatie)

De auteurs hebben het platform getest op drie datasets met verschillende oorsprong (mined vs. curateerd) en talen (ArchiMate vs. Ecore):

• Parsing (D1): Alle datasets waren grotendeels parsebaar, maar vertoonden verschillen in waarschuwingen.
  • EA ModelSet (ArchiMate): 93,7% succesvol, 6,3% met waarschuwingen (vaak onopgeloste referenties door tool-specifieke stijlen).
  • ModelSet (Ecore): 91,3% succesvol, met meer waarschuwingen door heterogeniteit in toolchains en versies.
  • AtlanMod Zoo (Ecore): Hoogste robuustheid (97,4% succesvol), wat aantoont dat curatie de kwaliteit verbetert.
• Lexische Kwaliteit (D2):
  • Ecore-datasets hebben bijna 100% label-aanwezigheid (vaak korte, technische namen).
  • EA ModelSet heeft een realistischer, maar heterogener profiel met veel meervoudige woorden en een aanzienlijk aantal modellen in meerdere talen (ongeveer 40% niet-Engels), wat belangrijk is voor NLP-taken.
• Construct Dekking (D3):
  • EA ModelSet gebruikt een breed scala aan ArchiMate-constructen, maar per model is de dekking beperkt (gemiddeld ~17%), wat past bij viewpoint-gebaseerde modellen.
  • ModelSet toont een zeer evenwichtige en uitgebreide dekking van Ecore-constructen, wat het ideaal maakt voor het trainen van modellen die diverse patronen moeten leren.
• Structuur en Grootte (D4):
  • EA ModelSet: Bestaat uit relatief kleine, versplinterde grafen met veel geïsoleerde knopen (onverbonden elementen), wat de "ruis" van geminede data weerspiegelt.
  • Ecore-datasets (ModelSet & AtlanMod Zoo): Zijn dicht, sterk verbonden en diep hiërarchisch, wat typisch is voor metamodels.

Betekenis en Conclusie

Dit onderzoek biedt een cruciale stap voorwaarts voor de MDE-community en de integratie van AI in software-engineering:

• Transparantie: Het dwingt onderzoekers om dataset-eigenschappen expliciet te maken en te rapporteren, wat de interpretatie van resultaten verbetert.
• Taakgeschiktheid: Onderzoekers kunnen nu beter beoordelen of een dataset geschikt is voor een specifieke AI-taak (bijv. een dataset met veel geïsoleerde knopen is minder geschikt voor bepaalde graaf-algoritmen).
• Reproduceerbaarheid: Door het gebruik van benchmark-profielen en gepersisteerde artefacten wordt het mogelijk om studies exact te reproduceren en te vergelijken.
• Toekomstperspectief: Het framework is uitbreidbaar naar meer talen (zoals BPMN) en kan worden gebruikt om synthetische datasets te genereren die de statistische verdelingen van echte datasets nabootsen.

Kortom, het artikel beweert dat datasets "first-class artifacts" moeten worden behandeld en dat een gestandaardiseerde benchmarking essentieel is voor de voortgang van AI-gedreven automatisering in MDE.