OODEval: Evaluating Large Language Models on Object-Oriented Design

Dit paper introduceert OODEval, een nieuw benchmark en evaluatiemethode om de objectgeoriënteerde ontwerpcapaciteiten van 29 grote taalmodellen te testen, waarbij wordt geconcludeerd dat hoewel deze modellen syntactisch nauwkeurig zijn, ze nog aanzienlijke semantische tekortkomingen vertonen en significant onder de prestaties van de beste menselijke ontwerpers blijven.

De kern

Stel je voor dat je een groot, complex gebouw wilt bouwen. Je hebt een tekening nodig van de architect: waar komen de muren, de deuren, de trappen en de leidingen? In de softwarewereld heet dit Object-Oriented Design (OOD). Het is het plan voor hoe een computerprogramma in elkaar zit.

De afgelopen jaren zijn er slimme computers (Large Language Models of LLM's) gekomen die tekst kunnen schrijven en zelfs code kunnen genereren. Maar de vraag was: kunnen deze computers ook een goed architectenplan maken?

Dit onderzoek, genaamd OODEval, is als een strenge maar eerlijke examencommissie die 29 verschillende "AI-architecten" op de proef stelt. Hier is wat ze hebben ontdekt, vertaald in simpele taal:

1. De Nieuwe Examenmap (OODEval)

Voorheen was het moeilijk om AI's te testen op ontwerp, omdat er geen standaard "examenvragen" waren. Het was alsof je leerlingen een wiskundetoets liet maken, maar elke leraar zijn eigen, willekeurige sommen bedacht.

• Wat deden ze? De onderzoekers maakten een nieuwe, gestandaardiseerde examenmap met 50 verschillende ontwerpopdrachten.
• De moeilijkheidsgraad: Er zijn eenvoudige huisjes (simpele taken), middelgrote appartementen (moderate) en enorme wolkenkrabbers (hard).
• De menselijke controlegroep: Ze verzamelden ook 940 ontwerpen van echte studenten, die door docenten waren beoordeeld. Dit is als het hebben van een "ideale oplossing" en een "gemiddelde student" om de AI mee te vergelijken.

2. De Nieuwe Meetlat (CLUE)

Hoe meet je of een ontworpen gebouw goed is? Je kunt niet gewoon kijken of de muren er zijn; je moet ook kijken of de deuren op de juiste plek zitten en of de leidingen logisch lopen.

• Het probleem: Oude meetmethodes keken alleen of de woorden hetzelfde waren (zoals een spellingcontrole). Maar in een ontwerp telt de structuur en de betekenis meer dan de woorden.
• De oplossing: Ze bedachten CLUE. Dit is een slimme meetlat die niet alleen kijkt of de muren er zijn, maar ook of de architect de juiste verbanden heeft gelegd tussen de kamers. Het vergelijkt het AI-ontwerp met het menselijke voorbeeld en geeft een score.

3. Wat bleek er uit het examen?

De AI's zijn goed in de "spelling", maar slecht in de "logica"
De AI's konden perfect de juiste code schrijven (de muren stonden netjes op hun plek), maar ze maakten vaak fouten in de logica.

• Vergelijking: Het is alsof een AI een perfect geschreven recept kan maken, maar vergeet dat je de eieren eerst moet kloppen voordat je ze in de pan doet. Ze weten wat er moet gebeuren, maar niet altijd hoe het samenwerkt.
• Ze waren goed in het bedenken van namen voor kamers (klassen), maar faalden vaak bij het bedenken van wat er in die kamers moet gebeuren (methoden) en hoe de kamers met elkaar verbonden zijn.

AI vs. De Gemiddelde Student

• De gemiddelde AI doet het slechter dan de gemiddelde student. Ze maken te veel logische fouten.
• De beste AI's (zoals Qwen3-Coder-30B) doen het echter bijna net zo goed als de gemiddelde student. Ze kunnen een heel goed plan maken.
• Maar... zelfs de slimste AI kan nog niet tippen aan de beste menselijke experts. De topstudenten maken nog steeds de meest creatieve en foutloze ontwerpen.

Welke AI's zijn de slimste?

• Qwen3-Coder-30B: Deze lokale AI (die je op je eigen computer kunt draaien) was de winnaar. Hij was het meest betrouwbaar.
• Gemma3-4B-IT: Een heel klein model dat verrassend goed deed, zelfs beter dan de dure, kleine versie van GPT-4. Dit bewijst dat je niet altijd een gigantische computer nodig hebt voor goed werk.
• DeepSeek en GPT: Deze bekende namen deden het ook goed, maar waren soms wat minder consistent dan de winnaars.

4. Waarom maken ze fouten?

De onderzoekers ontdekten dat de AI's het moeilijk hebben als:

• Het gebouw te groot wordt (te veel kamers).
• Er te veel complexe verbindingen zijn (te veel leidingen).
• De opdracht in de tekst moeilijk te lezen is.

Het lijkt erop dat de AI's het overzicht verliezen als het te complex wordt. Ze kunnen de "grote lijnen" niet goed vasthouden.

5. Wat betekent dit voor ons?

• Voor bedrijven: Je kunt AI nu al gebruiken om een eerste ontwerp te maken, maar je moet het altijd controleren door een mens. De AI is een goede assistent, maar nog geen meester-architect.
• Voor scholen: Dit is een waarschuwing voor leraren. Omdat AI's nu ontwerpen kunnen maken die net zo goed zijn als die van een gemiddelde student, kunnen studenten hun huiswerk laten doen door de AI. Scholen moeten nieuwe manieren vinden om te testen of studenten het echt zelf hebben gedaan (bijvoorbeeld door mondelinge verdedigingen).
• Voor de toekomst: AI's moeten nog leren om de "betekenis" van een ontwerp beter te begrijpen, niet alleen de woorden.

Kortom: De AI's zijn begonnen met het tekenen van blauwdrukken, en ze doen het verrassend goed. Maar ze zijn nog niet klaar om zelfstandig een stad te bouwen zonder dat er een menselijke architect naast staat om de plannen te controleren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "OODEval: Evaluating Large Language Models on Object-Oriented Design", geschreven in het Nederlands.

Probleemstelling

Recente vooruitgang in Large Language Models (LLMs) heeft geleid tot uitgebreide evaluaties binnen software-engineering, maar deze studies richten zich voornamelijk op code-generatie en -kwaliteit (77% van de bestaande benchmarks). Er is een aanzienlijke kennislacune op het gebied van softwareontwerp, specifiek Object-Oriented Design (OOD). Bestaande benchmarks voor het genereren van UML-klassediagrammen uit natuurlijke taalvereisten hebben ernstige tekortkomingen:

1. Ze zijn vaak gebaseerd op losstaande case studies in plaats van gestandaardiseerde datasets.
2. Veel datasets zijn niet publiek beschikbaar of zijn in beeldformaat (PNG), wat geautomatiseerde evaluatie bemoeilijkt.
3. Er ontbreekt een uniforme, geautomatiseerde evaluatiemetriek die zowel structurele als semantische informatie van klassediagrammen kan beoordelen. Bestaande methoden (zoals BLEU of embedding-based scores) missen vaak de fijne structurele details of de semantische nuance van relaties en methodes.

Methodologie

Om deze gaten op te vullen, hebben de auteurs een nieuw evaluatiekader ontwikkeld dat bestaat uit drie pijlers: een benchmark, een menselijk gelabeld dataset, en een nieuwe evaluatiemetriek.

1. OODEval Benchmark

De auteurs hebben OODEval handmatig geconstrueerd als een model-niveau benchmark.

• Opbouw: Bevat 50 OOD-taken die variëren van vereistenanalyse tot het genereren van volledige klassediagrammen.
• Complexiteit: De taken zijn ingedeeld in drie moeilijkheidsgraden (simpel, gemiddeld, moeilijk) gebaseerd op het aantal klassen, attributen, methoden, relaties en de leesbaarheid van de vereisten (Flesch-Kincaid score).
• Formaat: Alle data is beschikbaar in PlantUML-code (voor automatische parsing) en PNG (voor menselijke inspectie), afkomstig van diverse bronnen zoals GitHub, academische literatuur en universitaire cursussen (gecreëerd na 2025 om data-lekkage te voorkomen).

2. OODEval-Human Dataset

Om LLM-prestaties te vergelijken met menselijke prestaties en de nieuwe metriek te valideren, hebben de auteurs OODEval-Human gecreëerd.

• Data: Bevat 940 oplossingen ingediend door bachelorstudenten voor vier specifieke OOD-taken.
• Validatie: Elke oplossing is beoordeeld door instructeurs. De originele beeldoplossingen zijn geconverteerd naar PlantUML-code via GPT-4o en vervolgens handmatig verifieerd door drie onderzoekers om exacte overeenstemming met de originele diagrammen te garanderen.

3. CLUE Metriek (Class Likeness Unified Evaluation)

De auteurs stellen CLUE voor, een nieuwe set van automatische evaluatiemetrieken die zowel globale als fijne semantische overeenkomsten meet.

• Principe: CLUE vergelijkt een kandidaat-diagram met een referentiediagram door een hiërarchische matching uit te voeren. Het gebruikt de Hungarian-algoritme voor optimale matching van elementen (klassen, attributen, methoden, relaties).
• Semantiek: In plaats van exacte string-matching, gebruikt CLUE CodeBERT embeddings om semantische gelijkenis te berekenen (bijv. "Teacher" en "Tutor" worden als semantisch gelijk herkend).
• Componenten: De metriek bestaat uit vijf onderdelen: clue (totaal), clue-class, clue-attribute, clue-method, en clue-relation.
• Optimalisatie: De gewichten van de metriek zijn geoptimaliseerd via Bayesiaanse optimalisatie om de correlatie met menselijke beoordelingen in OODEval-Human te maximaliseren.

Empirische Studie

De auteurs hebben 29 verschillende LLMs geëvalueerd (waaronder GPT-4o, DeepSeek, Llama, Qwen, Gemma, CodeLlama) op de OODEval-benchmark. Ze analyseerden:

• Algemene correctheid (syntactisch en semantisch).
• Vergelijking met menselijke studenten.
• Invloed van modelkenmerken (parametergrootte, code-specialisatie, instructie-tuning, redeneervermogen).
• Invloed van taakeigenschappen.
• Analyse van foutpatronen (bad cases).

Belangrijkste Bijdragen

1. OODEval Benchmark: De eerste uitgebreide, publieke benchmark voor OOD-taken met 50 taken in drie moeilijkheidsniveaus.
2. OODEval-Human: De eerste menselijk gelabelde dataset voor OOD, essentieel voor het vergelijken van AI met mensen en het valideren van evaluatiemetrieken.
3. CLUE Metriek: Een geavanceerde, geautomatiseerde metriek die structurele en semantische informatie integreert en sterk correleert met menselijke beoordelingen (Pearson correlatie van ~0.59).
4. Uitgebreide Empirische Studie: Een systematische evaluatie van 29 LLMs die inzicht geeft in hun sterke en zwakke punten in softwareontwerp.

Resultaten en Bevindingen

De studie leverde zes belangrijke bevindingen op:

1. Syntaxis vs. Semantiek: LLMs behalen een hoge syntactische correctheid (meestal >80% pass@1), maar presteren significant slechter op semantische correctheid. Ze hebben moeite met het genereren van complexe methoden en relaties.
2. Mens vs. Machine: De gemiddelde LLM presteert aanzienlijk slechter dan de gemiddelde undergraduate student. Echter, de top-performer (Qwen3-Coder-30B) komt dicht in de buurt van het gemiddelde van mensen, maar blijft ver achter bij de beste menselijke prestaties.
3. Modelprestaties:
   • Qwen3-Coder-30B behaalde de beste algehele prestatie, met een gebalanceerd vermogen in attributen, methoden en relaties.
   • Lokale modellen (zoals Llama3.1-70B-IT en Gemma3-IT serie) presteren vergelijkbaar met of zelfs beter dan gesloten API-modellen zoals GPT-4o-mini.
   • Kleinere modellen (Gemma3-4B-IT) verrassen door beter te presteren dan GPT-4o-mini.
4. Invloed van Modelkenmerken:
   • Parametergrootte: Grotere modellen presteren over het algemeen beter.
   • Code-specialisatie: Code-specifieke modellen (zoals CodeLlama, Qwen-Coder) presteren significant beter dan algemene modellen.
   • Instructie-tuning: Instructie-getuned modellen overtreffen hun base-versies consistent.
   • Redeneren: Redeneer-modellen (RLMs) tonen geen duidelijke meerwaarde ten opzichte van niet-redeneer-modellen in deze specifieke taak.
5. Taakkenmerken: De prestatie van LLMs daalt naarmate het aantal klassen, methoden en relaties toeneemt. De leesbaarheid van de vereisten heeft ook een grote invloed; complexere diagrammen met veel generalisaties zijn een knelpunt.
6. Foutpatronen: De meest voorkomende fouten zijn trefwoordfouten, ontbrekende klassen/associaties en het weglaten van methoden. Modellen zoals DeepSeek, GPT-serie en Gemma3-IT vertonen de minste diversiteit aan fouten.

Significantie en Implicaties

• Voor Onderzoek: OODEval en CLUE bieden een gestandaardiseerde basis voor toekomstig onderzoek naar LLMs in softwareontwerp, waarbij eerdere studies vaak gebrek aan reproduceerbaarheid hadden.
• Voor Praktijk: De studie biedt richtlijnen voor modelselectie. Voor lokale implementatie met voldoende resources is Qwen3-Coder-30B aan te raden; voor beperkte resources is Gemma3-4B-IT een sterke kandidaat. Voor productie-API's is DeepSeek-R1 een kostenefficiënt alternatief.
• Voor Onderwijs: Omdat top-LLMs nu prestaties leveren die vergelijkbaar zijn met gemiddelde studenten, moeten onderwijsinstellingen voorzichtig zijn met AI-gestunde academische oneerlijkheid. Er is een verschuiving nodig naar procesgerichte beoordeling en mondelinge verdedigingen om de authenticiteit van studentwerk te waarborgen.

Samenvattend stelt dit paper dat LLMs veelbelovend zijn voor softwareontwerp, maar dat ze nog niet klaar zijn voor volledig autonoom complex ontwerp zonder menselijke supervisie, vooral wat betreft semantische diepgang en complexiteit.