💻 computer science

ConcernBERT: Learning Responsibilities Using Class Membership

Dit artikel introduceert ConcernBERT, een op BERT gebaseerd embedding-model dat met triplet loss is getraind op een grootschalige dataset van meer dan twee miljoen Java-bestanden om effectief softwareverantwoordelijkheden en klasse-lidmaatschappen te leren, waardoor het bestaande modellen overtreft in taken zoals architectuurherstel en extract class-refactoring.

Oorspronkelijke auteurs: J. Lefever, J. Xu, Y. Cai, R. Kazman, E. Pisch

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: J. Lefever, J. Xu, Y. Cai, R. Kazman, E. Pisch

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, chaotische bibliotheek binnenloopt waar boeken zonder enige orde in de schappen zijn gegooid. Sommige boeken gaan over koken, andere over ruimtereizen, en sommige zijn gewoon willekeurige pagina's uit verschillende handleidingen gescheurd. Jouw taak is om uit te zoeken welke pagina's bij elkaar horen om de oorspronkelijke boeken te reconstrueren.

In de wereld van computerprogrammeren is dit een veelvoorkomend probleem. Programmeurs schrijven code in "classes" (denk aan deze als de boeken). Een goed ontworpen class zou slechts één specifieke taak moeten hebben (zoals een kookboek dat alleen recepten bevat). Maar in de loop van de tijd kan code rommelig worden, waarbij ongerelateerde taken door elkaar worden gemengd. Dit wordt een "God Class" genoemd, en het is moeilijk op te lossen omdat het lastig is te bepalen welke regels code bij welke taak horen.

Decennialang hebben software engineers geprobeerd om computers te gebruiken om deze chaos te ordenen. De oude manier was om naar de woorden (tokens) te kijken die in de code werden gebruikt. Als twee stukken code beide de woorden "log", "error" en "file" gebruikten, nam de computer aan dat ze gerelateerd waren.

Het Probleem met de Oude Manier
Het artikel betoogt dat kijken naar alleen woorden hetzelfde is als proberen een bibliotheek te sorteren door alleen naar de eerste letter van de titel te kijken.

Scenario A: Twee boeken hebben beide "Space" in de titel. Ze gaan waarschijnlijk over ruimte. (Goede match).
Scenario B: Het ene boek gaat over "Space Travel" en het andere over "The Space Between Stars". Ze delen het woord "Space", maar het zijn totaal verschillende onderwerpen. (Slechte match).
Scenario C: Het ene boek gaat over "Cooking" en het andere over "Chemistry". Ze delen geen woorden, maar ze hebben beide te maken met het mengen van ingrediënten. (Gemiste connectie).

De oude computermodellen werden gefopt door Scenario B en misten Scenario C. Ze waren te veel gefocust op de oppervlakkige woordenschat.

De Nieuwe Oplossing: ConcernBERT
De auteurs creëerden een nieuw AI-model genaamd ConcernBERT. In plaats van alleen de woorden te lezen, leert dit model door te kijken naar met wie de code omgaat.

Denk aan een schoolkantine.

Het Oude Model: Als je twee leerlingen ziet met hetzelfde "Math Club"-t-shirt aan, neemt het model aan dat ze beste vrienden zijn.
ConcernBERT: Het kijkt naar wie er daadwerkelijk aan dezelfde lunchtafel zit. Zelfs als twee leerlingen verschillende shirts dragen, als ze consequent bij elkaar zitten, hetzelfde eten en over dezelfde dingen praten, weet het model dat ze bij dezelfde groep horen.

In softwaretermen werd het model getraind op miljoenen bestaande codebases. Het leerde een simpele regel: "Als een methode (een regel code) in hetzelfde class-bestand zit als een andere methode, hebben ze waarschijnlijk een gedeelde verantwoordelijkheid."

Door te leren van deze echte-wereld groeperingen, leerde het model de intentie of de "concern" (het doel) van de code te begrijpen, in plaats van alleen de woorden.

Hoe Ze Het Testten
Om te zien of dit nieuwe model werkte, lieten de onderzoekers een spelletje "Mix en Match" spelen:

Ze namen code van twee (of zelfs 100) verschillende classes en gooiden alles samen in één grote, rommelige hoop.
Ze vroegen de AI om de hoop terug te sorteren in de oorspronkelijke groepen.
Ze vergeleken ConcernBERT met zeven andere beroemde AI-modellen (zoals CodeBERT, LSI en LDA).

De Resultaten
ConcernBERT was een enorme winnaar.

In eenvoudige tests (sorteren van 2 classes), was het 31% beter dan het op één na beste model.
In moeilijke tests (sorteren van 100 gemengde classes), was het 55% beter.
Zelfs vergeleken met zijn "neefje"-model (CodeBERT), dat exact dezelfde hersenstructuur heeft maar anders is getraind, was ConcernBERT bijna twee keer zo goed.

Het artikel laat zien dat door de AI te leren aandacht te besteden aan context (wie zit er in dezelfde class) in plaats van alleen aan vocabulaire (welke woorden worden gebruikt), het veel nauwkeuriger kan bepalen waar een stuk software daadwerkelijk verantwoordelijk voor is.

Wat Dit Betekent (Volgens het Artikel)
Het artikel concludeert dat ConcernBERT geen toverstaf is die automatisch alle software oplost. In plaats daarvan is het een krachtig fundament. Het biedt een veel slimmere manier om te meten hoe "coherent" (hoe goed georganiseerd) een stuk code is. Dit maakt het een beter instrument voor toekomstige taken zoals:

Het afbreken van rommelige "God Classes" in kleinere, beheersbare stukken.
Het nauwkeuriger meten van softwarekwaliteit.
Het helpen van ontwikkelaars bij het herstellen van de oorspronkelijke architectuur van oude software.

Kortom, ConcernBERT leert computers om de taak van de code te begrijpen, niet alleen de woordenschat, door te leren van de manier waarop ontwikkelaars hun werk natuurlijk groeperen.

Technische Samenvatting: ConcernBERT

Probleemstelling

De principes van scheiding van verantwoordelijkheden (separation of concerns), hoge cohesie en een enkele verantwoordelijkheid (single responsibility) zijn fundamenteel voor softwareontwerp, maar de praktische toepassing ervan leunt vaak op intuïtie van ontwikkelaars in plaats van op actieerbare metrieken. Een kritieke uitdaging in software engineering is de betrouwbare identificatie van cohesieve groepen programmeerelementen (methoden en attributen) die gezamenlijk een specifieke verantwoordelijkheid vervullen. Deze capaciteit is essentieel voor taken zoals architecturaal herstel (architectural recovery) en het refactoren van klassen (extract class refactoring) en het meten van cohesie.

Bestaande benaderingen voor het identificeren van deze groepen vertrouwen grotendeels op token-gebaseerde semantische gelijkenis (bijv. gedeelde vocabulaire). Echter, het paper toont aan dat token-gelijkenis onvoldoende is:

Vals-negatieven: Semantisch gerelateerde methoden kunnen volledig verschillende tokens gebruiken (bijv. verschillende implementaties van toegangscontrole).
Vals-positieven: Methoden met vergelijkbare tokens kunnen ongerelateerde zorgen dienen (bijv. logging versus betalingsverwerking).
Beperking: Puur lexicale modellen falen in het vastleggen van de onderliggende "concern-niveau" semantiek die ontwikkelaars impliciet coderen wanneer zij entiteiten in klassen groeperen.

Methodologie

De auteurs stellen ConcernBERT voor, een op BERT gebaseerd embedding-model dat ontworpen is om programmeerelementen te mappen naar een hoogdimensionale "concern-ruimte" waar entiteiten die dezelfde verantwoordelijkheden delen, dicht bij elkaar worden gepositioneerd.

Kerninnovaties

Supervisie op entiteitsniveau via Triplet Loss: In tegenstelling tot standaardmodellen die getraind worden met token-niveau masked language modeling (waarbij geoptimaliseerd wordt voor het invullen van gaten op basis van context), wordt ConcernBERT getraind op entiteitsniveau. Het maakt gebruik van triplet loss om de relatieve positionering van methoden en attributen direct te optimaliseren.
- Anchor: Een programmeerelement.
- Positive: Een ander element uit dezelfde Java-structuur (klasse, interface of enum).
- Negative: Een element uit een andere structuur.
- Doelstelling: Het minimaliseren van de Euclidische afstand tussen de anchor en de positive, terwijl de afstand tot de negative wordt gemaximaliseerd.
Klasse-lidmaatschap als Context: Het model behandelt door ontwikkelaars toegewezen klasse-lidmaatschap als een impliciete label voor gedeelde verantwoordelijkheid. De onderliggende aanname is dat ontwikkelaars methoden in klassen groeperen op basis van gedeelde zorgen (concerns). Door te leren van miljoenen van deze groeperingsbeslissingen over duizenden repositories, legt het model patronen van concern-niveau gelijkenis vast die zelfs generaliseren wanneer entiteiten geen overlappende tokens delen.

Architectuur en Training

Basismodel: Gebouwd op CodeBERTa-small-v1, waarbij een mean pooling-laag is toegevoegd om token-embeddings te aggregeren tot één vector per entiteit (volgens de rationale van SentenceBERT).
Dataset: Een grootschalige dataset bestaande uit 2.430.138 bronbestanden verspreid over 6.766 repositories. De trainingsset bevat meer dan 1,9 miljoen essentiële Java-bestanden uit 5.414 repositories.
Trainingsprocedure: Getraind voor drie epochs op een enkele NVIDIA A40 GPU met behulp van mini-batch stochastic gradient descent. Het model werd gedurende drie dagen getraind en verwerkte ongeveer 15 miljoen entiteiten.

Evaluatie

De auteurs evalueren ConcernBERT met behulp van een Class-Membership Recovery Test.

Opzet: Methoden uit $k$ verschillende klassen (waarbij $k \in \{2, 10, 50, 100\}$ ) worden samengevoegd tot één ongelabelde groep. Het model embedt deze methoden, waarna een clustering-algoritme probeert de oorspronkelijke klasse-lidmaatschappen te herstellen.
Baselines: Het model wordt vergeleken met zeven bestaande modellen:
- Traditioneel: Latent Semantic Indexing (LSI), Latent Dirichlet Allocation (LDA), Doc2Vec.
- Transformer-gebaseerd: CodeBERT, GraphCodeBERT, CodeT5+, ModernBERT.
Metrieken: Prestaties worden gemeten met behulp van Adjusted Mutual Information (AMI) over 12 configuraties (4 clustering-algoritmen $\times$ 3 afstandmetrieken).

Belangrijkste Resultaten

ConcernBERT presteert aanzienlijk beter dan alle referentiemodellen over alle groepsgroottes en clustering-configuraties heen.

Kleine Groepen ( $k=2$ ): ConcernBERT bereikt een gemiddelde AMI van 0,728, waarmee het de eerstvolgende beste model (LSI op 0,558) met 31% verslaat. Vergeleken met CodeBERT (de architecturale basis) is de verbetering 115%.
Grote Groepen ( $k=100$ ): De prestatiekloof wordt groter naarmate de taakcomplexiteit toeneemt. ConcernBERT bereikt een gemiddelde AMI van 0,565, waarmee het LSI met 55% en CodeBERT met 94% verslaat.
Statistische Significantie: Alle paar-vergelijkingen zijn statistisch significant ( $p < 0,01$ ). De effectgroottes (Cliff's delta) zijn groot, wat aangeeft dat de verbetering niet louter toe te schrijven is aan architecturale verschillen, maar voortkomt uit het gespecialiseerde trainingsproces.
Consistentie: ConcernBERT behoudt de hoogste en meest compacte distributie van AMI-scores over alle testgroottes, terwijl baseline-modellen een significante degradatie en variantie vertonen naarmate de taakcomplexiteit toeneemt.

Een casestudy van de TsFileTool klasse toonde aan dat ConcernBERT succesvol cohesieve clusters identificeerde (bijv. directorybeheer, schema-verwerking) die overeenkwamen met menselijke intuïtie, terwijl CodeBERT en LSI grote, semantisch incoherente clusters produceerden.

Betekenis en Claims

Het paper claimt dat ConcernBERT een sterkere fundering biedt voor downstream software engineering-taken door effectief concern-niveau semantiek te coderen.

Operationalisering van Ontwerpprincipes: Dit werk zet een stap richting het transformeren van filosofische principes zoals "scheiding van verantwoordelijkheden" en "enkele verantwoordelijkheid" naar actieerbare, geautomatiseerde metrieken en tooling.
Fundament, Geen End-to-End Tool: De auteurs geven expliciet aan dat ConcernBERT niet bedoeld is als een volledige, end-to-end refactoring of architecturaal herstel-tool. In plaats daarvan dient het als een fundamentele embedding-component om deze taken te ondersteunen.
Superioriteit van Trainingsstrategie: De resultaten bevestigen dat architecturale vooruitgang alleen (bijv. het gebruik van nieuwere Transformer-modellen) de concern-niveau semantiek niet zo effectief vastlegt als een trainingsproces dat specifiek is ontworpen om de context van klasse-lidmaatschap te benutten.

Het paper concludeert dat door gelijkenis direct te leren van klasse-lidmaatschap in plaats van van oppervlakkige token-overlap, ConcernBERT verder gaat dan traditionele benaderingen om meer betrouwbare inzichten in programmeerverantwoordelijkheden te bieden.