GUT-IS: A Data-Driven Approach to Integrating Constructs and Their Relations in Information Systems

Technische Samenvatting van GUT-IS: Een datagedreven aanpak voor het integreren van constructen en hun relaties in Informatiesystemen

Probleemstelling
Structurele vergelijkingenmodelleren (SEM) is een dominante empirische methode in onderzoek naar Informatiesystemen (IS), maar het veld kampt met een "construct-jingle-jangle-fallacy": conceptueel vergelijkbare constructen krijgen verschillende labels, of identieke labels worden toegepast op verschillende concepten. Deze inconsistentie hindert de cumulatieve ontwikkeling van kennis, wat literatuuroverzichten en meta-analyses bemoeilijkt. Hoewel bestaande hulpmiddelen bestaan om constructidentiteit te detecteren of constructen te vergelijken met gevestigde sets, vertrouwen deze vaak op paarsgewijze similariteitsberekeningen zonder constructen en hun relaties te integreren in een unificerend, globaal coherent model. Bovendien behandelen huidige benaderingen constructgroepering doorgaans als een binaire beslissing, waardoor de inherente afweging tussen semantische zuiverheid (alleen sterk vergelijkbare constructen groeperen) en parsimonie (het minimaliseren van het aantal clusters) niet expliciet wordt aangepakt.

Methodologie
De auteurs stellen GUT-IS voor, een datagedreven pijplijn die is ontworpen om semantisch vergelijkbare constructen te integreren en hun relaties te verzoenen. De methodologie bestaat uit vier kernfasen:

1. Data-verrijking via LLM's: Constructnamen en -definities uit IS-repositories (specifiek DISKNET en een dataset van Larsen en Bong, 2016) worden schoongemaakt en verrijkt met behulp van de open-source LLM llama-3.3-70b-instruct. Dit omvat het uitbreiden van afkortingen, het corrigeren van spelling, het waarborgen van beknoptheid en het genereren van ontbrekende definities met behulp van Retrieval Augmented Generation (RAG) waar volledige tekstcontexten beschikbaar zijn.
2. Taak-geadaptede embedding-projectie: In plaats van grote modellen te fine-tunen (wat uitgebreide gelabelde data vereist), leren de auteurs een lichtgewicht projectielaag. Constructnamen en -definities worden afzonderlijk ingebed met behulp van het vooraf getrainde model e5-mistral-7b-instruct. Deze embeddings worden ingevoerd in een enkele lineaire neurale netwerklaag die wordt getraind via een contrastieve verliesfunctie. De training maakt gebruik van hard negative sampling om de mapping van vergelijkbare paren dichter bij een cosinussimilariteit van 1 te optimaliseren en dissimilaire paren onder een marge $m$ te houden.
3. Clustering voor logische consistentie: Om logische inconsistenties inherent aan paarsgewijze similariteitsgrafieken op te lossen (bijvoorbeeld: A is vergelijkbaar met B, B met C, maar A is niet vergelijkbaar met C), passen de auteurs op grafieken gebaseerde clustering toe. Drie methoden worden geëvalueerd: Leiden, spectrale clustering en agglomeratieve clustering.
4. Op verlies gebaseerde selectie op een continuüm: De kerninnovatie is een interpreteerbare verliesfunctie, $L_{balanced}$, die expliciet afweging maakt tussen parsimonie en zuiverheid via een wegingsparameter $\alpha$.
   • Parsimonieverlies ($L_{parsimony}$): Gedefinieerd als de verhouding tussen het aantal clusters en het totale aantal constructen.
   • Zuiverheidsverlies: Er worden twee versies voorgesteld: $L_{construct\_purity}$ (gemiddelde dissimilariteit binnen clusters) en $L_{relation\_purity}$ (gewogen Shannon-entropie van relaties tussen verschillende clusters).
   • De optimale partitionering voor een gekozen balans wordt geselecteerd door $L_{balanced} = (1-\alpha)L_{parsimony} + \alpha L_{purity}$ te minimaliseren.

Belangrijkste Resultaten
De aanpak is geëvalueerd op twee datasets: een gelabelde dataset van 1.004 constructen van Larsen en Bong (2016) en de grotere DISKNET-dataset (5.290 constructen).

• Embedding-prestaties: De voorgestelde aanpak (geleerde projectie op namen + definities) behaalde een ROC-AUC van 0,840, wat beter presteerde dan zowel de originele vooraf getrainde embeddings (ongeveer 0,54) als eerdere state-of-the-art methoden (Larsen en Bong, 2016: 0,814; Ludwig et al., 2020: 0,827). De auteurs merken op dat hoewel het fine-tunen van modellen op grotere datasets (Larsen et al., 2024) hogere scores kan opleveren (0,93), de projectiebenadering een concurrerend alternatief biedt met minimale eisen aan gelabelde data.
• Effectiviteit van clustering: Onder de clustermethoden toonde agglomeratieve clustering de hoogste overeenstemming met de grondwahrheid (gemeten door Adjusted Mutual Information en F1-score), met name rond $\alpha = 0,6$. Het slaagde erin logische inconsistenties in similariteitsrelaties op te lossen zonder de algehele kwaliteit te verslechteren.
• Afweging parsimonie-zuiverheid: Experimenten op de DISKNET-data bevestigden dat de verliesfunctie het continuüm effectief navigeert. Naarmate $\alpha$ toeneemt (prioriteit aan zuiverheid), neemt het parsimonieverlies niet-lineair toe, terwijl de zuiverheidsverliezen afnemen. De auteurs observeerden een sterke correlatie tussen de twee zuiverheidsmetrieken, wat suggereert dat ze op een breed consistente manier semantische zuiverheid optimaliseren.

Betekenis en Claims
Het artikel positioneert GUT-IS als een mechanisme om constructconsolidatie te transformeren van een verborgen, handmatige stap naar een expliciete, instelbare ontwerpbeslissing. Door de afweging tussen parsimonie en zuiverheid expliciet te maken, stelt de aanpak onderzoekers in staat te analyseren hoe constructgroeperingen en hun relaties evolueren onder verschillende prioriteiten.

De auteurs claimen dat GUT-IS een unificerende laag biedt die kan worden gebruikt voor meta-analytische voorverwerking, ontologieverfijning en kennis synthese. Zij benadrukken dat de methode portabel is naar andere domeinen buiten IS. De auteurs houden echter een bescheiden standpunt ten aanzien van beperkingen:

• De evaluatie van de op RAG gebaseerde verrijking op DISKNET mist verificatie aan de hand van grondwahrheid vanwege de structuur van de dataset.
• De verkenning van het parsimonie-zuiverheidscontinuüm is momenteel kwantitatief; een kwalitatief perspectief is gepland voor toekomstige hulpmiddelen.
• De trainingslabels (clusters van Larsen en Bong, 2016) vertegenwoordigen "correspondente" constructen in plaats van exacte semantische equivalenties, wat mogelijk labelruis introduceert.

Het werk sluit af met een schets van de ontwikkeling van een interactief hulpmiddel om onderzoekers de vrijheid te geven een balans te kiezen tussen parsimonie en zuiverheid, met als doel semi-automatische literatuuroverzichten en op ontologie gebaseerde kennis synthese te faciliteren.