💬 NLP

GUT-IS: A Data-Driven Approach to Integrating Constructs and Their Relations in Information Systems

Dieser Beitrag stellt GUT-IS vor, eine datengestützte Methodik, die inkonsistente Strukturgleichungsmodelle in der Wirtschaftsinformatik-Forschung integriert, indem Text-Embeddings und Clustering mit einer Verlustfunktion kombiniert werden, um semantische Reinheit und Sparsamkeit explizit auszubalancieren und dadurch die Analyse von Konstruktgruppierungen unter variierenden Prioritäten ermöglicht.

Ursprüngliche Autoren: Maximilian Reinhardt, Jonas Scharfenberger, Burkhardt Funk

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Maximilian Reinhardt, Jonas Scharfenberger, Burkhardt Funk

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Forschungsfeld der Informationssysteme (IS) als eine riesige, chaotische Bibliothek vor. Im Laufe der Jahre haben Tausende von Forschern Bücher (Studien) darüber geschrieben, wie Menschen Technologie nutzen. In diesen Büchern erfinden sie „Konzepte" (wie „Nutzerzufriedenheit" oder „Systemvertrauen"), um zu erklären, was vor sich geht.

Das Problem? Es ist ein Chaos. Ein Forscher mag ein Konzept „Digitales Vertrauen" nennen, während ein anderes genau dasselbe als „Technische Selbstwirksamkeit" bezeichnet. Umgekehrt verwenden zwei Forscher möglicherweise denselben Namen für zwei völlig unterschiedliche Ideen. Das ist so, als hätte man eine Bibliothek, in der dasselbe Buch unter drei verschiedenen Titeln abgelegt ist und drei verschiedene Bücher alle unter einem einzigen Titel. Es macht es nahezu unmöglich, ein klares, kumulatives Verständnis des Feldes aufzubauen.

Der Artikel stellt GUT-IS (Grand Unified Theory for Information Systems) vor, ein neues Werkzeug, das entwickelt wurde, um diese Bibliothek zu ordnen und die Bücher in ein kohärentes System zu bringen.

So funktioniert GUT-IS, aufgeschlüsselt in einfache Schritte:

1. Der „intelligente Bibliothekar" (Datenbereinigung)

Zunächst nimmt das System eine riesige Liste dieser chaotischen Konzepte. Viele davon haben kurze, vage oder falsch geschriebene Definitionen.

Die Analogie: Stellen Sie sich einen Bibliothekar vor, der einen superintelligenten KI-Assistenten (ein Large Language Model) nutzt, um jedes Buch zu lesen. Die KI schreibt die chaotischen Titel und verschwommenen Beschreibungen in klares, standardsprachliches Englisch um. Fehlt eine Definition, schreibt die KI eine neue basierend auf dem Kontext des Buches. Jetzt hat jedes Konzept ein klares, lesbares Etikett.

2. Der „Ähnlichkeitsdetektor" (Embeddings)

Als Nächstes muss das System herausfinden, welche Konzepte tatsächlich gleich sind.

Die Analogie: Die KI sucht nicht nur nach exakten Wortübereinstimmungen (wie „Zufriedenheit" vs. „Zufriedenheit"). Sie nutzt einen „semantischen Radar" (Text-Embeddings), um die Bedeutung hinter den Wörtern zu verstehen. Sie lernt, dass sich „sich gut über ein System fühlen" und „mit der Software glücklich sein" im Wesentlichen auf dasselbe beziehen, selbst wenn die Wörter unterschiedlich sind.
Die Wendung: Die Forscher haben nicht nur einen generischen Radar verwendet; sie haben einen leichten „Adapter" speziell für diese Bibliothek trainiert. Dies ermöglicht es dem System, subtile Ähnlichkeiten zu erkennen, die ein generisches Werkzeug übersehen würde, ohne Millionen von Beispielen zum Lernen zu benötigen.

3. Das „Gruppierungsspiel" (Clustering)

Jetzt, da das System weiß, wie ähnlich jedes Konzept jedem anderen ist, versucht es, sie zu gruppieren.

Die Analogie: Stellen Sie sich ein riesiges Netz aus Schnüren vor, das alle Bücher verbindet. Einige Schnüre sind dick (sehr ähnlich), andere dünn (etwas ähnlich). Das Ziel ist es, die dünnen Schnüre zu durchschneiden und die dicken zu Stapeln zu bündeln.
Das Problem: Wenn Sie zu viele Schnüre durchschneiden, landen Sie bei einem einzigen riesigen Stapel von allem (zu einfach). Wenn Sie zu wenige durchschneiden, landen Sie bei Tausenden winziger Stapel (zu chaotisch).

4. Der „Regler" (Der Kompromiss)

Dies ist der wichtigste Teil des Artikels. Die Forscher haben erkannt, dass es nicht nur eine perfekte Möglichkeit gibt, diese Konzepte zu gruppieren.

Die Analogie: Denken Sie an einen Radiowähler mit zwei Einstellungen: Sparsamkeit (Einfachheit) und Reinheit (Genauigkeit).
- Sparsamkeit möchte alles in wenige große Gruppen zusammenfassen, um die Dinge einfach zu halten.
- Reinheit möchte die Gruppen sehr spezifisch halten, damit nichts durcheinandergerät.
Die Innovation: GUT-IS gibt Forschern einen „Regler" (einen Parameter namens $\alpha$ $α$ ), den sie hin und her schieben können.
- Wenn Sie in Richtung Einfachheit schieben, verschmilzt das System mehr Konzepte und erstellt eine sauberere, breitere Karte.
- Wenn Sie in Richtung Reinheit schieben, hält das System die Konzepte getrennt und erstellt eine detaillierte, komplexe Karte.
- Das System berechnet einen „Score" für jede mögliche Einstellung und zeigt Ihnen genau, wie viel Sie an Einfachheit gewinnen und wie viel Sie an Genauigkeit verlieren (und umgekehrt).

5. Das Ergebnis

Die Forscher haben dies an zwei realen Datensätzen aus dem Bereich der Informationssysteme getestet.

Sie stellten fest, dass ihre Methode besser darin war, ähnliche Konzepte zu erkennen als frühere Werkzeuge.
Sie zeigten, dass Sie durch Drehen des „Reglers" sehen können, wie sich die Karte des Feldes verändert. Sie können eine „einfache Ansicht" für einen Überblick auf hoher Ebene oder eine „detaillierte Ansicht" für eine tiefgehende Analyse wählen.

Zusammenfassung

GUT-IS ist eine datengesteuerte Pipeline, die eine chaotische Sammlung von Forschungskonzepten aufnimmt, sie mit KI bereinigt, herausfindet, wie sie miteinander zusammenhängen, und es Forschern dann ermöglicht, zu wählen, wie sie sie gruppieren. Sie verwandelt einen chaotischen, manuellen Prozess des „Ratens", welche Konzepte gleich sind, in einen klaren, einstellbaren Prozess, bei dem Sie genau entscheiden können, wie einfach oder wie detailliert Ihr Verständnis des Feldes sein soll.

Was es NICHT ist:
Der Artikel behauptet nicht, dass dieses Werkzeug menschliches Verhalten vorhersagen, technische Ausfälle diagnostizieren oder in klinischen Settings eingesetzt werden kann. Es ist strikt ein Werkzeug zur Organisation und zum Verständnis von Forschungsliteratur.

Technischer Überblick zu GUT-IS: Ein datengesteuerter Ansatz zur Integration von Konstrukten und ihrer Beziehungen in Informationssystemen

Problemstellung
Die Strukturgleichungsmodellierung (SEM) ist eine dominierende empirische Methode in der Forschung zu Informationssystemen (IS), doch das Feld steht vor einem „Construct Jingle-Jangle-Fehlschluss", bei dem konzeptionell ähnliche Konstrukte unterschiedlich benannt werden oder identische Bezeichnungen auf unterschiedliche Konzepte angewendet werden. Diese Inkonsistenz behindert die kumulative Wissensentwicklung, erschwert Literaturübersichten und Metaanalysen. Zwar existieren bereits Werkzeuge zur Erkennung von Konstruktidentität oder zum Vergleich von Konstrukten mit etablierten Sets, doch verlassen sie sich häufig auf paarweise Ähnlichkeitsberechnungen, ohne Konstrukte und ihre Beziehungen in ein einheitliches, global kohärentes Modell zu integrieren. Darüber hinaus behandeln aktuelle Ansätze die Gruppierung von Konstrukten typischerweise als binäre Entscheidung und adressieren nicht explizit den inhärenten Zielkonflikt zwischen semantischer Reinheit (nur hochähnliche Konstrukte zu gruppieren) und Sparsamkeit (Minimierung der Anzahl der Cluster).

Methodik
Die Autoren schlagen GUT-IS vor, eine datengesteuerte Pipeline, die darauf ausgelegt ist, semantisch ähnliche Konstrukte zu integrieren und ihre Beziehungen in Einklang zu bringen. Die Methodik besteht aus vier Kernphasen:

Datenerweiterung mittels LLMs: Konstruktbezeichnungen und Definitionen aus IS-Repositorien (insbesondere DISKNET und einem Datensatz von Larsen und Bong, 2016) werden bereinigt und unter Verwendung des Open-Source-LLM llama-3.3-70b-instruct angereichert. Dies umfasst das Expandieren von Abkürzungen, das Korrigieren von Rechtschreibfehlern, die Sicherstellung von Prägnanz und das Generieren fehlender Definitionen mittels Retrieval Augmented Generation (RAG), sofern Volltextkontexte verfügbar sind.
Aufgabenadaptierte Embedding-Projektion: Anstatt große Modelle zu fine-tunen (was umfangreiche gelabelte Daten erfordert), lernen die Autoren eine leichte Projektschicht. Konstruktbezeichnungen und Definitionen werden separat unter Verwendung des vortrainierten Modells e5-mistral-7b-instruct eingebettet. Diese Embeddings werden in eine einzelne lineare neuronale Netzwerkschicht eingespeist, die über eine kontrastive Verlustfunktion trainiert wird. Das Training nutzt Hard-Negative-Sampling, um die Abbildung ähnlicher Paare näher an eine Kosinusähnlichkeit von 1 und unähnlicher Paare unterhalb einer Schwelle $m$ zu optimieren.
Clustering zur logischen Konsistenz: Um logische Inkonsistenzen zu lösen, die in paarweisen Ähnlichkeitsgraphen inhärent sind (z. B. A ist ähnlich zu B, B zu C, aber A ist nicht ähnlich zu C), wenden die Autoren graphbasiertes Clustering an. Drei Methoden werden evaluiert: Leiden, spektrales Clustering und agglomeratives Clustering.
Verlustbasierte Selektion auf einem Kontinuum: Die Kerninnovation ist eine interpretierbare Verlustfunktion, $L_{balanced}$ $L_{ba l an ce d}$ , die über einen Gewichtsparameter $\alpha$ $α$ explizit Sparsamkeit und Reinheit abwägt.
- Sparsamkeitsverlust ( $L_{parsimony}$ ): Definiert als Verhältnis der Anzahl der Cluster zur Gesamtzahl der Konstrukte.
- Reinheitsverlust: Zwei Versionen werden vorgeschlagen: $L_{construct\_purity}$ (durchschnittliche Dissimilarität innerhalb der Cluster) und $L_{relation\_purity}$ (gewichtete Shannon-Entropie der Beziehungen zwischen verschiedenen Clustern).
- Die optimale Partition für eine gewählte Balance wird durch Minimierung von $L_{balanced} = (1-\alpha)L_{parsimony} + \alpha L_{purity}$ ausgewählt.

Hauptergebnisse
Der Ansatz wurde an zwei Datensätzen evaluiert: einem gelabelten Datensatz von 1.004 Konstrukten von Larsen und Bong (2016) und dem größeren DISKNET-Datensatz (5.290 Konstrukte).

Embedding-Leistung: Der vorgeschlagene Ansatz (gelernte Projektion auf Namen + Definitionen) erreichte eine ROC-AUC von 0,840 und übertraf sowohl die ursprünglichen vortrainierten Embeddings (ca. 0,54) als auch frühere State-of-the-Art-Methoden (Larsen und Bong, 2016: 0,814; Ludwig et al., 2020: 0,827). Die Autoren stellen fest, dass zwar das Fine-Tuning von Modellen auf größeren Datensätzen (Larsen et al., 2024) zu höheren Werten (0,93) führen kann, der Projektionsansatz jedoch eine wettbewerbsfähige Alternative mit minimalen Anforderungen an gelabelte Daten bietet.
Wirksamkeit des Clusterings: Unter den Clustering-Methoden zeigte agglomeratives Clustering die höchste Übereinstimmung mit dem Ground Truth (gemessen durch Adjusted Mutual Information und F1-Score), insbesondere um $\alpha = 0,6$ . Es löste erfolgreich logische Inkonsistenzen in Ähnlichkeitsbeziehungen, ohne die Gesamtqualität zu beeinträchtigen.
Sparsamkeits-Reinheits-Abwägung: Experimente mit den DISKNET-Daten bestätigten, dass die Verlustfunktion das Kontinuum effektiv navigiert. Mit steigendem $\alpha$ (Priorisierung der Reinheit) nimmt der Sparsamkeitsverlust nichtlinear zu, während die Reinheitsverluste abnehmen. Die Autoren beobachteten eine starke Korrelation zwischen den beiden Reinheitsmetriken, was darauf hindeutet, dass sie die semantische Reinheit in einer weitgehend konsistenten Weise optimieren.

Bedeutung und Behauptungen
Das Papier positioniert GUT-IS als Mechanismus, um die Konsolidierung von Konstrukten von einem versteckten, manuellen Schritt in eine explizite, justierbare Designentscheidung zu verwandeln. Indem der Zielkonflikt zwischen Sparsamkeit und Reinheit explizit gemacht wird, ermöglicht der Ansatz Forschern zu analysieren, wie sich Konstruktgruppierungen und ihre Beziehungen unter verschiedenen Prioritäten entwickeln.

Die Autoren behaupten, dass GUT-IS eine vereinheitlichende Schicht bietet, die in die Vorverarbeitung von Metaanalysen, die Verfeinerung von Ontologien und die Wissenssynthese einfließen kann. Sie betonen, dass die Methode auf andere Domänen jenseits von IS übertragbar ist. Die Autoren nehmen jedoch eine bescheidene Haltung bezüglich der Einschränkungen ein:

Die Evaluation der RAG-basierten Anreicherung auf DISKNET fehlt eine Ground-Truth-Verifizierung aufgrund der Struktur des Datensatzes.
Die Exploration des Sparsamkeits-Reinheits-Kontinuums ist derzeit quantitativ; eine qualitative Perspektive ist für zukünftige Werkzeuge geplant.
Die Trainingslabels (Cluster aus Larsen und Bong, 2016) repräsentieren „korrespondierende" Konstrukte und keine exakten semantischen Äquivalenzen, was potenziell Label-Rauschen einführt.

Die Arbeit schließt mit der Skizzierung der Entwicklung eines interaktiven Werkzeugs, das Forschern die freie Wahl einer Balance zwischen Sparsamkeit und Reinheit ermöglicht, mit dem Ziel, halbautomatisierte Literaturübersichten und ontologiebasierte Wissenssynthese zu erleichtern.