💬 NLP

Word-Centered Semantic Graphs for Interpretable Diachronic Sense Tracking

Dieses Paper führt ein interpretierbares, graphbasiertes Framework ein, das distributionelle Ähnlichkeit und lexikalische Substituierbarkeit kombiniert, um wortzentrierte semantische Netzwerke zur Verfolgung der diachronen Sinnentwicklung zu konstruieren, ohne auf vordefinierte Inventare von Wortbedeutungen zurückzugreifen, wobei die Effektivität durch Fallstudien zu den semantischen Trajektorien von Wörtern wie „trump“, „god“ und „post“ in Artikeln des New York Times Magazine von 1980 bis 2017 demonstriert wird.

Ursprüngliche Autoren: Imene Kolli, Kai-Robin Lange, Jonas Rieger, Carsten Jentsch

Veröffentlicht 2026-02-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Imene Kolli, Kai-Robin Lange, Jonas Rieger, Carsten Jentsch

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie sich die Bedeutung eines Wortes im Laufe der Zeit verändert – so als würde man beobachten, wie ein Mensch aufwächst und seine Persönlichkeit verändert. Traditionell haben Linguisten und Computer versucht, dies zu tun, indem sie eine „Momentaufnahme“ der Bedeutung eines Wortes zu verschiedenen Zeiten erstellt und diese Fotos miteinander verglichen haben. Doch dies übersieht oft die Nuancen, insbesondere wenn ein Wort mehrere Bedeutungen gleichzeitig besitzt (wie das Wort „Bank“, das sowohl ein Flussufer als auch ein Geldinstitut bedeuten kann).

Dieses Paper schlägt einen neuen Weg vor, diese Veränderungen mithilfe von Word-Centered Semantic Graphs (wortzentrierten semantischen Graphen) zu verfolgen. Betrachten Sie dies nicht als ein Foto, sondern als eine lebendige Landkarte oder ein soziales Netzwerk für ein einzelnes Wort.

So funktioniert das System, unterteilt in einfache Konzepte:

1. Die „Wort-Party“ (Den Bauplan der Landkarte erstellen)

Stellen Sie sich vor, ein Zielwort (wie „Trump“ oder „Gott“) ist der Gastgeber einer Party. Um zu verstehen, was den Gastgeber ausmacht, laden wir zwei Arten von Gästen zu dieser Party ein:

Die „Globalen Nachbarn“ (Statisch): Dies sind Wörter, die sich im allgemeinen Gespräch normalerweise in der Nähe des Gastgebers aufhalten, bassierend darauf, wie oft sie in Büchern und Artikeln in der Nähe des Gastgebers erscheinen. Denken Sie an die langjährigen Bekannten des Gastgebers.
Die „Kontextuellen Substitute“ (Dynamisch): Dies sind Wörter, die den Gastgeber in einem spezifischen Satz ersetzen könnten, ohne die Bedeutung zu verändern. Denken Sie an die engen Freunde des Gastgebers, die in einer bestimmten Situation perfekt einspringen können.

Der Computer erstellt eine Landkarte, in der der Gastgeber im Zentrum steht und Linien ihn mit diesen Gästen verbinden. Wenn sich zwei Gäste auch untereinander kennen, werden sie ebenfalls miteinander verbunden. Dies erzeugt ein Geflecht aus Beziehungen.

2. Die „Peripheren Cluster“ (Die Gruppen finden)

Der Gastgeber (das Zielwort) ist mit allen verbunden, daher sieht die Landkarte wie ein Stern aus. Um die wirkliche Bedeutung zu finden, entfernen die Forscher den Gastgeber aus der Landkarte und schauen sich an, wie die Gäste untereinander vernetzt sind.

Eng vernetzte Gruppen: Wenn eine Gruppe von Gästen sich alle untereinander kennen und einen engen Kreis bilden, repräsentiert das eine spezifische „Sinnrichtung“ oder Bedeutung des Wortes.
Inseln: Wenn die Landkarte in separate Inseln zerfällt, auf denen sich Gäste einer Insel nicht kennen, bedeutet dies, dass das Wort mehrere Bedeutungen (Polysemie) entwickelt hat.

3. Die Verfolgung der Evolution (Der Zeitraffer)

Die Forscher führten dies für jedes Jahr von 1980 bis 2017 unter Verwendung von Artikeln aus der New York Times Magazine durch. Sie beobachteten, wie sich diese „Guest-Gruppen“ im Laufe der Zeit veränderten.

Sie fanden drei unterschiedliche Geschichten:

Die „Trump“-Geschichte (Ereignisgesteuerter Austausch):
- 1s 1980er: Das Wort „Trump“ drehte sich hauptsächlich um Kartenspiele. Die Landkarte war ein einziger, enger Kreis aus Wörtern wie „Herz“, „Karo“ und „Stich“.
- 1990er: Eine neue Insel erschien! Eine Gruppe von Wörtern wie „Casino“ und „Entwickler“ bildete einen separaten Cluster. Das Wort hatte nun zwei Bedeutungen: Karten und Geschäft.
- 2010er: Die Insel des Kartenspiels verschwand vollständig. Eine neue, dominante Insel mit politischen Wörtern wie „Kampagne“ und „Kandidat“ bildete sich. Die Bedeutung des Wortes hatte sich komplett verschoben.
Die „Gott“-Geschichte (Stabilität):
- Die Landkarte für „Gott“ sah fast jedes Jahr gleich aus. Die Gäste (Wörter wie „Glaube“, „Gebet“, „Kirche“) blieben in derselbe engen Gruppe. Selbst als der Computer versuchte, sie in verschiedene Gruppen aufzuteilen, waren sie alle so ähnlich, dass sie lediglich verschiedene Facetten derselben einzelnen Bedeutung darstellten. Das Wort änderte sich kaum.
Die „Post“-Geschichte (Allmähliche Drift):
- Das Wort „Post“ begann mit Wörtern wie „Papier“ und „Position“. Im Laufe der Zeit schlossen sich, ohne dass es eine plötzliche Explosion gab, neue Gäste wie „E-Mail“, „Twitter“ und „sozial“ der Party an. Die alten Gäste gingen nicht sofort weg; die Gruppe expandierte einfach langsam und änderte ihre Ausstrahlung, um zur digitalen Ära zu passen.

Warum das wichtig ist

Die Autoren argumentieren, dass dieser „Landkarten“-Ansatz besser ist als bisherige Methoden, weil:

Er transparent ist: Man kann diese Wortgruppen tatsächlich sehen und verstehen, warum der Computer glaubt, dass sich die Bedeutung geändert hat. Man erhält nicht nur eine Zahl; man sieht die Struktur.
Keine vordefinierten Listen: Der Computer benötigt kein Wörterbuch, das ihm sagt, was die Bedeutungen sein sollten. Er entdeckt die Bedeutungen natürlich, indem er beobachtet, wie die Wörter zusammen clustern.
Er Komplexität bewältigt: Er kann zwischen einem Wort mit einer stabilen Bedeutung, einem Wort, das langsam driftet, und einem Wort unterscheiden, dessen Bedeutung aufgrund realer Ereignisse komplett ersetzt wird.

Kurz gesagt präsentiert das Paper ein Werkzeug, das das abstrakte Konzept der „Wortbedeutung“ in ein visuelles, sich entwickelndes soziales Netzwerk verwandelt und es uns ermöglicht, zuzusehen, wie Sprache über Jahrzehnte hinweg atmet und sich verändert.

Technisches Resümee: Wortzentrierte semantische Graphen für interpretierbares diachrones Sinn-Tracking

Problemstellung

Semantischer Wandel – die Transformation von Wortbedeutungen im Laufe der Zeit aufgrund kultureller, technologischer und sozialer Faktoren – ist eine zentrale Herausforderung in der historischen Linguistik und der natürlichen Sprachverarbeitung (NLP). Während jüngste computergestützte Ansätze den Fortschritt bei der Detektion semantischen Wandels vorangetrieben haben, stehen bestehende Methoden vor signifikanten Einschränkungen bei der Darstellung von Polysemie (Wörter mit mehreren Bedeutungen).

Statische Embedding-Ansätze: Methoden, die auf statischen Wort-Embeddings (z. B. Word2Vec) basieren, komprimieren mehrere Sinne in einen einzigen Vektor. Diese Aggregation erschwert die Trennung sinn-spezifischer Veränderungen, da das Modell nicht zwischen einer Verschiebung des dominanten Sinnes und dem Entstehen eines neuen Sinnes unterscheiden kann.
Kontextuelle Embedding-Ansätze: Obwohl kontextuelle Modelle (z. B. BERT, RoBERTa) mehrere Sinne repräsentieren können, erfordern sie typischerweise die Aggregation von Token-Repräsentationen in diskrete Inventare mittels Clustering oder überwachtem Klassifizieren. Dies führt zu Herausforderungen hinsichtlich der Vergleichbarkeit über die Zeit, der Sensitivität gegenüber der Anzahl der Cluster und der Vermischung von Gebrauchsähnlichkeit mit semantischer Verwandtheit.
Interpretierbarkeitslücke: Viele bestehende Methoden verlassen sich auf vordefinierte Sinn-Inventare (wie WordNet) oder produzieren „Black-Box“-Vektor-Drifts, denen transparente, strukturelle Erklärungen darüber fehlen, wie sich Sinne entwickeln.

Die Autoren argumentieren, dass ein Rahmenwerk erforderlich ist, das die Bedeutung eines Wortes relational darstellt, die Dynamik der Polysemie ohne vordefinierte Inventare erfasst und Interpretierbarkeit sowohl auf Sinn- als auch auf Wortebene bietet.

Methodik

Das Paper schlägt ein wortzentriertes semantisches Graph-Framework vor, das statische distributionale Ähnlichkeit mit kontextueller lexikalischer Substituierbarkeit integriert, um die Evolution von Sinnen zu modellieren. Die Methodik gliedert sich in vier Phasen:

1. Konstruktion wortzentrierter semantischer Graphen

Für ein Zielwort $w$ in einem spezifischen Zeitschnitt $t$ konstruieren die Autoren einen Graphen $G^t_w = (N^t_w, E^t_w)$ , indem sie zwei komplementäre Quellen semantischer Evidenz integrieren:

Distributionale Nachbarn (Statisch): Unter Verwendung eines Skip-gram (Word2Vec) Modells, das auf dem Korpus des Zeitschnitts trainiert wurde, werden die $k_i$ Wörter mit der höchsten Cosinus-Ähnlichkeit zu $w$ ausgewählt. Diese erfassen globale lexikalische Assoziationen.
Substitutions-Nachbarn (Kontextuell): Ein RoBERTa Masked Language Model, das auf demselben Korpus feinjustiert wurde, sagt Substitute für maskierte Vorkommen von $w$ voraus. Die Menge der obersten $k_c$ vorhergesagten Substitute bildet das Substitutionsset, welches kontextabhängige Bedeutungen erfasst.
Graph-Expansion: Die initiale Nachbarschaft ist die Vereinigung dieser beiden Mengen. Der Graph wird anschließend schichtweise (bis zur Tiefe $L$ ) erweitert, um indirekte Assoziationen zu erfassen. Kanten werden zwischen Knoten hinzugefügt, wenn diese eine distributionale oder substitutionale Beziehung teilen.

2. Identifikation von Sinn-Gemeinschaften via peripherer Konnektivität

Um unterschiedliche Sinne ohne direktes Clustering von Embedding-Vektoren zu identifizieren, analysieren die Autoren den peripheren Graphen ( $G^t_{w,per}$ ), bei dem der ursprüngliche Graph durch das Entfernen des zentralen Zielknoten $w$ und seiner inkidenten Kanten modifiziert wurde.

Zusammenhängende Komponenten: Die zusammenhängenden Komponenten dieses peripheren Graphen werden als Sinn-Gemeinschaften ( $C^t(w)$ ) definiert.
Begründung: Da der zentrale Knoten alle Nachbarn trivialerweise verbindet, offenbart das Entfernen ihn die zugrunde liegende Struktur, in der sich Nachbarn basierend auf gegenseitiger semantischer Verwandtheit clustern. Dissoziierte Komponenten im peripheren Graphen repräsentieren unterschiedliche, koexistierende Sinne (Polysemie), während eine einzelne große Komponente eine vereinheitlichte Bedeutung suggeriert.

3. Temporale Ausrichtung und Verfeinerung

Um Sinne über die Zeit hinweg zu verfolgen, richtet das Framework Cluster aus Zeit $t$ an denen aus $t-1$ (oder früheren Perioden) aus, basierend auf der Knoten-Überlappung:

Ausrichtungsstrategie: Ein Cluster $C^t_i$ wird dem Cluster $C^{t-1}_j$ zugeordnet, der die maximale Schnittmenge ihrer Knotensätze aufweist.
Historische Ausrichtung: Um wiederkehrende Sinne zu handhaben, kann die Ausrichtung auch auf jeden vorangegangenen Zeitschnitt $k < t$ zurückblicken.
Verfeinerung: Cluster, die nicht über mindestens zwei Zeitperioden bestehen bleiben, werden in einen Residual-Cluster zusammengeführt, um epistemisches Rauschen oder transiente Nutzungsschwankungen zu filtern.

4. Schätzung der Sinn-Verwendungsverteilung

Die Häufigkeit eines Sinnes wird durch die normalisierte Cluster-Masse geschätzt. Die Größe eines Clusters (Anzahl der Knoten) im Verhältnis zur Gesamtgröße des Graphen liefert eine Wahrscheinlichkeitsverteilung über die Sinne ( $P^t(C_i | w)$ ), was die Verfolgung von Dominanz, Erweiterung oder Verengung eines Sinnes über die Zeit ermöglicht.

Zentrale Beiträge

Vereinheitlichte graphbasierte Repräsentation: Das Paper führt ein neuartiges Framework ein, das statische distributionale Ähnlichkeit und kontextuelle Substituierbarkeit in einer einzigen Graphstruktur kombiniert und so die Fallstricke rein vektorbasierter oder rein inventarbasierter Ansätze vermeidet.
Interpretierbares Sinn-Tracking: Durch die Definition von Sinnen als zusammenhängende Komponenten in einem peripheren Graphen bietet die Methode eine transparente, strukturelle Erklärung für Polysemie und semantischen Wandel, ohne auf vordefinierte Sinn-Inventare angewiesen zu sein.
Diachrone Ausrichtung ohne Vektorraum-Ausrichtung: Der Ansatz verfolgt die Kontinuität von Sinnen durch Knoten-Überlappung, anstatt eine komplexe Ausrichtung von Embedding-Räumen über verschiedene Zeitperioden hinweg zu erfordern.
Granulare Analyse des semantischen Wandels: Das Framework unterscheidet zwischen verschiedenen Arten des semantischen Wandels, einschließlich ereignisgesteuertem Sinn-Ersatz, graduellen Assoziationsverschiebungen und semantischer Stabilität.

Ergebnisse und Anwendungsstudie

Das Framework wurde auf ein diachrones Korpus von New York Times Magazine-Artikeln (1980–2017) angewendet, wobei der Fokus auf drei Zielwörtern mit kontrastierenden semantischen Profilen lag: trump, god und post.

Trump (Ereignisgesteuerter Ersatz):
- 1980er: Der Graph zeigte eine dichte, kohärente Struktur, die dem wörtlichen Sinn des „Kartenspiels“ entsprach (geringe Polysemie).
- 1990er–2000er: Der Graph expandierte und fragmentierte, was dissoziierte Gemeinschaften im Bereich Wirtschaft und Immobilien (Karriere von Donald Trump) offenbarte, was eine Phase hoher Polysemie anzeigte.
- 2015–2017: Der Graph erfuhr eine substantielle Rekonfiguration. Der wörtliche Kartenspiel-Sinn verschwand aus der Nachbarschaft und wurde vollständig durch eine politische Gemeinschaft (Kandidat, Kampagne) ersetzt. Dies demonstrierte einen vollständigen Sinn-Ersatz, getrieben durch historische Ereignisse.
God (Semantische Stabilität):
- Der Graph blieb über die Zeit strukturell konsistent mit hoher Inter-Knoten-Ähnlichkeit und ohne Entstehung dissoziierter Gemeinschaften.
- Das periphere Clustering ergab viele kleine Cluster, aber diese waren semantisch homogen und hochgradig miteinander vernetzt, was darauf hindeutet, dass sie Facetten eines einzigen zugrunde liegenden Sinnes darstellen und keine distinkten Bedeutungen. Dies unterstreicht die Fähigkeit der Methode, zwischen echter Polysemie und Übersegmentierung zu unterscheiden.
Post (Graduelle Assoziationsverschiebung):
- Das Wort wies stabile Nachbarschaften bis etwa 2005–2010 auf.
- Danach expandierte der Graph, um Knoten im Bereich der digitalen Kommunikation (z. B. twitter, video, email) einzuschließen. Im Gegensatz zu trump war dies kein Ersatz eines alten Sinnes, sondern eine Erweiterung der Assoziationen, als Technologie in den Alltag integriert wurde.

Bedeutung und Ansprüche

Die Autoren positionieren diese Arbeit als Schritt hin zu einer interpretierbaren und transparenten semantischen Analyse.

Interpretierbarkeit: Im Gegensatz zu „Black-Box“-Vektor-Drifts ermöglicht die Graphstruktur Forschern, die Entstehung, Koexistenz und das Verschwinden von Sinnen visuell und strukturell zu inspizieren.
Keine vordefinierten Inventare: Die Methode erlaubt es, Sinn-Strukturen dynamisch aus Korpus-Evidenz entstehen zu lassen, wodurch die Verzerrung durch feste Wörterbücher oder die Sensitivität von Clustering-Hyperparametern vermieden wird.
Polysemie-Dynamik: Das Framework erfasst erfolgreich die „Polysemie-Dynamik“ von Wörtern und zeigt, wie Konnektivitätsmuster (dicht vs. disjunkt) den Grad der Polysemie widerspiegeln.
Begrenzter Umfang: Das Paper bezeichnet dies explizit als eine Anwendungsstudie und nicht als eine Benchmark-Evaluierung. Es betont die Interpretierbarkeit und die qualitativen Erkenntnisse, die durch das Framework gewonnen wurden, anstatt eine überlegene quantitative Leistung auf Standard-Detektions-Benchmarks zu beanspruchen. Die Autoren räumen Einschränkungen hinsichtlich der Sensitivität gegenüber Hyperparametern und potenzieller Korpus-Biases (z. B. der redaktionellen Ausrichtung des NYT Magazine) ein.

Zusammenfassend lässt sich sagen, dass das Paper demonstriert, dass wortzentrierte semantische Graphen eine kompakte und flexible Repräsentation zur Untersuchung der Sinn-Evolution bieten und erfolgreich kontrastierende Trajektorien des semantischen Wandels modellieren, ohne auf externe Sinn-Inventare angewiesen zu sein.