A new semantically annotated corpus with syntactic-semantic and cross-lingual senses
Dieser Beitrag stellt ein neues, mit Wortbedeutungen versehenes Korpus zur Wortbedeutungsdisambiguierung vor, das 20 französische polyseme Verben umfasst, wobei jede Instanz mit ihrer englischen Übersetzung, einem Eintrag aus dem Lexikon-Grammatik-Wörterbuch und einer fein abgestuften Bedeutungskennzeichnung annotiert ist, die durch die Kombination dieser beiden Quellen abgeleitet wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Sprache zu verstehen. Das größte Hindernis besteht nicht nur darin, Wörter zu kennen, sondern zu wissen, welche Bedeutung eines Wortes gemeint ist. Dies wird als „Wortbedeutungsdisambiguierung" (Word Sense Disambiguation, WSD) bezeichnet.
Denken Sie an ein Wort wie das französische Verb „comprendre" (verstehen). Im Englischen bedeutet es normalerweise einfach nur „to understand". Im Französischen kann es jedoch auch „enthalten" bedeuten (wie ein Buch, das zehn Kapitel umfasst) oder „erkennen" (eine Situation begreifen). Wenn der Roboter nicht weiß, welche „Geschmacksrichtung" von comprendre verwendet wird, gerät er in Verwirrung.
Die Autoren dieses Papiers, Myriam Rakho, Éric Laporte und Matthieu Constant, haben ein spezielles Trainingsmanual (ein Korpus) erstellt, um Robotern zu helfen, diese verschiedenen Geschmacksrichtungen zu erlernen. So haben sie es getan, unter Verwendung einfacher Analogien:
Das Problem: Zwei schlechte Karten
Die Forscher stellten fest, dass frühere Versuche, Robotern beizubringen, zwei Hauptprobleme hatten, ähnlich wie beim Versuch, eine Stadt mit zwei verschiedenen, unvollkommenen Karten zu navigieren:
- Die „Übersetzungs"-Karte: Diese Karte sagt: „Wenn Sie dieses französische Wort sehen, schauen Sie, wie es ins Englische übersetzt wird."
- Der Fehler: Manchmal übersetzen sich zwei sehr unterschiedliche französische Situationen exakt ins gleiche englische Wort. Es ist, als würde man sagen, „I'm feeling blue" und „I'm feeling sad" seien dasselbe, weil beide ins Deutsche mit „traurig" übersetzt werden. Der Roboter sieht dasselbe englische Wort und denkt, die französischen Situationen seien identisch, obwohl sie völlig unterschiedlich sind.
- Die „Wörterbuch"-Karte: Diese Karte sagt: „Schauen Sie sich die Grammatikregeln und die Satzstruktur an, um die Bedeutung zu entscheiden."
- Der Fehler: Manchmal sieht die Grammatik gleich aus, aber die Bedeutung ist völlig unterschiedlich, je nach Kontext. Es ist wie ein Wörterbuch, das sagt, „wear" (tragen) bedeutet, etwas am Körper zu tragen, aber es sagt nicht, dass man im Japanischen fünf verschiedene Wörter für „tragen" benötigt, je nachdem, ob es auf dem Kopf, an den Füßen oder an der Hand getragen wird.
Die Lösung: Eine hybride „Super-Karte"
Um dies zu beheben, erstellte das Team ein neues, super-detailliertes Trainingsmanual für 20 knifflige französische Verben (wie comprendre, mettre, porter usw.). Sie wählten nicht nur eine Karte; sie erstellten vier verschiedene Ebenen von Labels für jeden einzelnen Satz in ihrem Manual.
Denken Sie daran wie das Taggen eines Fotos mit vier verschiedenen Arten von Metadaten:
- Das „Übersetzungs"-Tag: Welches ist das tatsächliche englische Wort, das im parallelen Satz verwendet wird? (z. B. „understand").
- Das „Grammatik"-Tag: Was ist der spezifische Eintrag im französischen „Lexikon-Grammatik"-Wörterbuch? Dies ist wie ein technischer Ausweis, der die Struktur des Verbs beschreibt (z. B. „V_12_17").
- Das „Super-feine"-Tag: Sie kombinierten die ersten beiden Tags. Anstatt also nur „understand" oder nur „V_12_17" zu haben, wird das Tag zu „V_12_17#understand".
- Warum? Dies ist die „Goldilocks"-Zone. Es behält die spezifischen Grammatikregeln und die spezifische Übersetzung bei und erstellt einen einzigartigen Fingerabdruck für diesen exakten Moment im Satz.
- Das „Cluster"-Tag: Sie nahmen alle „Super-feinen" Tags, die dieselbe Grammatik-ID teilen, und gruppierten sie zusammen.
- Warum? Dies hilft dem Roboter, das große Ganze zu sehen. Er weiß, dass all diese verschiedenen Übersetzungen (understand, appreciate, realize, grasp) derselben „Familie" von Grammatikregeln angehören.
Wie sie es erstellten
Sie haben nicht einfach nur geraten. Sie nahmen eine riesige Sammlung französischer und englischer Sätze (aus dem EuroParl-Korpus, der Reden des Europäischen Parlaments enthält).
- Schritt 1: Sie verwendeten ein Computertool, um französische Wörter englischen Wörtern zuzuordnen.
- Schritt 2: Sie überprüften die Zuordnungen zweimal (Französisch-Englisch und Englisch-Französisch), um sicherzustellen, dass die Übersetzung solide war.
- Schritt 3: Menschen überprüften die Arbeit manuell, um sicherzustellen, dass die „Grammatik-Tags" korrekt waren.
- Schritt 4: Sie generierten die „Super-feinen" und „Cluster"-Tags automatisch durch Kombination der Daten.
Das Ergebnis
Das Ergebnis ist ein Datensatz mit Tausenden von Beispielen für 20 Verben. Für jedes Beispiel hat der Roboter nun vier verschiedene Möglichkeiten, die Bedeutung zu betrachten.
- Tabelle 2 im Papier zeigt die Größe dieses Datensatzes. Für das Verb comprendre haben sie über 8.000 Beispiele, aufgeteilt in 8 Grammatiktypen, 183 Übersetzungstypen und 308 einzigartige „Super-feine" Kombinationen.
Das Fazit
Die Autoren behaupten nicht, das Problem des robotischen Sprachverständnisses für immer gelöst zu haben. Stattdessen haben sie einen besseren Trainingsdatensatz erstellt. Sie argumentieren, dass sie durch die Kombination der „Übersetzungs"-Sicht und der „Grammatik"-Sicht eine präzisere Methode entwickeln können, um Computern beizubringen, zwischen den verschiedenen Bedeutungen kniffliger Wörter zu unterscheiden. Sie planen, dies in Zukunft auch für französische Substantive und Adjektive zu tun.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.