A new semantically annotated corpus with syntactic-semantic and cross-lingual senses
Dit artikel introduceert een nieuw corpus met zin-annotaties voor woordzin-disambiguatie dat 20 Franse polyseme werkwoorden omvat, waarbij elke instantie is geannoteerd met zijn Engelse vertaling, een Lexicon-Grammaire-woordenboekvermelding en een fijnmazige zinlabel die is afgeleid door deze twee bronnen te combineren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een robot te leren hoe menselijke taal te begrijpen. Het grootste obstakel is niet alleen het kennen van woorden; het is het weten welke betekenis van een woord wordt gebruikt. Dit heet "Woordbetekenisdisambiguatie" (WSD).
Denk aan een woord als het Franse werkwoord "comprendre" (begrijpen). In het Engels betekent het meestal gewoon "begrijpen". Maar in het Frans kan het ook "bevatten" betekenen (zoals een boek bevat tien hoofdstukken) of "inzien" (een situatie doorgronden). Als de robot niet weet welke "smaak" van comprendre wordt gebruikt, raakt hij in de war.
De auteurs van dit artikel, Myriam Rakho, Éric Laporte en Matthieu Constant, hebben een speciale trainingshandleiding (een corpus) gebouwd om robots te helpen deze verschillende smaken te leren. Hier is hoe ze dat deden, met behulp van eenvoudige analogieën:
Het probleem: Twee slechte kaarten
De onderzoekers merkten op dat eerdere pogingen om robots te leren twee hoofdproblemen hadden, alsof je probeert een stad te navigeren met twee verschillende, onvolmaakte kaarten:
- De "Vertaling"-kaart: Deze kaart zegt: "Als je dit Franse woord ziet, kijk dan naar wat het in het Engels vertaalt."
- De tekortkoming: Soms vertalen twee zeer verschillende Franse situaties naar precies hetzelfde Engelse woord. Het is alsof je zegt "Ik voel me blauw" en "Ik voel me verdrietig" hetzelfde zijn omdat ze allebei vertalen naar "sad" (verdrietig). De robot ziet hetzelfde Engelse woord en denkt dat de Franse situaties identiek zijn, terwijl ze totaal verschillend zijn.
- De "Woordenboek"-kaart: Deze kaart zegt: "Kijk naar de grammaticaregels en zinsbouw om de betekenis te bepalen."
- De tekortkoming: Soms ziet de grammatica er hetzelfde uit, maar is de betekenis totaal verschillend afhankelijk van de context. Het is alsof een woordenboek zegt dat "wear" (dragen) betekent dat je iets op je lichaam doet, maar het vertelt je niet dat je in het Japans vijf verschillende woorden nodig hebt voor "dragen", afhankelijk van of het op je hoofd, je voeten of je hand zit.
De oplossing: Een hybride "Super-kaart"
Om dit op te lossen, creëerde het team een nieuwe, supergedetailleerde trainingshandleiding voor 20 lastige Franse werkwoorden (zoals comprendre, mettre, porter, enz.). Ze kozen niet zomaar één kaart; ze creëerden vier verschillende lagen van labels voor elke enkele zin in hun handleiding.
Denk hierbij aan het taggen van een foto met vier verschillende soorten metadata:
- Het "Vertaling"-label: Wat is het daadwerkelijke Engelse woord dat in de parallelle zin wordt gebruikt? (bijv. "understand").
- Het "Grammatica"-label: Wat is het specifieke item in het Franse "Lexicon-Grammaire"-woordenboek? Dit is als een technisch identiteitsbewijs dat de structuur van het werkwoord beschrijft (bijv. "V_12_17").
- Het "Super-fijn"-label: Ze smeten de eerste twee labels samen. Dus, in plaats van alleen "understand" of alleen "V_12_17", wordt het label "V_12_17#understand".
- Waarom? Dit is de "Goudlokje"-zone. Het houdt de specifieke grammaticaregels en de specifieke vertaling bij elkaar, waardoor een unieke vingerafdruk ontstaat voor dat exacte moment in de zin.
- Het "Cluster"-label: Ze namen alle "Super-fijn"-labels die hetzelfde grammatica-ID delen en groepeerden ze samen.
- Waarom? Dit helpt de robot het grote plaatje te zien. Het weet dat al deze verschillende vertalingen (understand, appreciate, realize, grasp) allemaal tot dezelfde "familie" van grammaticaregels behoren.
Hoe ze het bouwden
Ze deden niet zomaar een gok. Ze namen een enorme verzameling Franse en Engelse zinnen (uit het EuroParl-corpus, dat toespraken van het Europees Parlement bevat).
- Stap 1: Ze gebruikten een computergereedschap om Franse woorden aan Engelse woorden te koppelen.
- Stap 2: Ze controleerden de koppelingen tweemaal (Frans-naar-Engels en Engels-naar-Frans) om te zorgen dat de vertaling solide was.
- Stap 3: Mensen controleerden het werk handmatig om ervoor te zorgen dat de "Grammatica-labels" correct waren.
- Stap 4: Ze genereerden automatisch de "Super-fijn"- en "Cluster"-labels door de gegevens te combineren.
Het resultaat
Het resultaat is een dataset met duizenden voorbeelden voor 20 werkwoorden. Voor elk voorbeeld heeft de robot nu vier verschillende manieren om naar de betekenis te kijken.
- Tabel 2 in het artikel toont de grootte van deze dataset. Voor het werkwoord comprendre hebben ze meer dan 8.000 voorbeelden, opgesplitst in 8 grammatica-types, 183 vertalingstypes en 308 unieke "Super-fijn"-combinaties.
De conclusie
De auteurs beweren niet dat ze het probleem van robot-taalbegrip voor altijd hebben opgelost. In plaats daarvan hebben ze een beter trainingsdataset gebouwd. Ze betogen dat door de "Vertaling"-visie en de "Grammatica"-visie te combineren, ze een nauwkeurigere manier kunnen creëren om computers te leren hoe ze tussen de verschillende betekenissen van lastige woorden moeten onderscheiden. Ze plannen om in de toekomst hetzelfde te doen voor Franse zelfstandige naamwoorden en bijvoeglijke naamwoorden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.