A graph-based analysis of semantic types and coercion in contextualized word embeddings

Technische Samenvatting: Een op grafen gebaseerde analyse van semantische types en coercie in contextuele woordembeddings

Probleemstelling
Een semantisch type-mismatch tussen een zelfstandig naamwoord en zijn context is centraal in het taalkundige fenomeen van coercie, waarbij het lexicaal semantische type van een zelfstandig naamwoord in conflict komt met het type dat door de omringende context wordt vereist (bijvoorbeeld "de pizza afmaken", waarbij pizza een voedsel is maar afmaken doorgaans selecteert voor een activiteit). Hoewel theoretische kaders zoals Generative Lexicon en Type Compositional Logic mechanismen hebben voorgesteld om deze mismatches op te lossen, blijft computationeel werk dat deze theorieën direct operationaliseert schaars. Bestaande studies over voorgeprogrammeerde taalmodellen (PLM's) richten zich grotendeels op woordvoorspellingstaken om verborgen gebeurtenissen bij coercie te detecteren, wat vaak tot inconsistente resultaten leidt. Dit artikel onderzoekt een andere vraag: Hoe wordt informatie over semantische types weerspiegeld in de contextuele woordembeddings van zelfstandig naamwoord-voorbeelden, specifiek met onderscheid tussen typische predicatie (match) en coercie (mismatch)?

Methodologie
De auteurs stellen een op grafen gebaseerde analyse van contextuele woordembeddings voor om de distributie van semantische types in de buurt van zelfstandig naamwoord-voorbeelden te onderzoeken.

1. Datasetconstructie:

   • Semantische types: Tien semantische types werden geselecteerd: dier, artefact, activiteit, voedsel, mens, info, locatie, stemming, proces, toestand. Deze vormen een conceptuele hiërarchie die compatibel is met WordNet-supersenses.
   • Voorbeelden: 20 zinnen per zelfstandig naamwoord werden geëxtraheerd uit BookCorpus voor 5–10 frequente zelfstandige naamwoorden per type.
   • Annotatie: Zinnen werden geannoteerd voor Lexicaal Type (lt) (het inherente type van het zelfstandig naamwoord) en Contextueel Type (ct) (het type dat door de context wordt vereist, afgeleid door het zelfstandig naamwoord te maskeren).
   • Categorieën: Zinnen werden ingedeeld in vier types:
     • MATCHING: $lt = ct$ (bijvoorbeeld "een pizza eten").
     • COERCIE: $lt \neq ct$ door predicatselectie (bijvoorbeeld "het stadion brulde").
     • ANDERE_MISMATCH: $lt \neq ct$ door metafoor of metonymie.
     • ONBEPERKT: $ct = \emptyset$ (de context legt geen specifiek type op).

2. Embeddings en Grafenconstructie:

   • Modellen: Twee modellen werden gebruikt: standaard BERT (base, uncased) en sense-verbeterde BERT (fijn afgestemd op SemCor met WordNet-supersense-labels).
   • Maskering: Om contextuele informatie te isoleren van lexicaal informatie, werden doelwoorden vervangen door [MASK]-tokens.
   • Grafen: Vier gerichte grafen werden geconstrueerd ($G_b, G_s, G_{mb}, G_{ms}$) op basis van cosinus-ähnelijkheid tussen embeddings (gemiddeld over de laatste 4 lagen). Kanten verbinden de $k=10$ dichtstbijzijnde buren van verschillende doelwoorden om lexicaal overlap te vermijden.

3. Voorgestelde Metrieken:

   • Buurt Type Kans (NTP): Meet het aandeel van de buren van een knooppunt dat behoort tot een specifiek semantisch type.
     • NTMRL (Lexicaal): $NTP(lt, v)$
     • NTMRC (Contextueel): $NTP(ct, v)$
   • Buurt Type Entropie (NTE): Meet de diversiteit van semantische types onder de buren. Lage entropie geeft aan dat buren hetzelfde type delen; hoge entropie geeft diverse types aan.

Belangrijkste Resultaten

• Kwaliteit van Embeddings: Grafen geconstrueerd met sense-verbeterde embeddings ($G_s, G_{ms}$) weerspiegelen semantisch type-informatie significant beter dan standaard BERT-grafen. Bijvoorbeeld, in MATCHING-zinnen nam de gemiddelde NTMRL voor artefact- en mens-types aanzienlijk toe op $G_s$ in vergelijking met $G_b$.
• Lexicale versus Contextuele Weerspiegeling:
  • Ongemaskerde grafen ($G_b, G_s$) weerspiegelen voornamelijk lexicale types. In COERCIE-zinnen delen buren nog steeds voornamelijk het lexicaal type van het zelfstandig naamwoord in plaats van het contextuele type, wat suggereert dat de embeddings het inherente type van het zelfstandig naamwoord behouden, zelfs in mismatch-contexten.
  • Gemaskerde grafen ($G_{mb}, G_{ms}$) tonen een hogere gevoeligheid voor contextuele types, hoewel het signaal gedeeltelijk blijft (NTMRC < 0,5).
• Onderscheid tussen Zinsoorten via Entropie (NTE):
  • MATCHING-zinnen vertonen lage NTE (buren delen hetzelfde type).
  • ONBEPERKTE zinnen vertonen de hoogste NTE (buren zijn zeer divers).
  • COERCIE-zinnen tonen intermediair gedrag. Op gemaskerde grafen ($G_{mb}, G_{ms}$) hebben COERCIE-zinnen significant lagere NTE dan ONBEPERKTE zinnen, maar hogere dan MATCHING-zinnen. Dit suggereert dat hoewel coercie-voorbeelden niet volledig verschuiven naar het contextuele type, ze meer type-diversiteit vertonen dan standaard matchende voorbeelden.
• Typehiërarchie: De NTP-analyse op $G_s$ onthulde taxonomische nabijheden (bijvoorbeeld proces, toestand en stemming die een cluster vormen; info dicht bij stemming), waardoor het induceren van een nieuwe semantische typehiërarchie mogelijk werd.

Betekenis en Aanspraken
Het artikel claimt de eerste studie te zijn die zich richt op semantische type-relaties en coercie op het representatieniveau van contextuele embeddings, in plaats van uitsluitend te vertrouwen op woordvoorspellingstaken.

• Methodologische Bijdrage: De voorgestelde op grafen gebaseerde metrieken (NTP en NTE) onderscheiden effectief tussen matching-, coercie- en onbeperkte zinnen.
• Theoretisch Inzicht: De resultaten suggereren dat bij coercie het lexicaal type niet volledig wordt overschreven door de context; eerder weerspiegelt de grafstructuur een balans waarbij het lexicaal type dominant blijft in ongemaskerde embeddings, terwijl gemaskerde embeddings de contextuele verschuiving gedeeltelijk vastleggen.
• Toekomstpotentieel: De auteurs suggereren bescheiden dat met grotere datasets hun methode automatisch semantische typehiërarchieën zou kunnen induceren en consistent mismatch-zinnen zou kunnen detecteren. Zij merken ook de potentie op om het onderscheid tussen coercie en andere mismatch-mechanismen (metafoor/metonymie) verder te onderzoeken, gegeven voldoende data.

De studie concludeert dat sense-verbeterde embeddings een rijker representatie van semantische types bieden, en dat de voorgestelde op grafen gebaseerde analyse een haalbaar hulpmiddel biedt voor het onderzoeken hoe lexicaal en contextuele informatie binnen PLM's met elkaar interageren.