Technische Samenvatting: Losing My Composure: Predicting Compositionality Over Time

Probleemstelling

Deze studie onderzoekt de semantische verandering van Duitse en Engelse samenstellingen van zelfstandige naamwoorden, met een specifieke focus op de evolutie van hun graad van compositionaliteit (de transparantie van de relatie tussen de betekenis van een samenstelling en de bestanddelen ervan) door de tijd heen. De auteurs dagen de heersende hypothese in de literatuur over lexicale semantische verandering uit dat samengestelde naamwoorden doorgaans minder compositionaliteit vertonen (meer idiomatisch worden), waarbij ze evolueren van transparante combinaties naar opake eenheden.

Bestaand werk in Lexical Semantic Change Detection (LSCD) leunt grotendeels op een "twee-tijdperken"-paradigma (het vergelijken van twee afzonderlijke tijdsperioden), wat geleidelijke veranderingen kan maskeren. Bovendien waren eerdere diachrone studies naar compositionaliteit beperkt door een gebrek aan grondwaarheid-data die meerdere tijdstappen beslaat. Het artikel stelt dat interessante semantische verschuivingen niet noodzakelijkerwijs plaatsvinden bij één enkele temporele scheidingslijn, maar zich geleidelijk ontvouwen. Bijgevolg introduceren de auteurs de Compositionality Trend Prediction (CTP) taak, die tot doel heeft om de beoordelingen van de compositionaliteit te modelleren en te voorspellen over fijnmazige temporele segmenten (decennia), in plaats van gegevens te aggregeren over grote, ongedifferentieerde tijdsperioden.

Methodologie

Data en Annotatie

De studie maakt gebruik van twee diachrone corpora:

• Duits: Het Deutsches Textarchiv (DTA), dat de periode 1680–1920 beslaat.
• Engels: Het Corpus of Historical American English (COHA), dat de periode 1810–2000 beslaat.

De auteurs selecteerden 23 Duitse en 26 Engelse doelwit-samenstellingen op basis van frequentiestabiliteit en de aanwezigheid van "inflectiepunten" (decennia waarin de relatieve frequentie significant verandert). Voor elk doelwit selecteerden zij in-context voorbeelden uit maximaal vijf decennia rondom deze inflectiepunten.

• Annotatie: Menselijke annotatoren beoordeelden de compositionaliteit van elk instantie van de samenstelling op een schaal van 0–5 voor elk bestanddeel (modifier en head).
• Kwaliteitscontrole: De inter-annotator overeenstemming werd gemeten met de Krippendorff's alpha, met post-hoc filtering om annotatoren met een lage overeenstemming te verwijderen. De resulterende dataset biedt beoordelingen per decennium en maakt de berekening van compositionaliteitstrends ($\Delta$) mogelijk.

Experimentele Opzet

De auteurs trainden ongeveer 100 modellen voor elk type representatie, die verschillende 1–5 decennia-segmenten van de corpora beslaan. Zij evalueerden drie belangrijke experimentele variabelen:

1. Type Representatie:
   • Contextueel: Moderne BERT (getraind vanaf nul op historische data) en 2e-orde Random Indexing.
   • Statisch: Word2Vec (CBOW en Skip-gram) en Pointwise Mutual Information (PMI) associatielijsten.
2. Temporele Vensterplanning:
   • Full (Volledig): Een enkel model getraind op een venster van 5 decennia.
   • Decades (Decennia): Afzonderlijke modellen getraind op enkele decennia.
   • Sliding-Full (Schuivend-Volledig): Incrementeel uitbreidende vensters (bijv. [1940], [1940–1950], [1940–1960]).
3. Gelijkenis-maten:
   • PRT (Prototype): Cosinusafstand tussen gemiddelde vectoren.
   • APD (Average Pairwise Difference): Gemiddelde cosinusafstand tussen alle paren.
   • JSD (Jensen-Shannon Divergence): Toegepast op geclusterde representaties (alleen voor contextuele modellen).

Evaluatiemetrieken

De modellen werden geëvalueerd tegenover de menselijke annotaties met behulp van twee primaire metrieken:

1. Alignment ($R^2$): Lineaire regressie tussen voorspelde per-decennium compositionaliteitsscores en geannoteerde beoordelingen.
2. Trendvoorspelling (Spearman's $\rho$): Correlatie tussen de door het model voorspelde rangschikking van samenstellingen op basis van de mate van verandering en de geannoteerde rangschikking van verandering ($\Delta$).

Belangrijkste Resultaten

Empirische Observaties over Compositionaliteitstrends (RQ1)

In tegenstelling tot de hypothese dat samenstellingen over het algemeen minder compositionaliteit vertonen over de tijd, onthullen de geannoteerde gegevens geen beslissende gegeneraliseerde trend.

• Duits: De gemiddelde $\Delta$ was $-0,0012$.
• Engels: De gemiddelde $\Delta$ was $-0,0161$.
  De geobserveerde veranderingen waren extreem klein, vaak kleiner dan de variantie tussen opeenvolgende decennia. Hoewel specifieke samenstellingen (bijv. Donnerwetter in het Duits) verschuivingen vertoonden richting niet-compositionaliteit, ondersteunen de geaggregeerde gegevens geen universele regel van semantische drift naar opaciteit.

Computationele Prestaties (RQ2)

De experimenten onderzochten of contextuele modellen met fijnmazige temporele data beter presteren dan statische modellen met grofmazige data.

• Temporele Granulariteit: Modellen getraind op smallere temporele vensters (specifiek de decades en sliding-full schema's) presteerden consequent beter dan die getraind op het volledige 5-decennia full venster. Dit suggereilt dat het aggregeren van data over lange perioden de specifieke semantische signalen die nodig zijn voor nauwkeurige voorspelling van de compositionaliteit verzwakt.
• Representatiecomplexiteit: Statische representaties (Word2Vec, PMI) waren competitief met, en in sommige gevallen superieur aan, complexe contextuele representaties (Modern BERT).
  • In het Engels behaalde Modern BERT met decades schema's de hoogste $R^2$-scores (0,363).
  • In het Duits presteerden 2nd-order Random Indexing en Skip-gram het best.
  • De prestatiewinst van BERT rechtvaardigde de computationele kosten van het trainen vanaf nul op historische data niet.
• Gelijkenis-maten: Aggregatiematen (PRT en APD) presteerden over het algemeen beter dan clustering-gebaseerde maten (JSD). De clustering-aanpak, met name met BERT-embeddings, leverde de slechtste resultaten op.

Bijdragen

1. Dataset en Taak: De introductie van een nieuwe, fijnmazige dataset van in-context beoordelingen van de compositionaliteit over meerdere decennia voor Duits en Engels, wat de Compositionality Trend Prediction (CTP) taak mogelijk maakt.
2. Empirische Bevindingen: Een weerlegging van de "universele drift naar niet-compositionaliteit" hypothese op basis van diachrone annotatie, waarbij wordt aangetoond dat trends verwaarloosbaar en zeer specifiek voor elke samenstelling zijn.
3. Modelleringsinzichten: Bewijs dat voor tijdgevoelige semantische taken, fijnmazige temporele trainingsvensters belangrijker zijn dan modelcomplexiteit. De studie toont aan dat eenvoudigere statische modellen getraind op smalle temporele segmenten even effectief kunnen zijn als, of beter dan, complexe contextuele modellen getraind op geaggregeerde data.

Betekenis en Claims

Het artikel claimt dat de CTP-taak temporele afhankelijkheden succesvol codeert, wat bewijst dat het evalueren van doeltermen binnen hun eigen specifieke temporele vensters ("op hun eigen reis door de eeuwen") beter aansluit bij historische semantische verschuivingen dan brede, geaggregeerde modellering.

De auteurs concluderen bescheiden dat hoewel hun methoden semantische veranderingen in specifieke samenstellingen kunnen detecteren, de taak inherent moeilijk is vanwege de instabiliteit van de betekenis van de bestanddelen in de loop van de tijd. Ze waarschuwen tegen het overinterpreteren van associatielijsten zonder nauwgezette lezing, waarbij zij opmerken dat moderne biases de interpretatie van historische data kunnen beïnvloeden. Uiteindelijk suggereert de studie dat voor het modelleren van semantische verandering in scenario's met kleine hoeveelheden data en historische context, eenvoudigere representaties met een hoge temporele resolutie te verkiezen zijn boven complexe, geaggregeerde modellen.