Technische Samenvatting: Het heroverwegen van de Hypothese van de Decomposeerbaarheid van Idiomen

Probleemstelling

Het artikel behandelt het langlopende debat over de aard van idiomatische uitdrukkingen, specifiek de spanning tussen de Hypothese van de Decomposeerbaarheid van Idiomen (IDH) en gebruiksgebaseerde verklaringen (usage-based accounts). De IDH stelt dat idiomen variëren in semantische decomposeerbaarheid (de mate waarin de betekenis van constituerende delen bijdraagt aan het figuurlijke geheel) en dat deze eigenschap syntactische flexibiliteit voorspelt (bijv. het vermogen om passivering of modificatie te ondergaan). Daartegenover stellen gebruiksgebaseerde theorieën dat het gedrag van idiomen voortkomt uit distributionele ervaring, zoals frequentie, voorspelbaarheid en bekendheid, in plaats van uit de interne semantische structuur.

Een kritieke beperking bij het oplossen van dit debat is de afhankelijkheid van menselijke beoordelingen van decomposeerbaarheid. Deze oordelen staan bekend als gradiënt, taakafhankelijk en onderhevig aan inter-spreker variabiliteit, wat het moeilijk maakt om te isoleren of het gedrag van een idioom voortkomt uit semantische structuur of louter uit distributionele blootstelling. De auteurs stellen voor om contextuele taalmodellen te gebruiken als gecontroleerde distributionele leerlingen om deze relaties te onderzoeken. Door modellen te trainen op grote tekstcorpora zonder expliciete toegang tot semantische rolstructuren of acceptatieoordelen, beoogt de studie te bepalen welke aspecten van idiomatisch gedrag alleen geleerd kunnen worden uit distributionele blootstelling.

Methodologie

1. Operationalisering van Decomposeerbaarheid

De auteurs stellen een model-intern maatstaf voor decomposability voor, gebaseerd op drie theoretische vereisten: semantische uitlijning, gedistribueerde betekenis en het gradiënte karakter van de eigenschap.

• Semantische Uitlijning: Zij definiëren decomposability als de mate van semantische uitlijning tussen een idioom in context en de figuurlijke gloss (een parafrase die de beoogde betekenis uitdrukt).
• Token-niveau Bijdrage: Gebruikmakend van een bidirectionale transformer-encoder (bijv. BERT), berekenen zij een zin-niveau representatie $e(s)$ voor een idioom-in-context en $e(s_g)$ voor de geglosste zin.
• Perturbatie-analyse: Om de bijdrage van individuele constituerende delen te schatten, hanteren zij een "leave-one-out" masking strategie. Voor elk token $j$ in het idioom maskeren zij dit om $s_{(-j)}$ te creëren en berekenen zij de gelijkenis tussen de gemaskeerde representatie en de gloss-representatie.
• Scoring: De bijdrage van token $j$ ($\Delta_j$) wordt gedefinieerd als de absolute verandering in gelijkenis wanneer het token wordt gemaskeerd: $\Delta_j = |S_{fig} - S^{(j)}_{mask}|$.
• Aggregatie: Scores voor de decomposability van de expressie worden afgeleid door de bijdragen van tokens te aggregeren met behulp van gemiddelde, maximum, Gini-dispersie of entropie.

2. Operationalisering van Syntactische Flexibiliteit

Syntactische flexibiliteit wordt gekwantificeerd als de Shannon-entropie van de distributie van een idioom over constructietypen (basisvorm, bijwoord-insertie, adjectief-insertie, passivering en actie-nominalisering). Een hogere entropie duidt op een grotere flexibiliteit.

3. Experimentele Opzet

• Modellen: De studie maakt gebruik van bidirectionale transformer-modellen (BERT-base/large, ModernBERT, en OLMo-2/3) om te waarborgen dat de context van beide kanten van het idioom wordt gecodeerd.
• Datasets: Experimenten maken gebruik van de IMPLI-dataset (figuurlijke zinnen gekoppeld aan geglosde parafrases) en de Bulkes en Tanner-dataset (menselijke beoordelingen van decomposability).
• Trainingsdynamiek: Om de leerprocessen over de tijd te analyseren, volgen de auteurs de representaties over 100 checkpoints tijdens de pretraining van de OLMo-2 en OLMo-3 (7B modellen). Zij onderzoeken de interactie tussen trainingsstappen en idioom-eigenschappen: frequentie, surprisal (voorspelbaarheid) en decomposability.

Belangrijkste Resultaten

1. Overeenkomst met Menselijke Oordelen

De door het model afgeleide scores voor decomposability vertonen slechts een zwakke positieve correlatie met menselijke beoordelingen van decomposability (bijv. $r \approx 0,24$ voor BERT-large). Hoewel statistisch significant, suggereert de effectgrootte dat modellen slechts een gedeeltelijke overlap met menselijke intuïties vatten, wat aangeeft dat de twee operationalisaties verschillende eigenschappen weerspiegelen.

2. Decomposability versus Syntactische Flexibiliteit

In tegen tegen de IDH vindt de studie geen systematische positieve relatie tussen door het model afgeleide decomposability en syntactische flexibiliteit.

• Over alle modellen en lagen heen zijn de correlaties consistent klein en vaak negatief (maximum $r \approx -0,16$).
• Deze negatieve relatie is het meest uitgesproken voor prepositional phrase (PP) idiomen, waarbij een hogere decomposability correleert met een verminderde flexibiliteit. Dit wordt toegeschreven aan de morfosyntactische rigiditeit van PP-constructies in plaats van semantische factoren.
• Cruciaal is dat voor verb phrase (VP) idiomen — het primaire domein waar de IDH verwacht wordt te gelden — geen significante relatie werd gevonden.

3. Gebruiksgebaseerde Factoren

• Frequentie: Er bestaat een robuuste negatieve relatie tussen frequentie en decomposability. Meer frequente idiomen worden door mensen beoordeeld (en door modellen gerepresenteerd) als minder decomposable, wat de visie ondersteunt dat hoogfrequente idiomen als holistische eenheden worden opgeslagen.
• Voorspelbaarheid: Surprisal (voorspelbaarheid) en frequentie dragen beide bij aan de stabilisatie van idiomatische representaties tijdens de pretraining.

4. Trainingsdynamiek

Analyse van pretraining checkpoints onthult dat de opkomst en stabilisatie van idiomatische representaties worden gedreven door surprisal en decomposability, en niet enkel door frequentie alleen.

• Interactie-effecten tussen trainingsstappen en idioom-eigenschappen laten zien dat de invloed van decomposability, surprisal en frequentie afneemt naarmate de training vordert.
• Decomposability vertoont het sterkste trainingsafhankelijke effect, wat aangeeft dat het een prominente rol speelt bij het vormgeven van representaties in een vroeg stadium van de training, relatief ten opzichte van frequentie en surprisal.

Betekenis en Claims

Het artikel claimt een "duidelijke uitdaging" te bieden aan de IDH door aan te tonen dat decomposability geen betrouwbare, mechanisme-neutrale verklaring is voor syntactische flexibiliteit. De afwezigheid van een positieve link tussen decomposability en flexibiliteit, zelfs in het theoretisch meest relevante domein (VP-idiomen), suggereert dat syntactisch gedrag niet uitsluitend kan worden verklaard door de interne semantische structuur.

In plaats daarvan betogen de auteurs dat distributionele voorspelbaarheid (surprisal) en frequentie dominante rollen spelen. De studie benadrukt dat:

1. Frequentie alleen onvoldoende is om de opkomst van idiomatische representaties te verklaren; surprisal en decomposability zijn noodzakelijk om de stabilisatiedynamiek te verklaren.
2. Model-interne maten een principiële manier bieden om factoren die in menselijke oordelen met elkaar verstrengeld zijn te ontwarren, waardoor geïsoleerd kan worden wat er geleerd wordt uit louter blootstelling.
3. De negatieve correlatie tussen frequentie en decomposability de gebruiksgebaseerde verklaringen ondersteunt waarbij frequente idiomen als holistische, niet-decomposable eenheden worden behandeld.

De auteurs concluderen dat het onderzoeken van interne representaties een manier biedt om onderscheid te maken tussen eigenschappen die inherent zijn aan de semantische structuur en eigenschappen die natuurlijk voortkomen uit distributioneel leren, wat hels bij het oplossen van verstrengelde factoren in de linguïstische theorie.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• De voorgestelde decomposability-metriek is één van de vele mogelijke operationalisaties.
• De pretraining-analyse vertrouwt op decomposability-scores afgeleid van BERT om de dynamiek in OLMo te voorspellen, wat model-architectuur-specifieke biases kan introduceren.
• De studie is beperkt tot Engelse idiomen en mogelijk niet generaliseerbaar naar andere talen.