On the Persistent Effects of Lexicality in Large Language Mod

Technische Samenvatting: Over de Persistente Effecten van Lexicaliteit in Large Language Models

Probleemstelling
Large Language Models (LLM's) worden steeds vaker ingezet als algemene embedding-engines voor retrieval, clustering en evaluatie. Een heersende aanname in het vakgebied is dat naarmate representaties door de diepte van een model voortschrijden, ze transformeren van lokale lexicale structuren naar abstracte, sequentie-niveau semantiek. Dit artikel betoogt echter dat deze aanname fragiel is. Empirisch bewijs suggereert dat lexicale overlap vaak persisteert in de geometrie van embeddings, waardoor modellen oppervlakte-gelijkenis (surface-form similarity) verwarren met semantische equivalentie. Deze "lexicale invloed" degradeert de prestaties van downstream-taken die vertrouwen op betekenisgestuurde representaties, zoals document retrieval en model editing, door modellen te laten prioriteren op gedeelde tokens boven semantische inhoud. De auteurs merken op dat de relatie tussen deze lexicale invloed en semantische inhoud, en de propagatie daarvan door modeldiepte en trainingsregimes, nog onvoldoende begrepen is.

Methodologie
De auteurs onderzoeken de evolutie van lexicale en semantische representaties over de modeldiepte aan de hand van een veelzijdige aanpak die bestaat uit adversariële stress-tests, layer-wise probing en informatie-theoretische analyse.

1. Adversariële Stress-tests: De studie maakt gebruik van triplet-gebaseerde stress-tests met de CounterFact en SugarCrepe++ (SCPP) datasets. Elk triplet bestaat uit een anker ($a$), een betekenisbehoudende parafrase ($p$) en een lexicale afleider ($d$) die een significante overlap in tokens deelt met het anker, maar semantisch verschilt. Succes wordt gedefinieerd als het vermogen van het model om het anker dichter bij de parafrase te embedden dan bij de afleider. Deze metriek kwantificeert de faalratio die wordt gedreven door lexicale overlap.
2. Layer-wise Probing:
   • Lexicale Decodeerbaarheid: Lineaire probes worden getraind op verborgen toestanden (hidden states) om de identiteit van de input-tokens te voorspellen. Dit meet de lineaire toegankelijkheid van oppervlakte-informatie in elke laag.
   • Semantische Getrouwheid (Semantic Fidelity): Sentence embeddings van elke laag worden geëvalueerd op de Massive Text Embedding Benchmark (MTEB) met behulp van standaard lightweight heads, om de semantische prestaties te beoordelen zonder taakspecifieke fine-tuning van de backbone.
3. Informatie-theoretische Analyse: De auteurs analyseren de prompt-entropie over de lagen om de dynamiek van informatiecompressie en -decompressie te karakteriseren, en relateren deze verschuivingen aan de geobserveerde lexicale en semantische gedragingen.
4. Downstream Case Studies: De impact van lexicale invloed wordt onderzocht in twee praktische scenario's: abstractieve samenvattings-evaluatie (met behulp van BERTScore en BARTScore) en feitelijke model editing (met behulp van AlphaEdit).

Belangrijkste Resultaten

• Persistentie van Lexicale Invloed: Lexicale invloed is niet beperkt tot ondiepe lagen; het persisteert over de gehele diepte van modellen, inclusief die specifiek getraind zijn voor semantische gelijkenis (embedding-modellen). Hoewel instruction tuning en metric learning de algehele kwaliteit van embeddings verbeteren, elimineren ze de vatbaarheid voor lexicale overlap-adversaries niet.
• De Mid-Depth Valley: Er wordt een consistente "vallei" waargenomen in de intermediaire lagen (ongeveer 40–60% van de modeldiepte). In dit gebied:
  • Is de Lexicale Decodeerbaarheid op zijn laagst (token-identiteit is het minst lineair terugwinbaar).
  • Stagneert of degradeert de Semantische Getrouwheid over classificatie-, retrieval- en semantische tekstgelijkenis-taken.
  • Bereiken de Lexicale Faalratio's hun piek, wat aangeeft dat representaties zwak zijn voor zowel de oppervlaktevorm als de betekenis.
• Niet-monotone Progressie: De transitie van lexicale naar semantische representaties is geen vloeiende, monotone progressie. De decodeerbaarheid van token-identiteit fluctueert, en semantische prestaties herstellen zich pas in de latere lagen, vaak na de low-entropy bottleneck.
• Informatie-theoretische Alignement: De mid-depth valley komt overeen met een low-entropy bottleneck en de directe re-expansie fase. In tegenstelling tot eerdere hypothesen dat de low-entropy bottleneck de sterkste representaties huisvest, vinden de auteurs dat de semantische prestaties hier het zwakst zijn. Sterkere, betekenisgevoelige geometrie ontstaat pas later tijdens de re-expansie fase.
• Downstream Implicaties:
  • Samenvatting: Lexicale overlap zorgt ervoor dat evaluatiemetrieken zoals BERTScore onjuist non-samenvattingen (afleiders) hoger ranken dan gouden samenvattingen, zelfs wanneer de afleiders geen semantische coherentie bezitten.
  • Model Editing: Updates gericht op specifieke feiten generaliseren disproportioneel naar lexicaal gelijkaardige maar semantisch ongerelateerde prompts. Deze "lexicale skew" brengt de lokaliteit van edits in gevaar, waardoor onbedoelde veranderingen optreden in het gedrag van het model voor distractors die oppervlakte-tokens delen met de edit-prompt.

Betekenis en Claims
Het artikel claimt dat lexicale invloed een fundamentele en persistente eigenschap is van LLM-representaties die overleeft tijdens diverse trainingsregimes, inclusief pretraining, instruction tuning en contrastive learning. De auteurs stellen dat de standaard heuristiek om de laatste-laag embeddings te gebruiken, of uit te gaan van een zuivere lexicale-naar-semantische transitie, onvoldoende is.

De primaire betekenis ligt in het aantonen dat:

1. Lexicale bias is robuust: Het persisteert zelfs in modellen die expliciet getraind zijn om dit te minimaliseren, wat suggereert dat huidige trainingsparadigma's de effecten verminderen maar niet elimineren.
2. Mid-layer representaties zijn transitioneel: De intermediaire lagen vertegenwoordigen een regime waarin zowel lexicale als semantische signalen zwak zijn, wat de visie uitdaagt dat intermediaire lagen uniform optimaal zijn voor feature extractie.
3. Evaluatie en Editing kwetsbaar zijn: Praktische toepassingen die vertrouwen op de geometrie van embeddings worden systematisch beïnvloed door oppervlakte-overlap, wat leidt tot misgekalibreerde gelijkenis-scores en een aangetaste lokaliteit van model editing.

De auteurs concluderen dat lexicaal gecontroleerde stress-tests een standaard diagnostisch instrument moeten worden voor representatie-learning, automatische metrieken en modelinterventies om robuustheid tegen overlap-gedreven semantische fouten te waarborgen. Zij stellen voor om toekomstig onderzoek te richten op het ontleden van het mid-depth transitie-regime met behulp van niet-lineaire transformaties om de daar gevormde structuur te begrijpen en overlap-gedreven fouten te voorkomen.