Do Language Models Encode Knowledge of Linguistic Constraint Violations?

Technische Samenvatting: Encoderen Taalmodellen Kennis van Schendingen van Taalbeperkingen?

Probleemstelling
Hoewel Large Language Models (LLM's) sterke prestaties laten zien op taalkundige benchmarks en grammaticale regulariteiten generaliseren uit ruwe tekst, blijven de interne mechanismen die hen in staat stellen welgevormde zinnen te onderscheiden van onwelgevormde, onduidelijk. Specifiek is het een open vraag of LLM's, met name Transformer-gebaseerde architecturen, specifieke "detector-features" coderen die activeren bij het tegenkomen van grammaticale schendingen om de log-waarschijnlijkheid van een zin te bestraffen. Deze studie onderzoekt de hypothese dat LLM's latente representaties van schendingen van taalkundige beperkingen bezitten (aangeduid als de variabele $G$ in het kader van Hu et al., 2026) die selectief worden geactiveerd tijdens de verwerking van ongrammaticale invoer.

Methodologie
De studie hanteert een mechanistische interpretabiliteitsbenadering waarbij Sparse Autoencoders (SAE's) worden gebruikt om de polysemantische activeringen van LLM's te ontleden in schaarse, monosemantische features.

• Dataset: De auteurs maken gebruik van de BLiMP-benchmark (Warstadt et al., 2020), die 13 taalkundige fenomenen biedt. Elk fenomeen bestaat uit minimale paren waarbij een welgevormde zin ($x_{good}$) en een onwelgevormde zin ($x_{bad}$) precies één woord van elkaar verschillen. Dit ontwerp houdt het semantische bericht ($m$) constant terwijl de grammaticale beperking ($G$) wordt gevarieerd.
• Modellen: Experimenten werden uitgevoerd op zes modellen uit drie families: GPT-2 (small), Gemma-3 (270M, 1B, 4B) en Qwen3.5 (2B, 9B).
• Feature-ontleding: Pre-getrainde SAE's (van SAELens, Qwen Scope en Gemma Scope 2) werden toegepast op de residustromen op specifieke lagen (25%, 50%, 65% en 85% van de modeldiepte).
• Gevoeligheidsscore ($\Phi$): Er werd een gevoeligheidsscore geïntroduceerd om SAE-features te rangschikken op basis van hun preferentiële activatie op beperking-schendende invoer versus welgevormde invoer. Features met hoge positieve $\Phi$-scores werden geselecteerd als kandidaat-schendingsdetectoren.
• Conjunctief Falsificatiekader: Om te valideren of een kandidaat-feature echt een schendingsdetector codeert, stelt de studie drie gezamenlijk geëvalueerde criteria voor via gerichte feature-ablatie:
  1. F1 (Causaal Effect op Schendingen): Het ableren van de kandidaat-features moet de log-waarschijnlijkheid van ongrammaticale zinnen significant verhogen in vergelijking met een willekeurige controle.
  2. F2 (Stabiliteit van Niet-Schendingen): Ablatie mag de log-waarschijnlijkheid van welgevormde zinnen niet significant verslechteren (stabiliteitsdrempel $|\bar{M}_{good}| < 0.05$).
  3. F3 (Preferentieel Effect): De verandering in preferentiemarge (goed versus slecht) veroorzaakt door ablatie moet strikt positief zijn en significant groter dan die van een willekeurige controle, zodat het effect selectief is voor schendingen.

Belangrijkste Bijdragen

1. Gevoeligheidsscore ($\Phi$): Een ongesuperviseerde metriek voor het identificeren van features die preferentieel worden geactiveerd door beperking-schendende invoer, waardoor de gerichte selectie van kandidaat-schendingsfeatures mogelijk wordt zonder gelabelde supervisie.
2. Conjunctief Falsificatiekader: Een rigoureus driecriteria-test (F1, F2, F3) ontworpen om ware schendings-specifieke detectoren te onderscheiden van features die slechts correleren met algemene vloeiendheid of zinswaarschijnlijkheid.
3. Empirische Analyse: Een uitgebreide evaluatie over 13 taalkundige fenomenen en zes modellen, die aantoont dat hoewel modellen informatie bevatten die gerelateerd is aan schendingen, deze informatie onder het huidige interventiekader niet schoon kan worden gescheiden in geünificeerde, selectieve detectoren.

Resultaten
De empirische resultaten zijn grotendeels negatief ten aanzien van de hypothese van geünificeerde, selectieve schendingsdetectoren:

• F1-prestaties: Het causale effect-criterium (F1) slaagde breed over modellen en fenomenen. High-$\Phi$-features correleren met beperking-schendende invoer, aangezien hun verwijdering de waarschijnlijkheid van ongrammaticale zinnen verhoogt.
• F2- en F3-falen: De stabiliteit (F2) en het preferentiële effect (F3) slaagden in de meeste gevallen niet. Features die als gevoelig voor schendingen werden geïdentificeerd, beïnvloeden vaak ook causaal welgevormde zinnen (in strijd met F2) of beïnvloeden grammaticale en ongrammaticale zinnen met vergelijkbare grootte (in strijd met F3).
• Gemeenschappelijke Voldoening: Het gezamenlijke criterium (F1 $\cap$ F2 $\cap$ F3) werd door slechts één fenomeen (Irreguliere vormen op GPT-2) over alle modellen heen voldaan.
• Feature-verstrengeling: De resultaten suggereren dat schendingsgerelateerde features niet geïsoleerd zijn. In plaats daarvan lijken ze algemene vloeiendheidsinformatie te coderen of verstrengeld te zijn met features die het algemene bericht ($m$) representeren, waardoor het moeilijk is om een pure "grammaticaliteit"-variabele $G$ via ablatie te isoleren.

Betekenis en Aanspraken
Het artikel concludeert dat huidige LLM's niet lijken te coderen in een geünificeerde set grammaticale schendingsdetectoren die selectief worden geactiveerd en causaal onderscheiden zijn van algemene zinsrepresentaties. Hoewel de modellen informatie bezitten die relevant is voor grammaticale schendingen, is deze informatie onder het huidige interventiekader niet schoon te scheiden van bredere zinsniveau-representaties.

De auteurs hypothetiseren dat de negatieve resultaten kunnen voortkomen uit:

1. Het falen van de gevoeligheidsscore om features aan het licht te brengen die voldoen aan F2 en F3.
2. Het falen van SAE's om features te herstellen die overeenkomen met F2 en F3, die mogelijk worden opgenomen in andere features.
3. Het feit dat de relevante features verspreid zijn over meerdere lagen in plaats van gelokaliseerd in een enkele laag.

De studie claimt niet het bestaan van grammaticale representaties volledig te weerleggen, maar benadrukt juist de beperkingen van huidige mechanistische interpretabiliteitstools (specifiek SAE's en ablatie) in het isoleren van deze specifieke latente variabelen. Het werk is bescheiden in zijn aanspraken, met de opmerking dat de belangrijkste bevinding negatief is en dat alternatieve kaders die gericht zijn op verrassing (surprisal) of semantische anomalieën complementaire perspectieven kunnen bieden.