Implicit Representations of Grammaticality in Language Models

Technische Samenvatting: Impliciete Representaties van Grammaticaliteit in Taalmodellen

Probleemstelling
In de menselijke taal zijn grammaticaliteit (conformiteit aan syntactische regels) en waarschijnlijkheid (statistische frequentie in natuurlijke tekst) distincte concepten. Een zin kan grammaticaal zijn maar zeer onwaarschijnlijk (complex betekenis), of ongrammaticaal maar waarschijnlijk (veelvoorkomende fout). Vooraf getrainde Taalmodellen (LM's) zijn probabilistische systemen die zijn getraind om de corpus-waarschijnlijkheid te maximaliseren. Hoewel ze goed presteren op taken met minimale paren (het onderscheiden van een grammaticale zin van een minimaal gewijzigde ongrammaticale), falen hun ruwe string-waarschijnlijkheden vaak om scherp te onderscheiden tussen grammaticale en ongrammaticale zinnen in het algemeen, omdat ze syntactische correctheid vermengen met semantische plausibiliteit en frequentie.

De centrale vraag die wordt behandeld, is of LM's, ondanks dat ze uitsluitend zijn getraind op waarschijnlijkheid, impliciet een distincte representatie van grammaticaliteit verwerven binnen hun verborgen lagen die losgekoppeld is van string-waarschijnlijkheid.

Methodologie
De auteurs stellen een lineaire probing-benadering voor om de interne representaties van LM's te onderzoeken zonder afhankelijk te zijn van kostbare, door mensen geannoteerde grammaticaliteitsdatasets voor training.

1. Generatie van Synthetische Trainingsdata:

   • Bron: 50.000 zinnen werden bemonsterd uit de Penn Treebank en Project Gutenberg om te dienen als "grammaticale" voorbeelden.
   • Perturbatie: Ongrammaticale voorbeelden werden gegenereerd door drie ruisfuncties toe te passen op de originele zinnen:
     • Invoeging: Willekeurig invoegen van 1–5 tokens uit het corpus.
     • Verwijdering: Willekeurig verwijderen van 1–5 tokens.
     • Lokale Shuffle: Willekeurig permuteren van een aaneengesloten venster van 5 tokens.
   • Validatie: Een LLM-rechter bevestigde dat 93,72% van de geperturbeerde zinnen inderdaad ongrammaticaal was.
   • Verdeling: 80% van de data werd gebruikt voor training en 20% voor ontwikkeling (hyperparameter-tuning).

2. Probe-architectuur:

   • Een logistische regressie-classificator (lineaire probe) werd getraind op de verborgen staten van het LM bij het laatste token van een zin.
   • De probe werd getraind om de binaire label te voorspellen (grammaticaal versus ongrammaticaal).
   • Experimenten maakten gebruik van $\ell_2$-regularisatie (standaard) en $\ell_1$-regularisatie (LASSO) om spaarzame subsets van neuronen te identificeren die verantwoordelijk zijn voor het signaal.

3. Evaluatiekader:

   • Modellen: Getest op open-weight basismodellen (OLMo-2/3, Llama-3.2/3.1, Gemma-2) met uitsluiting van instructie-gefineerde varianten om alignement-verwarring te voorkomen.
   • Benchmarks:
     • Grammaticaliteit: BLiMP (minimale paren), CoLA en SyntaxGym (standalone acceptabiliteit).
     • Cross-linguaal: Zes talen (Zweeds, Nederlands, Italiaans, Russisch, Japans, Chinees) met gebruik van zero-shot transfer.
     • Semantische Plausibiliteit: Drie datasets waarbij beide leden van een minimaal paar grammaticaal zijn maar verschillen in semantische plausibiliteit.
   • Maten: Nauwkeurigheid (ACC) voor minimale paren en het Oppervlak onder de ROC-curve (AUC) voor standalone acceptabiliteit.
   • Baselines: Vergelijking met LM string log-waarschijnlijkheden (lengte-genormaliseerde cumulatieve logprobs).

Belangrijkste Resultaten

• Superioriteit ten opzichte van String-waarschijnlijkheden: Probes getraind op de synthetische dataset presteerden significant beter dan LM log-waarschijnlijkheden op grammaticaliteitsbenchmarks (BLiMP, CoLA, SyntaxGym). Dit gold zowel voor minimale-paar- als niet-minimale-paar-instellingen.
• Distinctheid van Waarschijnlijkheid:
  • De probe-scores toonden slechts een matige correlatie (Spearman's $\rho \approx 0,23–0,47$) met LM log-waarschijnlijkheden, wat suggereert dat ze distincte informatie vangen.
  • Het toevoegen van log-waarschijnlijkheden als extra feature aan de probe verbeterde de prestaties niet consequent, wat impliceert dat de verborgen staten al de nodige waarschijnlijkheidsinformatie bevatten die relevant is voor grammaticaliteit.
  • Omgekeerd, bij het voorspellen van log-waarschijnlijkheden vanuit verborgen staten, bereikte ridge-regressie een matig hoge $R^2$ ($0,51–0,73$), wat bevestigt dat waarschijnlijkheidsinformatie aanwezig is in de representaties.
• Semantische Selectiviteit: Op benchmarks voor semantische plausibiliteit presteerde de grammaticaliteitsprobe slechter dan string-waarschijnlijkheden. Dit geeft aan dat de probe selectief is afgestemd op syntactische acceptabiliteit in plaats van semantische waarschijnlijkheid, waardoor de twee concepten effectief worden ontkoppeld.
• Cross-linguale Generalisatie: Een probe die uitsluitend op Engelse data was getraind, generaliseerde naar typologisch diverse talen (Zweeds, Nederlands, Italiaans, Russisch, Japans, Chinees), waarbij deze vaak de native-taal string-waarschijnlijkheden van de modellen overtrof.
• Neuronenlocalisatie: Met behulp van LASSO vonden de auteurs dat grammaticaliteitssignalen konden worden gevangen door uiterst kleine subsets van neuronen (zoveel als 0,01% van het totaal, ongeveer 10 neuronen), hoewel het signaal ook over lagen verdeeld is.

Betekenis en Beweringen
Het artikel betoogt dat hoewel LM's fundamenteel statistische systemen zijn die zijn getraind op waarschijnlijkheid, hun training op grote schaal een impliciete grammaticaliteitsonderscheiding induceert binnen hun verborgen representaties.

• Uitdaging voor Scepticisme: De resultaten daagden het standpunt uit (bijv. Katzir, 2023) dat de grammaticaliteit-waarschijnlijkheid-onderscheiding "volledig vreemd" is voor LM's. De auteurs suggereren dat LM's wel degelijk een notie van grammaticaliteit verwerven die onderscheiden is van output-waarschijnlijkheden, zelfs zonder expliciete linguïstische supervisie.
• Methodologische Bijdrage: De studie demonstreert dat synthetische perturbaties van natuurlijke tekst kunnen dienen als een robuuste, schaalbare proxy voor het trainen van grammaticaliteitsprobes, waarbij de behoefte aan kleine, dure, door mensen samengestelde datasets voor training wordt omzeild (hoewel die nog steeds worden gebruikt voor evaluatie).
• Implicaties voor Linguïstische Cognitie: Hoewel de auteurs zich onthouden van de claim dat LM's complete modellen zijn van menselijke linguïstische acquisitie, stellen ze dat LM's een haalbare testomgeving bieden om te bestuderen hoe syntactische kennis kan ontstaan uit distributieel leren. De bevindingen suggereren dat de "competentie-prestatie"-kloof die bij mensen wordt waargenomen (waarbij een spreker een regel kent maar fouten kan maken), een parallel heeft in LM's, waarbij verborgen representaties grammaticaliteit coderen die onderscheiden is van de ruisachtige waarschijnlijkheid van oppervlaktestrings.

Beperkingen Erkend door de Auteurs

• De synthetische trainingsdata is imperfect; originele zinnen kunnen fouten bevatten en perturbaties kunnen semantische onwaarschijnlijkheid introduceren in plaats van pure syntactische fouten.
• De studie richt zich op natuurlijke talen en behandelt geen formele talen of de leer-dynamiek van wanneer grammaticaliteit wordt verworven tijdens training.
• Het werk onderzoekt statische representaties bij het laatste checkpoint, niet de evolutie van deze representaties over de tijd van training.