More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs

Technische Samenvatting: Meer Gecoördineerd, Minder Divers? Analyse van Grammatica en Lexicon van Twee Generaties LLM's

Probleemstelling
Hoewel Large Language Models (LLM's) steeds vaker worden vergeleken met menselijke schrijvers op linguïstische dimensies, blijven robuuste methoden voor het kwantificeren van deze verschillen onderontwikkeld. Specifiek is de impact van instructie-aanpassing en Reinforcement Learning from Human Feedback (RLHF) op de grammaticale en lexicale diversiteit van modeloutput niet goed begrepen. Eerdere onderzoek heeft vastgesteld dat basismodellen verschillen van menselijke tekst, maar het is onduidelijk hoe nieuwere, instructie-aangepaste generaties zich verhouden tot zowel mensen als hun eigen voorgangers. Deze studie vult dat gat door te onderzoeken of nieuwere LLM's, ontworpen voor betere uitlijning en coherentie, syntactische en lexicale variatie hebben opgeofferd.

Methodologie
De auteurs hanteren een formeel linguïstisch kader in plaats van standaard NLP-taalspecifieke metrieken om robuustheid en generaliseerbaarheid te waarborgen.

• Kader: De studie maakt gebruik van Head-Driven Phrase Structure Grammar (HPSG) en de English Resource Grammar (ERG). In tegenstelling tot statistische parsers of Universal Dependencies is de ERG een deterministische, exhaustieve chart-parser die is ontworpen om structuur te bieden voor alle goed gevormde Engelse zinnen, waardoor analyse van zeldzame linguïstische fenomenen en parseerbaarheid mogelijk is.
• Datasets:
  • Menselijke Tekst: Leadparagrafen uit The New York Times (NYT) uit twee distincte periodes: 2023 (gebruikt in eerdere werken) en 2025 (nieuw verzameld).
  • LLM-tekst: Twee generaties modellen werden vergeleken:
    • Oudere Generatie (Pre-2023): Basismodellen (LLaMA 7B/13B/30B/65B, Falcon 7B, Mistral 7B) getraind vóór oktober 2023.
    • Nieuwere Generatie (2024): Instructie-aangepaste modellen (Qwen 2.5, Mistral 7B v0.3, GPT-4o, LLaMA 3.3) getraind tot 2024.
  • Generatieprotocol: Voor de menselijke data van 2025 werden LLM's geprompt met NYT-koppen en de eerste drie woorden van de leadparagraaf om synthetische leads te genereren. Instructie-aangepaste modellen vereisten expliciete systeem-/gebruiker-prompts om de voltooiingstaak te simuleren.
• Metrieken: Diversiteit werd gekwantificeerd met ecologische en informatietheoretische indices:
  • Shannon-Wiener Index ($H'$): Meet rijkdom en gelijkmatigheid van de verdeling.
  • Simpson Index ($D$): Meet de waarschijnlijkheid dat twee willekeurig geselecteerde tokens tot verschillende categorieën behoren.
  • Deze metrieken werden toegepast op syntactische types (zinsstructuurconfiguraties) en lexicale types (complexe HPSG-representaties van woordrestricties, onderscheiden van oppervlakkige vocabulaire).

Belangrijkste Bijdragen

1. Diachrone Vergelijking: In tegenstelling tot eerdere werken die een enkele generatie LLM's met mensen vergelijken, contrasteert deze studie direct twee generaties LLM's (basis versus instructie-aangepast) met twee temporale steekproeven van menselijk schrijven.
2. Formele Linguïstische Analyse: Het gebruik van HPSG/ERG biedt een linguïstisch onderbouwde, theorie-onafhankelijke methode voor analyse van syntaxis en lexicon, waardoor biases inherent aan NLP-taakprestaties of grove woordsoorttagging worden vermeden.
3. Toepassing van Diversiteitsmetrieken: De toepassing van Shannon- en Simpson-indices op grammaticale structuren biedt een systematische manier om stijlverschuivingen tussen modelgeneraties bij te houden.

Resultaten

• Menselijke Stabiliteit: Engelstalig nieuws uit 2023 en 2025 toonde opmerkelijke stabiliteit in zowel syntactische als lexicale diversiteitsmetrieken, wat wijst op een consistente balans van variatie in professionele journalistiek.
• LLM-Divergentie:
  • Syntactische Diversiteit: Nieuwere instructie-aangepaste modellen (2025) vertoonden een aanzienlijk verminderde syntactische diversiteit in vergelijking met oudere basismodellen (2023). Waar oudere modellen dichter bij menselijke diversiteit lagen, gaven nieuwere modellen de voorkeur aan constructies met modificatie en coördinatie (bijvoorbeeld naamwoordgroepen met bijvoeglijke naamwoorden), terwijl ze specifieke details zoals namen en datums vermijden.
  • Lexicale Diversiteit: De daling was nog duidelijker in lexicale diversiteit. Verrassend vertoonden oudere LLM's (2023) de hoogste lexicale diversiteit, en overtroffen zowel menselijke tekst als nieuwere modellen. Nieuwere modellen (2025) toonden de laagste lexicale variatie, waarbij ze leunden op "basis" lexicale types (bijvoeglijke naamwoorden, veelvoorkomende zelfstandige naamwoorden, transitieve werkwoorden) en specifieke referenten vermijden.
  • Leestekens: Nieuwere modellen gebruikten leestekens met aanzienlijk minder diversiteit, waarbij ze minder gedachtestreepjes, puntkomma's en aanhalingstekens genereerden in vergelijking met menselijke schrijvers en oudere modellen.
• Parseerbaarheid en Lengte:
  • Nieuwere modellen genereerden langere zinnen (15–30% langer dan menselijke tekst) in vergelijking met oudere modellen (die korter waren dan menselijke tekst).
  • Ondanks de toegenomen lengte waren nieuwere LLM-output makkelijker te parsen (met een succespercentage van bijna 99%) en vereisten ze minder rekenkracht dan menselijke tekst of oudere LLM-output. Dit suggereert dat nieuwere modellen structureel regelmatige, gestroomlijnde zinnen produceren die aansluiten bij de meest voorspelbare delen van de grammatica, terwijl menselijke tekst complexere, minder voorspelbare fenomenen activeert.

Betekenis en Aanspraken
Het artikel stelt dat instructie-aanpassing, hoewel het coherentie en naleving van prompts verbetert, als neveneffect de expressieve reikwijdte van modeloutput verengt. De bevindingen wijzen op een trade-off waarbij uitlijningsparadigma's lexicale en syntactische variatie opofferen voor stijlcontrole en feitelijke veiligheid (blijkend uit het vermijden van specifieke namen/dates en verminderde structuren die vatbaar zijn voor hallucinaties).

De auteurs concluderen dat grotere, nieuwere modellen niet convergeren naar menselijk linguïstisch gedrag in professionele nieuwspublicaties; integendeel, ze divergeren, en worden formeler en minder divers dan zowel mensen als eerdere basismodellen. Dit onderstreept de noodzaak van toekomstig onderzoek naar hoe instructie-aanpassing linguïstische capaciteiten beïnvloedt en of deze capaciteiten kunnen worden hersteld zonder uitlijning te compromitteren. De studie is bescheiden van opzet en beperkt tot Engelstalig nieuws, met de opmerking dat de methodologie breed toepasbaar is, maar momenteel beperkt wordt door de beschikbaarheid van breed gedekte HPSG-grammatica's voor andere talen.