How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework

Technische Samenvatting: Hoe menselijk zijn Large Language Models? Een registerbewust linguïstisch evaluatiekader

Probleemstelling
Hoewel het huidige onderzoek naar Large Language Models (LLM's) sterk prioriteit geeft aan feitelijke juistheid en prestatiebenchmarks voor taken (zoals MMLU, domeinspecifieke QA), blijft de fundamentele vraag hoe nauw LLM-gegenereerde tekst op linguïstisch niveau lijkt op menselijke taal onderbelicht. Vanuit een corpus-linguïstisch perspectief is menselijke taalproductie inherent contextafhankelijk; onderscheidende communicatieve contexten (registers) leiden tot specifieke frequenties en co-occurrence-patronen van linguïstische kenmerken. Een tekst kan feitelijk correct zijn maar linguïstisch "onnatuurlijk" als deze niet voldoet aan de patronen van het doelregister. Bestaande detectiemethoden vertrouwen vaak op model-embeddings (die niet menselijk interpreteerbaar zijn) of slagen er niet in om registeruitlijning correct te meten, vooral wanneer modellen worden gekonditioneerd op expliciete registervoorbeelden in plaats van het register te infereren uit de situationele context.

Methodologie
De auteurs stellen een registerbewust evaluatiekader voor dat menselijkheid beoordeelt als een tweestalenprobleem tussen de verdeling van linguïstische kenmerken in een menselijk referentiecorpus en een corresponderend door een LLM gegenereerd corpus.

1. Datageneratie & Impliciete Registerkonditionering:

   • Vijf verschillende Engelse registers werden geselecteerd: Gesproken conversatie (BNC2014Spoken), Academisch schrijven (S2ORC_ACL), Instructieve online tekst (wikiHow), Creatief schrijven (WritingPrompts) en Nieuwsverslaggeving (XSum).
   • Menselijke referentiecorpora werden verzameld en metadata werd gebruikt om natuurlijke taalprompts te construeren.
   • Cruciaal is dat het kader impliciete registerkonditionering hanteert: prompts beschrijven de situationele context zonder register-specifieke tekstvoorbeelden op te nemen, waardoor het model het doelstijl moet infereren.
   • Zeven open-source, instructiegetrainde modellen (variërend van 8B tot 70B parameters, waaronder Llama 3, Qwen 3, Gemma 3 en Apertus) werden geëvalueerd in zero-shot en few-shot settings.

2. Kenmerkextractie:

   • Het kader maakt gebruik van de 67 lexico-grammaticale en discourskenmerken geïntroduceerd door Biber (1988), een standaard in de corpuslinguïstiek voor het analyseren van variatie tussen registers.
   • Teksten werden gestandaardiseerd tot een lengte van 400 lexicaal tokens om vergelijkbaarheid te waarborgen.

3. Afstandsmaatstaf (MMD):

   • De discrepantie tussen het menselijke en synthetische corpus wordt gekwantificeerd met behulp van de Maximum Mean Discrepancy (MMD) in een Reproducing Kernel Hilbert Space (RKHS) met een RBF-kern.
   • MMD meet de afstand tussen de gemiddelde embeddings van twee verdelingen. Een waarde van nul impliceert dat de verdelingen identiek zijn.
   • Om een baseline te vestigen, berekenen de auteurs de MMD tussen twee disjuncte subsamples van het menselijke corpus ($MMD_{mens-mens}$) om een 95% betrouwbaarheidsinterval (BI) te genereren. Als de afstand van een LLM de bovengrens van dit BI overschrijdt, wijst dit op een statistisch significante afwijking van menselijke taalpatronen.

Belangrijkste Bijdragen

• Een Registerbewust Kader: Een methode om menselijkheid te beoordelen op basis van het distributieverschil van linguïstische kenmerken met behulp van MMD, verdergaand dan taalspecifieke metrieken.
• Open-source Implementatie: De release van code, generatiesettings en resultaten met gebruik van Biber's 67 kenmerken.
• Uitgebreide Benchmark: Een vergelijkende analyse van zeven modellen over vijf registers, inclusief een ablatiestudie over promptstabiliteit en few-shot-generatie-effecten.

Resultaten

• Universele Afwijking: In alle geteste opstellingen produceerde elke LLM een verdeling van linguïstische kenmerken die significant afweek van de menselijke baseline (de mens-mens BI overschrijdend).
• Registerafhankelijkheid: De rangschikking van modellen op "menselijkheid" is niet consistent over registers. Zo presteerden Qwen-modellen het beste bij Gesproken conversatie, Creatief schrijven en Nieuws, terwijl Apertus 70B het dichtst bij menselijke baselines lag voor Academisch schrijven en Instructieve tekst.
• Modelgrootte versus Prestatie: Menselijkheid wordt niet bepaald door modelgrootte. Kleinere modellen (bijv. Qwen 8B) presteerden vaak even goed of beter dan grotere tegenhangers (bijv. Llama 70B), afhankelijk van het register.
• Specifieke Linguïstische Bias:
  • Modellen gebruikten over het algemeen meer Present Participle Clauses en Nominalisaties dan mensen.
  • Modellen neigden tot het produceren van langere woorden en gebruikten Attributieve Adjectieven vaker.
  • Modellen vertoonden in vier van de vijf registers een verminderde variabiliteit in linguïstische kenmerken vergeleken met mensen.
• Promptstabiliteit: Hoewel absolute afstandswaarden varieerden met de formulering van de prompt, bleef de relatieve rangschikking van modellen consistent (correlatie $\ge$ 0,985).
• Few-shot Effecten: Het verstrekken van few-shot-voorbeelden verkleinde over het algemeen de afstand tot de menselijke verdeling, hoewel het effect gering was en soms schadelijk (bijv. voor Llama 8B bij Gesproken conversatie).

Betekenis en Beweringen
Het artikel beweert dat menselijkheid een registerafhankelijke eigenschap is die met registergevoeligheid moet worden geëvalueerd. Het aggregeren van resultaten over registers verdoezelt systematische verschillen; een model dat in één context als "meest menselijk" wordt gerangschikt, hoeft dat in een andere niet te zijn.

De auteurs stellen dat hun kader een transparante, interpreteerbare metriek biedt (MMD op menselijk interpreteerbare kenmerken) die in toekomstig werk kan worden geoptimaliseerd om de taalproductie van LLM's te verbeteren. Door de MMD tussen gegenereerde teksten en representatieve registersamples te minimaliseren, kunnen modellen worden gestimuleerd teksten te produceren die linguïstisch passend zijn voor hun communicatieve doel en "mode collapsing" naar smalle verdelingen van kenmerken te vermijden. De studie concludeert dat huidige LLM's, ongeacht grootte of architectuur, systematisch falen in het repliceren van de volledige variabiliteit en specifieke co-occurrence-patronen van menselijke taal binnen specifieke registers.