Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization

1. Probleemstelling

Het veld van personalisatie van Large Language Models (LLM's) mist momenteel een rigoureuze evaluatiemethodologie voor stylistische personalisatie (een LLM laten schrijven in de stem van een specifiek individu). Bestaande benchmarks richten zich op:

• Taaknauwkeurigheid: (bijv. LaMP)
• Voorkeursuitlijning: (bijv. PersonalLLM)
• Conversatiepersoonlijkheid: (bijv. PersonaLens met LLM-as-judge)

Het Gat: Geen van deze methoden evalueert authenticiteit van auteurschap – of de gegenereerde tekst daadwerkelijk de onderliggende "vingerafdruk" van de beoogde menselijke auteur bezit. Huidige metrieken zijn "ad hoc", zonder theoretische onderbouwing in de wetenschap van auteurschap, wat leidt tot niet-gekalibreerde scores en potentieel misleidende conclusies over modelprestaties.

2. Methodologie

De auteurs stellen een theoretisch onderbouwde evaluatiekader voor dat gevestigde theorie over auteursverificatie afzet tegen ad hoc-alternatieven.

Data en Opzet

• Corpus: Blog Authorship Corpus (681K berichten, 19k bloggers).
• Subset: 50 auteurs met voldoende data (≥200 trainingsberichten, ≥50 testberichten).
• Generaties: 1.000 totale generaties (50 auteurs × 5 prompts × 4 methoden).
• Prompting: Gebruik van neutrale inhoudssamenvattingen (geëxtraheerd door een LLM) om prompt-contaminatie te voorkomen (bijv. het lekken van de eerste zin van de auteur).
• Modellen: Primaire generator: Qwen 3 (32B); Replicatie: GLM-4 (32B).

Vier Geteste Personalisatiemethoden tijdens Inference

1. Niet-gepersonaliseerd: Controlegroep (alleen inhoudssamenvatting).
2. Few-Shot: 5 voorbeelden van de auteur verstrekt zonder expliciete instructie.
3. Profiel-extractie: Tweestapsproces (abstract stijlprofiel extraheren $\rightarrow$ genereren vanuit profiel).
4. Contrastief: Voorbeelden van de auteur + contrastieve voorbeelden van andere auteurs + stylometrische kenmerken.

Drie Evaluatiemetrieken

De studie evalueert deze methoden met drie verschillende metrieken uit verschillende tradities:

1. LUAR (Primair - Theoretisch Onderbouwd): Learning Universal Authorship Representations. Een transformer-model getraind via contrastief leren op miljoenen Reddit-berichten om auteurs-discriminerende embeddings te produceren.
   • Metriek: Cosine-afstand tussen geaggregeerde embeddings van gegenereerde tekst en echte auteurs-tekst.
   • Voordeel: Biedt gekalibreerde baselines (Menselijk Plafond en Menselijke Vloer over Auteurs).
2. LLM-as-Judge (Secundair - Ad Hoc): Een ontkoppeld binair protocol met GLM-4.
   • Proces: 5 stijlkenmerken per auteur extraheren $\rightarrow$ Generatie scoren op kenmerken $\rightarrow$ Plausibiliteit van dezelfde auteur beoordelen.
   • Metriek: Trait Match Rate (TMR).
3. Geautomatiseerde Stylometrie (Tertiair - Klassiek):
   • Metriek: Cosine-afstand van functiewoorden (FuncCos) over 60 veelvoorkomende functiewoorden (Argamon et al., 2003).

3. Belangrijkste Bijdragen

1. Gekalibreerde Baselines voor Auteurschap: Het artikel introduceert het eerste evaluatiekader voor stylistische personalisatie dat is gebaseerd op theorie over auteursverificatie, en stelt absolute betekenissen voor scores vast (Plafond: 0,756, Vloer: 0,626).
2. Ontdekking van het "Auteurschapsgat": Het toont aan dat huidige personalisatiemethoden tijdens inference falen in het verschuiven van de stijl-vingerafdruk van de LLM naar de beoogde mens, waardoor gegenereerde tekst significant verder verwijderd blijft van de beoogde auteur dan willekeurige mensen van elkaar.
3. Falen van Constructvaliditeit: De studie bewijst dat ad hoc-metrieken (LLM-judges) en klassieke metrieken (stylometrie) verschillende constructen meten dan auteursverificatie, wat leidt tot correlaties dicht bij nul ($|r| < 0,07$) en tegenstrijdige conclusies.
4. Identificatie van Circulaire Evaluatie: Het blootlegt hoe "Profiel-extractie"-methoden LLM-judge-scores kunstmatig opblazen door te optimaliseren voor de zeer kenmerken die de judge extrahert, in plaats van voor echte stylistische authenticiteit.

4. Belangrijkste Resultaten

Het Auteurschapsgat

• LUAR-scores: Alle vier personalisatiemethoden scoorden tussen 0,484 en 0,508.
• De Vloer: De "Cross-Author Human Floor" (gelijkenis tussen twee verschillende mensen) is 0,626.
• Het Plafond: De "Same-Author Human Ceiling" is 0,756.
• Conclusie: Alle door LLM's gegenereerde tekst scoorde onder de menselijke vloer voor verschillende auteurs. Dit betekent dat gepersonaliseerde LLM-uitvoer stylistisch minder lijkt op de beoogde auteur dan een willekeurige mens op een andere willekeurige mens. De eigen "vingerafdruk" van de LLM domineert de uitvoer.

Metriek-Disagreement & Validiteit

• Correlatie: De drie metrieken toonden correlaties dicht bij nul ($|r| < 0,07$).
• De "Winnaar"-Illusie: De LLM-as-Judge (TMR) verklaarde Profiel-extractie tot de duidelijke winnaar ($d=0,58$ effectgrootte). Echter, LUAR vond geen zinvolle differentiatie tussen methoden.
• Reden voor Discrepantie: Profiel-extractie optimaliseert voor door LLM's extraherbare kenmerken. Omdat de Judge ook een LLM gebruikt om kenmerken te extraheren, "gamet" de methode de judge. Echte auteurs scoorden lager (0,427) op TMR dan de Profiel-extractiemethode (0,542), wat bewijst dat TMR instructie-opvolging meet, niet auteursauthenticiteit.
• Stylometrie: FuncCos toonde ingestorte baselines (Plafond 0,742 vs. Vloer 0,695), en faalde effectief om tekst van dezelfde auteur te onderscheiden van tekst van verschillende auteurs.

Robuustheid

• Cross-Model: Replicatie met GLM-4 bevestigde dat het gat blijft bestaan (scores 0,417–0,576, nog steeds onder de 0,626 vloer).
• Embedding Ruimte: LLM's bezetten een distinct gebied in de LUAR embedding-ruimte. Hoewel personalisatie de uitvoer binnen de stijlruimte van de LLM moduleert (Gen$\leftrightarrow$Gen AUC=0,918), kan het de kloof naar het menselijk manifold niet overbruggen (Gen$\leftrightarrow$Real AUC $\approx$ 0,45–0,49).

Methodologische Confound

• Prompt Contaminatie: Het gebruik van de eerste zin van een doelbericht als prompt verhoogde de niet-gepersonaliseerde baseline-gelijkenis met 28 procentpunten, waardoor de ware prestatiekloof werd gemaskeerd. Neutrale inhoudssamenvattingen zijn vereist voor een geldige evaluatie.

5. Betekenis en Implicaties

• Theorie-Benchmark Cyclus: Het artikel demonstreert een deugdelijke cyclus waarbij Auteurschapstheorie (Stamatatos, Rivera-Soto) testbare voorspellingen genereert (LLM's kunnen hun vingerafdruk niet volledig uitwissen), en Benchmarks (LUAR) deze bevestigen met gekalibreerde metingen.
• Herschepping van Evaluatie: Het betoogt dat taaknauwkeurigheid en voorkeursuitlijning onvoldoende zijn voor stylistische personalisatie. Toekomstige benchmarks moeten theoretisch onderbouwde metrieken met gekalibreerde baselines gebruiken om "gehallucineerde" vooruitgang te voorkomen.
• Structurele Beperking: De bevindingen suggereren een fundamentele beperking van personalisatie tijdens inference. De inherente stijlvingerafdruk van de LLM is robuust en kan niet worden overstemd door prompting of few-shot learning alleen; het dichten van de kloof vereist mogelijk benaderingen tijdens training (bijv. LoRA-adapters).
• Diagnostisch Hulpmiddel: Metriek-disagreement moet worden behandeld als een signaal van falende constructvaliditeit in plaats van als een kans om scores te middelen.

Kortom, het artikel blootlegt een kritiek falen in het huidige onderzoek naar LLM-personalisatie: hoewel modellen instructies kunnen volgen om kenmerken na te bootsen, kunnen ze momenteel de diepe, structurele vingerafdruk van auteurschap van een specifiek mens niet repliceren, een feit dat onzichtbaar is voor niet-gekalibreerde, ad hoc-evaluatiemetrieken.