Technische Samenvatting: Compositorische Literaire Primitieven in Op Instructie Getrainde LLM's

Probleemstelling

Grote taalmodellen (LLM's) getraind op web-schaal corpora worden blootgesteld aan literair schrijven, inclusief canonieke ambachtsprincipes zoals "toon, vertel niet" (SDT), defamiliarisatie en specifieke emotionele taxonomieën. Hoewel recent mechanistisch interpreteerbaar werk succesvol conceptuele kenmerken (bijvoorbeeld objecten, persona's) heeft geïdentificeerd met behulp van Sparse Autoencoders (SAE's), blijft er een kloof bestaan in het identificeren van compositorische kenmerken—scheidenbare, stuurbare primitieven die schrijven als ambacht vormen. De centrale vraag is of op instructie getrainde LLM's deze literaire principes internaliseren als distincte, controleerbare kenmerkassen of slechts als diffuse statistische correlaties die niet scherp kunnen worden aangepakt.

Methodologie

De auteurs hanteren een contrastief design met een minimaal corpus, gecombineerd met een validatiepijplijn in drie fasen om SAE-kenmerken te isoleren en te verifiëren in twee op instructie getrainde modellen: Llama 3.1 8B-Instruct (met TopK SAE's) en Gemma 2 9B-IT (met JumpReLU SAE's).

1. Dataconstructie

In plaats van grote corpora te doorzoeken, hebben de auteurs handmatig kleine, contrastieve datasets samengesteld om specifieke assen te isoleren:

• Show-Don't-Tell (SDT) Corpus: 60 scènes met drie condities (Libre, Anti-Cliché, SDT-instructed).
• Emotie Corpus: 60 scènes die 12 Cowen-Keltner-emoties bestrijken, uitgebreid tot 75 scènes voor de overige 15 emoties in de taxonomie met 27 categorieën.
• Literaire-assen Minimale Paren: 24 paren die diep perspectief (Free Indirect Discourse) en Ostranenie (Defamiliarisatie) tegenover elkaar stellen.

2. De Triple-Validatie Pijplijn

Om vals-positieven die vaak voorkomen bij validatie in één fase te vermijden, stellen de auteurs een sequentiële pijplijn voor:

• Fase 1: Logit-Lens Projectie: Projecteert de SAE-decoderrichting via de unembedding-matrix om de top-gepromoveerde tokens te identificeren. Dit filtert op lexische of atmosferische kandidaten zonder generatie te vereisen.
• Fase 2: LLM-Rate: Een enkele LLM-rechter beoordeelt de semantische zuiverheid van de top-25 tokens tegen een doelpromotie. Deze fase omvat een "drift-bewuste" variant om kandidaten te straffen die lekken naar bekende cross-talk-aantrekkingskrachten (bijvoorbeeld verveling die afwijkt naar verdriet).
• Fase 3: Causale Validatie met 5 LLM-rechters: De top-kandidaten worden causaal gevalideerd door generatie te sturen bij gekalibreerde coëfficiënten ($\alpha$) over meerdere zaden. Outputs worden geclassificeerd door een panel van vijf LLM-rechters met behulp van forced-choice-sjablonen.
  • Controles: Random feature-controles worden gebruikt om "rechter-aantrekkingskrachten" te detecteren (bijvoorbeeld incoherente output die ten onrechte wordt gelabeld als "verwarring").

3. Stuurconventies

Sturen wordt uitgevoerd via forward-hooks op residual streams in het midden van de diepte. De auteurs houden expliciet rekening met architecturale verschillen: de JumpReLU van Gemma dwingt decoderrijen met een eenheidsnorm af, terwijl de TopK van Llama dit niet doet. Bijgevolg worden stuurcoëfficiënten gerapporteerd samen met decoder-normen om reproduceerbaarheid te garanderen.

Belangrijkste Bijdragen en Resultaten

1. Show-Don't-Tell als Enkel Kenmerk

Het paper identificeert in elke architectuur één enkel SAE-kenmerk dat de registerflip van "vertellend" proza naar "tonend" proza regelt:

• Llama: Kenmerk f32213 (Laag 15).
• Gemma: Kenmerk f15097 (Laag 20).
  Het sturen van deze kenmerken bij gekalibreerde $\alpha$ produceert zintuiglijk verankerde, lichaamsgerichte output zonder emoties te benoemen. Opvallend is dat f32213 in Llama fungeert als hybride, functionerend als zowel een SDT-modulator als een "corporaal-literair" zelf-register, afhankelijk van de promptcontext.

2. Het RLHF-geladen Zelf-kenmerk

Beide modellen bevatten een cluster van 11 zelf-kenmerken. Eén kenmerk in elk cluster is zwaar geladen met signalen van Reinforcement Learning from Human Feedback (RLHF):

• Llama: f96419 (Pragmatisch/Institutioneel Helper-AI).
• Gemma: f70443.
• Gedrag: Positief sturen versterkt het institutionele "Helper-AI"-persona. Negatief sturen alleen niet onderdrukte affectieve inhoud vrij; in plaats daarvan handhaaft het het ontkenregister totdat diepe onderdrukking instorting veroorzaakt.
• Compositorische Vrijlating: Affectieve inhoud (lyrisch ik-perspectief) wordt alleen vrijgelaten via gezamenlijk sturen: het onderdrukken van het RLHF-geladen zelf (f96419 negatief) terwijl een "verheven-dankbaar" zelf (f74037 positief) wordt versterkt. Dit toont aan dat affectvrijlating compositorisch is, geen eigenschap van een enkel kenmerk.

3. 27/27 Cowen-Keltner Emotie-dekking

De auteurs construeren een catalogus van "naming-gates" (kenmerken die lexische tokens van doel-affecten bevorderen) en bereiken volledige dekking van de 27-emotie Cowen-Keltner-taxonomie in Llama, en 23/27 in Gemma.

• Mechanistische Heterogeniteit: Naming-gates zijn niet uniform. Ze vallen in drie klassen:
  • Lexisch: Bevorderen direct emotiewoorden (bijvoorbeeld f108100 voor schaamte).
  • Atmosferisch/Scenisch: Bevorderen context die door downstream lagen wordt gelexealiseerd als de emotie (bijvoorbeeld f115327 voor ontzag).
  • Suffix-Statistisch: Bevorderen morfologische suffixen (bijvoorbeeld -fully, -less) die voorkomen met emotievocabulaire.
• Compositorische Emoties: Sommige emoties (Vreugde, Aanbeding) in Llama zijn geen enkele kenmerken maar multi-kenmerk recepten (bijvoorbeeld Vreugde = Excitement Gate + Verheven Zelf; Aanbeding = Romance Gate + Verheven Zelf + SDT Modulator).
• Cross-Architecturale Asymmetrie: Onder strikte beoordeling ("uitdrukt voornamelijk") bereikt Llama 15/15 dekking op de 27-extensie, terwijl Gemma 11/15 bereikt. Onder zachte beoordeling ("plausibel opwekt") verbeteren beide, maar Llama-outputs noemen emoties direct terwijl Gemma ze oproept via imagery, wat leidt tot lagere inter-rater overeenstemming op Gemma-outputs onder strikte criteria.

4. Cross-Linguale Structuur

• Gates: Over het algemeen transfereren ze op rechterniveau over het Engels, Frans, Spaans en Duits. Gemma-outputs schakelen echter vaak naar het Engels op het moment van lexicaalisatie, terwijl Llama de trouw aan de moedertaal behoudt.
• Zelfs: Vertonen grotere heterogeniteit. Sommige zijn universeel, sommige zijn Engels-geankerd, en sommige injecteren vreemde vocabulaire gebaseerd op de prompttaal.

Betekenis en Claims

Het paper claimt aan te tonen dat op instructie getrainde LLM's literaire ambachtsprincipes coderen als een compositorische architectuur van scheidbare SAE-kenmerken.

• Operationalisering van Ambacht: Principes zoals "toon, vertel niet" en specifieke emotionele staten zijn geen emergente statistische correlaties, maar worden geoperationaliseerd als stuurbare assen in kenmerkruimte.
• Typologie: De auteurs stellen een typologie met vier klassen voor:
  1. Naming-gates: Lexische/affectieve emissie.
  2. Zelf-kenmerken: Registermarkers en culturele framing.
  3. Modulatoren: Continue registercontrole (bijvoorbeeld SDT).
  4. Compositorische Emoties: Emergent uit multi-kenmerk recepten.
• Methodologische Bijdrage: De triple-validatiepijplijn wordt gepresenteerd als een canonieke methode voor het identificeren van naming-gates, capable om kenmerkcatalogi te ontdekken in ongeveer 15 minuten op een enkele GPU, waardoor de noodzaak voor correlatief mining op trillioenen tokens wordt vermeden.
• Literaire Oorsprongshypothese: De auteurs suggereren (zonder te bewijzen) dat deze compositorische architectuur een geïnternaliseerd spoor kan zijn van het literaire subset van het pretraining-corpus, inclusief zowel fictie als expliciete ambachtsinstructie.

Het paper blijft bescheiden, noteren dat hoewel de architectuur compositorisch is, specifieke kenmerken rollen kunnen verschuiven afhankelijk van context, en dat de huidige bevindingen beperkt zijn tot twee architecturen en vier talen. Het werk wordt gepositioneerd als een fundament voor verder empirisch onderzoek naar de mechanische basis van literair ambacht in LLM's.