A Universal Vibe? Finding and Controlling Language-Agnostic Informal Register with SAEs

Probleemstelling

Grote Taalmodellen (LLMs) hebben de syntaxis en feitelijke kennis over talen heen uitstekend overgedragen. Er is echter een fundamentele onduidelijkheid over hoe deze modellen pragmatische registers (zoals informeel taalgebruik en straattaal) verwerken.

• De "Register Gap": Modellen worden getraind op gestandaardiseerde, formeel geëditte tekst, waardoor ze moeite hebben met dynamisch, sociaal contextafhankelijk taalgebruik.
• De Kernvraag: Verwerkt een meertalig LLM informeel register als geïsoleerde, taalspecifieke oppervlaktepatronen (bijv. specifieke woorden voor "cool" in het Engels vs. het Russisch), of heeft het een universeel, taalagnostisch abstract concept van "informele interactie" geïnternaliseerd?
• Huidige beperkingen: Bestaand onderzoek leunt vaak op oppervlakkige kenmerken of zwarte-doos classificatoren, waardoor de interne mechanismen die register onderscheiden, onzichtbaar blijven.

Methodologie

De auteurs gebruiken Sparse Autoencoders (SAEs) om de interne representaties van het model Gemma-2-9B-IT te ontleden. De aanpak bestaat uit drie pijlers:

1. Novel Dataset (Lexicale Controle):

   • Er is een dataset samengesteld voor drie typologisch verschillende talen: Engels, Hebreeuws en Russisch.
   • Cruciaal design: Elke doelterm is polysemisch (heeft zowel een letterlijke als een informele betekenis). Bijvoorbeeld, het woord "fire" kan letterlijk "brand" betekenen of informeel "geweldig".
   • Dit dwingt het model om het register uitsluitend te resolveren op basis van de pragmatische context, en niet op basis van de woordidentiteit of woordfrequentie.

2. Feature Extractie met SAEs:

   • De auteurs analyseren de residual stream-activaties bij specifieke token-posities.
   • Ze gebruiken SAEs om deze dichte activaties te decomponeren in een sparsere, interpreteerbare basis van 131.072 latent features.
   • Ze berekenen het differentiële activatiepatroon ($\Delta_i$) voor elke feature: hoe vaak activeert een feature bij slang-gebruik versus letterlijk gebruik?

3. Actiesturing (Activation Steering):

   • Om causaliteit te bewijzen (in plaats van alleen correlatie), construeren de auteurs stuurvectoren door de decoder-weights van de meest discriminerende features te middelen.
   • Tijdens inferentie worden deze vectoren injecteerd in de residual stream om de output te manipuleren. Een positieve $\alpha$ streeft naar informeel taalgebruik, een negatieve $\alpha$ naar formeel.

Belangrijkste Bijdragen

1. Methodologisch: Introductie van een lexicaal gecontroleerde, meertalige dataset met polysemische termen om pragmatisch register te isoleren van taalspecifieke bias.
2. Observationeel: Identificatie van een geometrisch coherente "informal register subspace" (een klein cluster van gedeelde features) in de latent space van het model, die sterker wordt in diepere lagen.
3. Causaal: Bewijs dat sturing met deze gedeelde features de formaliteit van de output causaal beïnvloedt en dit zero-shot overdraagt naar talen die niet in de trainingsdata voor feature-extractie zaten.

Resultaten

• Gedeelde Kern (Cross-Linguistic Core):

  • Hoewel veel informele signalen verspreid zijn over taalspecifieke features, werd een kleine, robuuste kern van 9 gedeelde features geïdentificeerd die in alle drie de talen (Engels, Hebreeuws, Russisch) voorkomen.
  • Deze gedeelde features vormen een geometrisch coherente cluster in de decoder-ruimte. Deze coherentie neemt toe in de diepere lagen van het model (Layer 20 vs. Layer 9).

• Causale Sturing:

  • Het toepassen van de stuurvectoren op de drie bron-talen resulteerde in een sterke, statistisch significante negatieve correlatie tussen de stuurcoëfficiënt ($\alpha$) en de formaliteitsscore (meer $\alpha$ = minder formeel).
  • De output bleef coherent en behield de doel-taal (92,5% taalbehoud).

• Zero-Shot Transfer:

  • De sturing werd getest op zes onbekende talen (Duits, Japans, Hindi, Thai, Georgisch, Amhaars) die volledig afwezig waren in de feature-extractie.
  • Resultaat: Alle zes de talen toonden een duidelijke, monotone afname in formaliteit bij het verhogen van $\alpha$. Dit bewijst dat het model een abstract, taalagnostisch concept van "informaliteit" heeft geleerd, dat niet afhankelijk is van specifieke woordenschat.

• Lexicale Readout:

  • Projectie van de gedeelde features naar de vocabulaire toonde een bias naar Engelse informele termen (bijv. "dude", "vibe"), wat suggereert dat de "taalagnostische" subspace mogelijk deels als een Engelstalig hub fungeert, maar wel effectief werkt voor andere talen.

Betekenis en Conclusie

Dit paper levert het eerste mechanistische bewijs dat meertalige LLMs informeel register niet slechts als oppervlakkige heuristieken of memorisatie van specifieke woorden behandelen, maar als een portabel, abstract pragmatisch concept.

• Implicaties voor Interpretability: Het toont aan dat SAEs effectief kunnen worden gebruikt om complexe, sociale concepten in neurale netwerken te isoleren en te manipuleren.
• Sociolinguïstiek: Het suggereert dat er een universele "in-group" signalering bestaat in de latent space van LLMs, die code-switching en dialectale variatie kan verklaren.
• Toekomst: De geïdentificeerde features bieden een nieuwe tool voor computergestuurde sociolinguïstiek en kunnen helpen bij het oplossen van de "register gap" door modellen beter te kalibreren voor menselijke, informele interactie.

Kortom: LLMs hebben een universele "vibe" geïnternaliseerd die ze kunnen toepassen op elke taal, zelfs die ze nooit expliciet hebben gezien in de context van informeel taalgebruik.