Technische Samenvatting: Het Meten, Lokaliseren en Ablateren van Alignment-signaturen in LLM's

Probleemstelling

Afgestemde taalmodellen (LLM's) produceren tekst met een herkenbare "AI-achtige" stijl, gekenmerkt door gepolijste formuleringen, het afwegen van standpunten (hedging), bevestigende zinnen en een zeer regelmatige structuur. Hoewel deze patronen duidelijk aanwezig zijn op het niveau van de output, blijft het onduidelijk of ze worden geïntroduceerd of versterkt door post-training (bijv. instructie-tuning, RLHF) en of ze overeenkomen met een gelokaliseerde interne representatie binnen het model. Eerdere studies hebben post-training effecten gedragsmatig gekarakteriseerd (bijv. veranderingen in diversiteit, sycofantie, verbositeit), maar het is onbekend of de stilistische verschuiving zelf wordt gemedieerd door een specifieke, identificeerbare component in de residual stream van het model die waarvoor causaal kan worden geïntervenieerd.

Methodologie

1. Het Meten van de Post-Training Verschuiving

Om de effecten van post-training te isoleren, vergelijken de auteurs drie tekstbronnen onder gelijke condities:

1. Menselijke Tekst: Originele voortzettingen uit door mensen geschreven bronnen.
2. Base Model Generaties: Outputs van het voorgetrainde basismodel.
3. Aligned Model Generaties: Outputs van het post-getrainde tegenhanger.

Cruciaal is dat alle generaties worden getriggerd door dezelfde door mensen geschreven prefixes om variantie in de prompt te controleren. De studie hanteert twee hypothesen:

• H1 (Human-Corpus Affiniteit): Afgestemde generaties zouden een lagere verbatim affiniteit moeten hebben met een menselijke referentiecorpus in de stijl van de pre-training (RedPajama+) vergeleken met base-generaties. Dit wordt gemeten met behulp van overlap density en Coverage@10 via een infini-gram index.
• H2 (AI-Detectie Zichtbaarheid): Afgestemde generaties zouden hogere scores moeten krijgen van AI-tekstdetectoren dan base-generaties. De studie behandelt de output van detectoren als signalen van stilistische scheidbaarheid in plaats van grondwaarheid-labels voor auteurschap.

2. PASTA: Post-training Alignment Signature Targeted Ablation

Om te testen of deze stilistische verschuiving wordt gemedieerd door een gelokaliseerd intern kenmerk, introduceren de auteurs PASTA, een training-vrije interventiemethode:

• Signature Estimatie: Voor een gegeven laag $\ell$ berekent de methode de gemiddelde residual stream activaties voor zowel het afgestemde model ($\mu^{align}_\ell$) als het base model ($\mu^{base}_\ell$) over een kleine kalibratieset van prompts. De kandidaat post-training richting wordt gedefinieerd als het genormaliseerde verschil:
  $$v^{PASTA}_\ell = \frac{\mu^{align}_\ell - \mu^{base}_\ell}{\|\mu^{align}_\ell - \mu^{base}_\ell\|_2}$$
• Laag Selectie: Een detector-gestuurde sweep evalueert welke laag-richting ($v^{PASTA}_\ell$) de laagste AI-detectiegraad oplevert wanneer deze geablateerd wordt op een kalibratieset.
• Ablatie: Tijdens de inferentie wordt de geselecteerde richting uit de residual stream geprojecteerd bij write sites (block input, attention output, MLP output) met behulp van de operatie:
  $$\text{Ablate}_\alpha(x; v) = x - \alpha(x^\top v)v$$
  waarbij $\alpha$ de ablatie-sterkte is (standaard $\alpha=1$).

Belangrijkste Resultaten

1. Post-Training Verschuift Stijl weg van de Menselijke Corpus

• H1 Bevestiging: Over 5 domeinen (wetenschappelijke abstracts, creatieve fictie, opiniestukken, college-essays, nieuws) vertonen afgestemde generaties een significant lagere overlap density en Coverage@10 met de menselijke referentiecorpus vergeleken met base-generaties. De volgorde is consistent Mens > Base > Aligned.
• H2 Bevestiging: Afgestemde generaties worden aanzienlijk vaker als AI-gegenereerd gemarkeerd dan base-generaties door meerdere detectoren (bijv. Pangram, GPTZero). Bijvoorbeeld, Pangram markeerde 98,5% van de afgestemde outputs versus 9,2% van de base-outputs. Dit suggereert dat post-training detector-zichtbare regulariteiten introduceert die verder gaan dan de distributie van het base model.

2. PASTA Vermindert Detecteerbaarheid

• Effectiviteit: Het toepassen van PASTA op 11 afgestemde modellen vermindert de AI-detectiegraad aanzienlijk. Voor de Pangram-detector (gebruikt voor laag-selectie) waren de reducties groter dan 73 procentpunten voor 8 van de 11 modellen, waarbij sommige meer dan 98 punten overschreden (bijv. Gemma-2-9B, Qwen2.5-32B).
• Transferabiliteit: De reductie in detecteerbaarheid wordt overgedragen naar detectoren die niet gebruikt zijn voor de laag-selectie (bijv. ImBD, RAIDAR, Binoculars), wat suggereert dat de geëxtraheerde richting een brede post-training signaal vangt in plaats van te overfitten op de cues van een specifieke detector.
• Specificiteit: Willekeurige orthogonale richtingen slaagden er niet in het effect te reproduceren, wat bevestigt dat de reductie specifiek is voor de geleerde alignment-signature.

3. Behoud van Generatiekwaliteit

• Kwaliteitsmetrieken: Gebruikmakend van een LLM-judge (Claude Sonnet 4.6), behouden PASTA-geablateerde generaties een substantiële relevantie en vloeiendheid vergeleken met base-modellen, hoewel ze iets minder gepolijst zijn dan de originele afgestemde generaties.
• Trade-offs: Kwalitatieve analyse laat zien dat PASTA-generaties directer worden, minder retorische of Markdown-achtige structuren gebruiken en de "gepolijste" alignment-stijl formuleringen verminderen. Hoewel relevantie grotendeels behouden blijft, kan agressieve ablatie ($\alpha > 1$) de vloeiendheid en coherentie aantasten, wat wijst op een detecteerbaarheid-kwaliteit frontiere.

Betekenis en Claims

Het artikel claimt aan te tonen dat de "AI-achtige" stilistische effecten van post-training niet louter output-niveau artefacten zijn, maar worden gemedieerd door een meetbare, gelokaliseerde representationele signature in de residual stream.

• Meetbaar en Lokaliseerbaar: De studie levert bewijs dat post-training een concreet voetafdruk achterlaat in de interne activaties van het model die kan worden geschat via afgestemde-base contrasten.
• Causale Interventie: Door PASTA te introduceren, laten de auteurs zien dat deze signature causaal getest en verwijderd kan worden via activatie-ablatie zonder het model opnieuw te trainen.
• Herformulering van Detectie: De resultaten suggeren dat AI-detectoren deels kunnen vertrouwen op alignment-geïnduceerde stilistische regulariteiten (gepolijst, afwegend, gestructureerd) in plaats van uitsluitend op machine-auteurschap. Bij gevolg is het doel niet noodzakelijkerwijs het ontwijken van detectie, maar het bereiken van "betere alignment" die veiligheid en instructie-opvolging behoudt zonder de stilistische diversiteit te laten instorten in een smal, herkenbaar patroon.

De auteurs merken expliciet de beperkingen op: de definitie van "AI-achtige stijl" leunt op proxies (corpus affiniteit en detector scores), de attributie is gericht op de post-training stack als geheel in plaats van specifieke ingrediënten (bijv. SFT vs. DPO), en de mechanistische verklaring is gedeeltelijk (lineaire ablatie kan niet alle niet-lineaire of gedistribueerde componenten van de stijl vatten).