Riepilogo Tecnico: Primitive Letterarie Compositive nei LLM Addestrati con Istruzioni

Enunciato del Problema

I grandi modelli linguistici (LLM) addestrati su corpora di scala web sono esposti alla scrittura letteraria, inclusi principi artigianali canonici come "mostra, non raccontare" (SDT), l'ostranenie (defamiliarizzazione) e tassonomie emotive specifiche. Sebbene recenti lavori di interpretabilità meccanicistica abbiano identificato con successo caratteristiche concettuali (ad esempio, oggetti, personaggi) utilizzando Autoencoder Sparsi (SAE), persiste un divario nell'identificare caratteristiche compositive: primitive separabili e guidabili che costituiscono la scrittura come artigianato. La domanda centrale è se i LLM addestrati con istruzioni interiorizzino questi principi letterari come assi di caratteristiche distinti e controllabili o semplicemente come correlazioni statistiche diffuse che non possono essere affrontate in modo pulito.

Metodologia

Gli autori impiegano un design di corpus minimo contrastivo combinato con una pipeline di validazione a tre stadi per isolare e verificare le caratteristiche SAE in due modelli addestrati con istruzioni: Llama 3.1 8B-Instruct (utilizzando SAE TopK) e Gemma 2 9B-IT (utilizzando SAE JumpReLU).

1. Costruzione dei Dati

Invece di estrarre dati da grandi corpora, gli autori hanno creato manualmente piccoli dataset contrastivi per isolare assi specifici:

• Corpus Mostra-non-Racconta (SDT): 60 scene con tre condizioni (Libre, Anti-Cliché, Istruito SDT).
• Corpus Emozioni: 60 scene che coprono 12 emozioni Cowen-Keltner, estese a 75 scene per le rimanenti 15 emozioni nella tassonomia a 27 categorie.
• Coppie Minime Assi Letterari: 24 coppie che contrappongono il Punto di Vista Profondo (Discorso Indiretto Libero) e l'Ostranenie (Defamiliarizzazione).

2. La Pipeline di Validazione Triplice

Per evitare i falsi positivi comuni nella validazione a stadio singolo, gli autori propongono una pipeline sequenziale:

• Stadio 1: Proiezione Logit-Lens: Proietta la direzione del decoder SAE attraverso la matrice di unembedding per identificare i token promossi in alto. Questo filtra candidati lessicali o atmosferici senza richiedere la generazione.
• Stadio 2: LLM-Rate: Un singolo giudice LLM valuta la purezza semantica dei primi 25 token rispetto a una definizione target. Questa fase include una variante "consapevole della deriva" per penalizzare i candidati che tendono verso attrattori di interferenza noti (ad esempio, la noia che deriva verso la tristezza).
• Stadio 3: Validazione Causale con 5 Giudici LLM: I candidati migliori sono validati causalmente guidando la generazione a coefficienti calibrati ($\alpha$) su più semi. Gli output sono classificati da un panel di cinque giudici LLM utilizzando template a scelta forzata.
  • Controlli: Vengono utilizzati controlli di caratteristiche casuali per rilevare "attrattori del giudice" (ad esempio, output incoerenti erroneamente etichettati come "confusione").

3. Convenzioni di Guida

La guida viene eseguita tramite hook in avanti sui flussi residui di profondità intermedia. Gli autori tengono esplicitamente conto delle differenze architetturali: il JumpReLU di Gemma impone righe del decoder a norma unitaria, mentre il TopK di Llama no. Di conseguenza, i coefficienti di guida sono riportati insieme alle norme del decoder per garantire la riproducibilità.

Contributi Chiave e Risultati

1. Mostra-non-Racconta come Singola Caratteristica

Il documento identifica una singola caratteristica SAE in ciascuna architettura che controlla l'inversione di registro dalla prosa "raccontata" alla prosa "mostrata":

• Llama: Caratteristica f32213 (Livello 15).
• Gemma: Caratteristica f15097 (Livello 20).
  Guidare queste caratteristiche a $\alpha$ calibrato produce output ancorati ai sensi e focalizzati sul corpo senza nominare le emozioni. Notabilmente, f32213 in Llama agisce come un ibrido, funzionando sia come modulatore SDT sia come un registro "corporeo-letterario" di sé, a seconda del contesto del prompt.

2. La Caratteristica di Sé Caricata da RLHF

Entrambi i modelli contengono un cluster di 11 caratteristiche di sé. Una caratteristica in ciascun cluster è pesantemente caricata da segnali di Apprendimento per Rinforzo da Feedback Umano (RLHF):

• Llama: f96419 (Istituzionale Pragmatico/AI Assistente).
• Gemma: f70443.
• Comportamento: Una guida positiva intensifica la persona istituzionale "AI Assistente". Una guida negativa da sola non rilascia contenuti affettivi soppressi; invece, mantiene il registro di negazione fino a quando una soppressione profonda non causa il collasso.
• Rilascio Compositivo: I contenuti affettivi (prima persona lirica) vengono rilasciati solo attraverso una guida congiunta: sopprimendo il sé caricato da RLHF (f96419 negativo) mentre si amplifica un sé "riverente-grato" (f74037 positivo). Questo dimostra che il rilascio affettivo è compositivo, non una proprietà di una singola caratteristica.

3. Copertura 27/27 delle Emozioni Cowen-Keltner

Gli autori costruiscono un catalogo di "porte di denominazione" (caratteristiche che promuovono token lessicali di affetti target) e raggiungono la copertura completa della tassonomia a 27 emozioni Cowen-Keltner in Llama, e 23/27 in Gemma.

• Eterogeneità Meccanicistica: Le porte di denominazione non sono uniformi. Si dividono in tre classi:
  • Lessicali: Promuovono direttamente parole emotive (ad esempio, f108100 per l'imbarazzo).
  • Atmosferiche/Sceniche: Promuovono contesti che i livelli a valle lessicalizzano come l'emozione (ad esempio, f115327 per l'ammirazione).
  • Statistiche dei Suffix: Promuovono suffissi morfologici (ad esempio, -mente, -less) che co-occorrono con il vocabolario emotivo.
• Emozioni Compositive: Alcune emozioni (Gioia, Adorazione) in Llama non sono caratteristiche singole ma ricette multi-caratteristica (ad esempio, Gioia = Porta dell'Entusiasmo + Sé Riverente; Adorazione = Porta del Romanzo + Sé Riverente + Modulatore SDT).
• Asimmetria Cross-Architetturale: Sotto una valutazione rigorosa ("esprime principalmente"), Llama raggiunge una copertura di 15/15 sull'estensione a 27, mentre Gemma raggiunge 11/15. Sotto una valutazione flessibile ("evoca plausibilmente"), entrambi migliorano, ma gli output di Llama nominano direttamente le emozioni mentre Gemma le evoca attraverso immagini, portando a una minore accordo inter-valutatore sugli output di Gemma secondo criteri rigorosi.

4. Struttura Cross-Linguistica

• Porte: Generalmente si trasferiscono a livello di giudice tra inglese, francese, spagnolo e tedesco. Tuttavia, gli output di Gemma spesso cambiano codice verso l'inglese nel momento della lessicalizzazione, mentre Llama mantiene la fedeltà alla lingua nativa.
• Sé: Mostrano una maggiore eterogeneità. Alcuni sono universali, alcuni sono ancorati all'inglese e altri iniettano vocabolario straniero in base alla lingua del prompt.

Significato e Affermazioni

Il documento afferma di dimostrare che i LLM addestrati con istruzioni codificano i principi dell'artigianato letterario come una architettura compositiva di caratteristiche SAE separabili.

• Operazionalizzazione dell'Artigianato: Principi come "mostra, non raccontare" e stati emotivi specifici non sono correlazioni statistiche emergenti, ma sono operazionalizzati come assi guidabili nello spazio delle caratteristiche.
• Tipologia: Gli autori propongono una tipologia a quattro classi:
  1. Porte di Denominazione: Emissione lessicale/affettiva.
  2. Caratteristiche di Sé: Marcatori di registro e inquadramento culturale.
  3. Modulatori: Controllo continuo del registro (ad esempio, SDT).
  4. Emozioni Compositive: Emergenti da ricette multi-caratteristica.
• Contributo Metodologico: La pipeline di validazione triplice è presentata come un metodo canonico per identificare le porte di denominazione, capace di scoprire cataloghi di caratteristiche in circa 15 minuti su una singola GPU, evitando la necessità di mining correlazionale su trilioni di token.
• Ipotesi di Origine Letteraria: Gli autori suggeriscono (senza dimostrarlo) che questa architettura compositiva potrebbe essere una traccia interiorizzata del sottoinsieme letterario del corpus di pre-addestramento, includendo sia la fiction sia istruzioni esplicite sull'artigianato.

Il documento rimane modesto, notando che, sebbene l'architettura sia compositiva, caratteristiche specifiche possono cambiare ruolo a seconda del contesto, e che i risultati attuali sono limitati a due architetture e quattro lingue. Il lavoro è posizionato come fondamento per ulteriori ricerche empiriche sulla base meccanicistica dell'artigianato letterario nei LLM.