Sintesi Tecnica: Decomposizione di come il prompting orienta il comportamento

Definizione del Problema

I prompt di istruzione consentono ai Large Language Models (LLM) e ai Vision-Language Models (VLM) di alterare il proprio comportamento al momento dell'inferenza senza aggiornamenti dei pesi. Sebbene sia stabilito che i prompt ristrutturino le rappresentazioni interne, la natura meccanicistica specifica di questa trasformazione rimane poco chiara. La letteratura esistente ha caratterizzato questi cambiamenti attraverso metriche scalari (ad esempio, similarità rappresentazionale, capacità del manifold) o ha dimostrato che operatori ingegnerizzati a bassa complessità (ad esempio, vettori additivi, rotazioni) possono orientare il comportamento. Tuttavia, esiste una lacuna nella comprensione della classe di trasformazione matematica che avviene naturalmente quando un'istruzione cambia. In particolare, non è noto se i cambiamenti indotti dal prompt siano meglio spiegati da semplici traslazioni, trasformazioni rigide, miscelazione affine o non linearità complesse, e se tali trasformazioni guidino causalmente i cambiamenti comportamentali osservati.

Metodologia

Gli autori introducono un framework di decomposizione geometrica nidificata per analizzare come i prompt rimodellano la geometria rappresentazionale. L'approccio principale consiste nel trattare il prompting come una trasformazione del manifold rappresentazionale per il contenuto che segue il prompt.

1. Gerarchia Geometrica Nidificata

Per un dato modello, livello, dataset e coppia di prompt (Prompt Sorgente $A$ e Prompt Target $B$), gli autori adattano una sequenza di mappe sempre più espressive e invarianti rispetto allo stimolo $f: \mathbb{R}^D \to \mathbb{R}^D$ che allineano gli stati nascosti di $A$ a quelli di $B$. La gerarchia consiste in cinque classi di trasformazione strettamente nidificate:

1. Traslazione ($F_T$): Un semplice spostamento della media ($x + b$).
2. Trasformazione Rigida con Scaling Uniforme ($F_{O_u}$): Rotazione/riflessione e scaling uniforme ($b + c(x-a)Q$).
3. Trasformazione Rigida con Scaling per Asse ($F_{O_a}$): Permette lo scaling indipendente degli assi allineati ($b + (x-a)QD$).
4. Trasformazione Affine ($F_L$): Miscelazione lineare generale più traslazione ($b + (x-a)M$).
5. Trasformazione Non Lineare ($F_N$): Un Multi-Layer Perceptron (MLP) condiviso ($b + g_\theta(x-a)$).

2. Metriche di Valutazione

Il framework valuta queste trasformazioni utilizzando tre famiglie di misure su stimoli non utilizzati in fase di training (held-out):

• Varianza Spiegata Incrementale ($\Delta R^2$): La varianza aggiuntiva nella rappresentazione del prompt target spiegata da ogni livello rispetto al precedente nella catena nidificata.
• Metriche di Geometria Rappresentazionale: Correlazione di Spearman tra la matrice di dissimilarità rappresentazionale (RDM) trasformata e la RDM del task target, insieme ai punteggi silhouette per misurare la separazione dei cluster.
• Intervento Causale: La mappa adattata viene applicata allo stato nascosto di un prompt sorgente in un singolo livello, sostituendo lo stato originale. Il modello prosegue quindi il passaggio in avanti (forward pass). L'output risultante viene valutato per rilevanza (indirizzamento dell'attributo target) e accuratezza (correttezza della risposta) rispetto alla verità di base (ground truth) del prompt target.

3. Setup Sperimentale

• Modelli: Tre LLM (OPT-2.7B, Llama3-8B-Instruct, Qwen3-8B) e tre VLM (BLIP-2, LLaVA-OneVision, Qwen3-VL).
• Dataset: Sei dataset (tre testuali: EmotionalStory, WritingStyle, Number; tre immagini: EmoSet, StyleTransfer, COCO) con strutture di attributi fattoriali per supportare confronti tra prompt cross-attributo e within-attributo.
• Coppie di Prompt: Sei gruppi che variano da coppie cross-attributo (es. argomento $\to$ emozione) a prompt sorgente irrilevanti.

Risultati Chiave

1. Il Prompt Rimodella la Geometria verso la Struttura del Task

I cambiamenti rappresentazionali indotti dal prompt crescono quasi monotonicamente con la profondità del livello. Fondamentalmente, la geometria rappresentazionale del prompt target si allinea sempre più bene con la struttura del task (misurata tramite correlazione RDM e punteggi silhouette) all'aumentare della profondità, separandosi chiaramente dal prompt sorgente negli strati più profondi.

2. Le Mappe a Bassa Complessità Spiegano la Maggior Parte della Varianza

In tutti i modelli e dataset, la traslazione costituisce la quota maggiore del cambiamento rappresentazionale indotto dal prompt, dominando nei primi livelli. Le trasformazioni rigide con scaling uniforme forniscono il contributo significativo successivo.

• Le trasformazioni affini sono il primo livello in grado di recuperare quasi completamente la geometria del task del prompt target e produrre i corrispondenti guadagni nell'accordo comportamentale.
• Le trasformazioni non lineari forniscono il recupero più forte ma offrono rendimenti decrescenti rispetto alle mappe affini; il salto da una trasformazione rigida con scaling per asse ad una affine è più significativo rispetto al salto da una affine a una non lineare.

3. Strategie di Routing Specifiche per Modello e Task

• Differenze tra Modelli: OPT-2.7B fa affidamento maggiormente su componenti di rotazione, riflessione e non linearità rispetto a Llama3 e Qwen3, che sembrano utilizzare "codici di istruzione" a bassa dimensionalità (dominati dalla traslazione).
• Differenze tra Coppie di Prompt: Specifiche coppie di prompt (es. query sì/no) fanno affidamento più su rotazioni e trasformazioni affini rispetto a coppie aperte.
• Dipendenza dalla Profondità: La traslazione domina nei primi livelli, mentre i livelli a maggiore complessità (affine, non lineare) contribuiscono di più nei livelli medi-profondi.

4. Validazione Causale

Gli interventi causali confermano che semplicemente traslare lo stato nascosto può orientare sostanzialmente il comportamento. Tuttavia, le trasformazioni affini sono la soglia critica per il recupero sia della geometria rappresentazionale del target che dell'alta accuratezza comportamentale. Ciò suggerisce che la miscelazione lineare cross-dimensionale è un meccanismo chiave per riorganizzare le rappresentazioni verso il task istruito.

Significato e Rivendicazioni

Il paper sostiene di fornire un framework generale per decomporre i cambiamenti della geometria indotti dal prompt in componenti geometriche interpretabili. La scoperta principale è che l'effetto del prompting di istruzione può essere ampiamente compreso come una trasformazione affine della rappresentazione del contenuto.

• Insight Meccanicistico: Gli autori sostengono che, sebbene la traslazione faccia "la maggior parte del lavoro" nello spostamento della rappresentazione, la rotazione e lo shearing (componenti affini) correggono la componente strutturata residua necessaria per l'allineamento al task.
• Interpretabilità: Quantificando il contributo di ogni livello di trasformazione, il framework rivela come i modelli instradino la struttura rilevante per il task. Suggerisce che il prompting naturale è implementato attraverso trasformazioni a bassa complessità nello spazio delle attivazioni, piuttosto che richiedere una ristrutturazione non lineare complessa.
• Limitazioni: Gli autori notano esplicitamente che la loro analisi è limitata a prompt di istruzione zero-shot e non valuta dimostrazioni few-shot, soft prompt o il condizionamento di contesti lunghi. L'intervento è limitato a un singolo livello e un singolo token.

Il lavoro si posiziona non come un metodo per progettare nuovi operatori di steering, ma come uno strumento diagnostico per comprendere la natura geometrica del prompting naturale, suggerendo che le conseguenze operative del prompting sono concentrate nella struttura fine residua (rotazione e piccole parti non lineari) dopo la primaria traslazione.