Prism-$\Delta$: Differential Subspace Steering for Prompt Highlighting in Large Language Models

1. Il Problema: Prompt Highlighting e Limiti delle Metodi Esistenti

Il Prompt Highlighting è il compito di istruire un Large Language Model (LLM) a dare priorità a specifiche porzioni di testo (token evidenziati) durante la generazione, specialmente in scenari di conflitto informativo o recupero di informazioni a lungo contesto (es. "Lost-in-the-Middle").

I metodi esistenti (come PASTA, SPA, SEKA) affrontano questo problema intervenendo esclusivamente sul canale di routing (le rappresentazioni Key), che controlla dove il modello guarda. Tuttavia, l'output dell'attenzione nei Transformer dipende anche dal canale dei contenuti (le rappresentazioni Value), che determina quale informazione viene trasmessa.
I metodi attuali lasciano inutilizzato il segnale informativo presente nel canale Value, limitando l'efficacia e spesso degradando la fluidità del testo generato quando si forza l'attenzione.

2. Metodologia: PRISM-∆

L'autori propongono PRISM-∆ (Projection-based Relevance-Informed Steering Method), un framework che steers (guida) simultaneamente sia il canale Key che quello Value, utilizzando un approccio basato sull'apprendimento di sottospazi discriminativi.

A. Decomposizione della Covarianza Incrociata Differenziale

Invece di analizzare separatamente le rappresentazioni positive (contesto + domanda rilevante) e negative (contesto + domanda irrilevante), PRISM-∆ calcola la covarianza incrociata differenziale:
$$\Omega_\Delta = H^\top(H^+ - H^-)/N = \Omega^+ - \Omega^-$$
Dove $H^+$ e $H^-$ sono le rappresentazioni (Key o Value) estratte in condizioni contrastive.

• Vantaggio Teorico: La decomposizione SVD (Singular Value Decomposition) di $\Omega_\Delta$ estrae le direzioni che massimizzano l'energia discriminativa tra le condizioni positive e negative, eliminando automaticamente le direzioni condivise (rumore strutturale comune a entrambi i contesti). Questo risolve il problema della ridondanza presente nei metodi che usano SVD indipendenti.

B. Apprendimento del Sottospazio Discriminativo

Per ogni testa di attenzione $(\ell, h)$, il metodo:

1. Calcola la matrice di proiezione $P$ utilizzando i vettori singolari sinistri superiori di $\Omega_\Delta$.
2. Definisce una misura di discriminabilità ($D_{\ell,h}$) basata sulla norma della differenza tra le rappresentazioni positive e negative.

C. Ponderazione Adattiva delle Teste (Softplus)

Non tutte le teste di attenzione sono ugualmente utili. PRISM-∆ assegna un peso continuo a ogni testa utilizzando la funzione Softplus:
$$w_{\ell,h} = \text{softplus}(D_{\ell,h} - \delta_{min})$$

• Questo permette di attenuare le teste "rumorose" (bassa discriminabilità) senza disattivarle completamente (come farebbe una soglia binaria), permettendo a teste "deboli ma utili" di contribuire con forza ridotta.

D. Steering Dual-Canale

Durante l'inferenza, per i token evidenziati, vengono modificati sia i vettori Key ($k'$) che Value ($v'$):
$$k'_j = k_j + g_K \cdot w^K \cdot P_K \cdot k_j$$
$$v'_j = v_j + g_V \cdot w^V \cdot P_V \cdot v_j$$
Dove $g_K$ e $g_V$ sono scalari di guadagno. La modifica simultanea cattura non solo il guadagno di routing, ma anche il guadagno di contenuto e il guadagno incrociato, migliorando la coerenza della generazione.

3. Contributi Chiave

1. Decomposizione Differenziale: Introduzione di un metodo per estrarre direzioni discriminative massime eliminando le direzioni condivise, garantendo teoricamente l'assenza di ridondanza strutturale.
2. Steering Dual-Canale: Estensione del controllo dell'attenzione al canale Value, dimostrando che questo canale trasporta segnali discriminativi complementari a quelli del canale Key (che raggiungono picchi in layer diversi).
3. Ponderazione Continua: Sostituzione delle soglie binarie con pesi continui (Softplus) per una gestione più robusta delle teste di attenzione, riducendo la sensibilità all'iperparametro di soglia.
4. Efficienza: Compatibilità con FlashAttention e overhead di memoria trascurabile, rendendo il metodo scalabile per contesti lunghi.

4. Risultati Sperimentali

Il metodo è stato valutato su 4 benchmark (BiasBios, CounterFact, Pronoun Change, Lost-in-the-Middle) e 5 modelli (famiglie Qwen3 e Gemma3).

• Prestazioni: PRISM-∆ eguaglia o supera il metodo migliore esistente (SEKA) in 19 su 20 configurazioni.
  • Guadagni relativi fino al +10.6% rispetto ai baselines.
  • Nel benchmark "Lost-in-the-Middle" (recupero a lungo contesto), supera il metodo migliore del +4.8%.
• Qualità della Generazione: L'uso del canale Value riduce drasticamente il costo di fluidità (fluency cost) rispetto ai metodi Key-only. PRISM-∆ mantiene una fluidità quasi pari al modello originale, mentre SEKA degrada significativamente la qualità del testo.
• Efficienza:
  • Latenza aumentata di soli 0.30 secondi (1.26x) rispetto al modello originale.
  • Memoria aggiuntiva trascurabile (+0.02 GB).
  • Compatibile con FlashAttention, a differenza di metodi precedenti come PASTA.
• Robustezza: Il metodo è meno sensibile alla scelta della soglia di discriminabilità ($\delta_{min}$) rispetto ai metodi basati su soglie binarie, grazie alla funzione Softplus.

5. Significato e Implicazioni

PRISM-∆ rappresenta un avanzamento significativo nella manipolazione dell'attenzione negli LLM:

• Cambiamento di Paradigma: Dimostra che ignorare il canale Value è un errore; il controllo simultaneo di "dove guardare" (Key) e "cosa dire" (Value) è essenziale per una guida precisa dell'attenzione.
• Separazione Funzionale: L'analisi rivela una specializzazione funzionale tra i layer: il canale Key domina nei layer intermedi (routing), mentre il canale Value diventa cruciale nei layer finali (contenuto).
• Scalabilità Pratica: Essendo a costo computazionale quasi nullo e compatibile con le ottimizzazioni moderne (FlashAttention), PRISM-∆ è immediatamente applicabile in scenari reali di recupero informazioni e allineamento, offrendo un controllo granulare senza i costi proibitivi di metodi multi-expert o addestramento fine.

In sintesi, PRISM-∆ risolve il problema del "prompt highlighting" trasformandolo da un semplice aggiustamento di routing a un processo di steering olistico che preserva la qualità del linguaggio mentre massimizza la rilevanza dell'informazione.