Predictive Memory Localization: Forecasting Selective Intervention Paths from Internal Signals

Sintesi Tecnica: Localizzazione Predittiva della Memoria (PML)

Definizione del Problema
Il controllo delle attivazioni (activation steering) permette ai ricercatori di controllare il comportamento dei modelli linguistici iniettando rappresentazioni interne localizzate in specifici strati. Tuttavia, la letteratura suggerisce una lacuna critica: sebbene la localizzazione identifichi dove risiede l'informazione, non garantisce che una specifica direzione ammetta un "regime operativo selettivo". Una direzione può modificare con successo un comportamento target a un'intensità di intervento specifica, danneggiando simultaneamente vicini semantici o capacità non correlate a un'altra intensità, oppure può non produrre alcun effetto pulito a nessuna intensità. I metodi attuali spesso si affidano a evidenze di localizzazione statica o interventi a intensità fissa, fallendo nel prevedere se esiste un coefficiente selettivo utilizzabile per un dato record, direzione e strato. Il problema centrale è distinguere le direzioni che offrono leva da quelle che causano danni collaterali attraverso un percorso di intervento misurato.

Metodologia
Gli autori introducono la Localizzazione Predittiva della Memoria (PML), un framework che tratta il percorso di intervento su griglia misurata come l'oggetto predittivo della localizzazione della memoria.

1. Percorsi di Intervento su Griglia Misurata:
   PML definisce un percorso condizionato dal record attraverso una griglia predefinita di intensità di intervento ($\alpha$). Per ogni record $i$, direzione $v$ e strato $\ell$, il sistema misura:

   • Movimento del Target ($\Delta T$): Cambiamenti nel margine di risposta per i comportamenti desiderati.
   • Danno Collaterale: Cambiamenti nei margini del vicino semantico ($\Delta N$) e della capacità generale ($\Delta C$).
   • Calibrazione Casuale: Soglie separate al 95° percentile ($\tau_T, \tau_N, \tau_C$) sono stabilite utilizzando direzioni gaussiane casuali per definire cosa costituisce un effetto target significativo o un danno.
   • Risultati: Il sistema registra quattro eventi binari a coefficienti più forti tenuti separati: Target-any (Target-qualunque), Neighbor Damage (Danno al vicino), Capability Damage (Danno alla capacità) e Clean-any (Target senza danni).

2. Segnali Predittivi:
   PML prevede questi risultati utilizzando una gerarchia di evidenze:

   • Baseline e Metadati ($B+M$): Proprietà del record e configurazione del modello.
   • Localizzazione Statica ($L$): Caratteristiche derivate da separazione di classe, proiezione e salienza senza intervento.
   • Geometria Supervisionata ($G$): Caratteristiche derivate da Recursive Feature Machines (RFM) e Average Gradient Outer Product (AGOP), inclusi concentrazione spettrale e allineamento.
   • Risposta a Bassa Dose ($R$): Una misurazione causale "disgiunta dalla forza" effettuata a un'intensità di intervento debole ($|\alpha| = 0.1$). Questa funge da diagnostica dinamica economica.

3. Politica Decisionale:
   Un selettore consapevole del rischio utilizza queste previsioni per scegliere un coefficiente specifico o astenersi. La funzione di utilità premia il movimento del target e penalizza la diminuzione dei margini collaterali. La politica mira a massimizzare l'utilità evitando scansioni dense dei coefficienti.

Contributi Chiave

• Definizione di un Percorso Calibrato Casualmente: Il documento definisce un percorso misurato su griglia che registra congiuntamente la leva del target, il danno al vicino semantico, il danno alla capacità e i coefficienti puliti per ogni combinazione record-direzione-strato.
• Separazione tra Segnali Statici e Causali: Lo studio dimostizza che la localizzazione statica e la geometria supervisionata sono priori predittivi deboli. Al contrario, una risposta a bassa dose ($R$) disgiunta dalla forza è il segnale dominante per prevedere i risultati a intensità più forti e disgiunte.
• Forecasting Azionabile: PML collega la previsione all'azione tramite una politica consapevole del collaterale tenuta separata. Questa politica seleziona un coefficiente o si astiene, fornendo una prova di concetto per ridurre il costo computazionale delle valutazioni dense degli interventi.

Risultati Sperimentali
Lo studio valuta 3.000 record congelati attraverso nove dataset e quattordici domini, generando 30.000 percorsi distinti. I risultati sono confermati su tre modelli base con norma residua corrispondente (Qwen3-1.7B, Qwen3.5-2B, Ministral-3-3B).

• Performance della Direzione: Le direzioni apprese (specificamente RFM/AGOP allo strato 7) superano significativamente i controlli casuali. Nello studio primario, RFM/AGOP ha raggiunto un'incidenza del 13,1% per Target-any e del 12,3% per Clean-any, superando i baseline casuali rispettivamente di 3,6 e 3,4 punti percentuali.
• Gerarchia Predittiva: Le caratteristiche di localizzazione statica aggiungono poco valore predittivo oltre ai metadati di base. La risposta a bassa dose ($R$) a $|\alpha|=0.1$ è il predittore più forte per gli esiti a $|\alpha| \in \{0.25, 0.5\}$.
• Robustezza del Modello: La gerarchia predittiva (Bassa dose > Statica) si replica in tutti e tre i modelli base, con punteggi macro AUROC da record-held-out compresi tra 0,801 e 0,828.
• Utilità Decisionale: Un selettore guidato da predittori migliora l'utilità e riduce significativamente il danno al vicino semantico rispetto a una politica a forza fissa. Riduce la necessità di valutazione da una scansione densa (26 coefficienti) a circa 2,55 valutazioni (due prove deboli più l'azione finale).

Significatività e Rivendicazioni
Il documento afferma che PML trasforma la localizzazione della memoria da un'affermazione statica a una previsione falsificabile di esiti selettivi a livello di margine. La scoperta centrale è che una piccola risposta causale è un predittore più utile di un comportamento selettivo successivo rispetto alla sola geometria di localizzazione statica.

Gli autori sottolineano che la localizzazione non implica automaticamente la controllabilità; una direzione può essere ben localizzata ma mancare di un regime operativo selettivo. Accoppiando la localizzazione con una misurazione causale economica, PML identifica quali direzioni ammettono coefficienti utilizzabili e quali richiedono l'astensione. Il lavoro non pretende di risolvere l'editing generale del modello o di garantire la sicurezza rispetto a tutti i potenziali effetti collaterali a valle, ma piuttosto fornisce un framework rigoroso e consapevole del rischio per selezionare le intensità di intervento basandosi sulla topologia del percorso misurato.