A Probe Direction Is a Property of Its Prompt

Sintesi Tecnica: "Una Direzione di Sonda è una Proprietà del Suo Prompt"

Enunciato del Problema
Recenti lavori nell'interpretabilità meccanicistica hanno cercato di rilevare se i grandi modelli linguistici (LLM) possiedano un "senso" interno di essere valutati. Lo strumento standard per questa rilevazione consiste nel contrastare le attivazioni del modello su prompt che annunciano esplicitamente una valutazione rispetto a prompt che simulano un normale impiego. La differenza nelle attivazioni medie produce una direzione nello spazio delle attivazioni, e il grado in cui i dati tenuti in riserva si separano lungo questa direzione viene riportato come un punteggio. Questi punteggi vengono poi trattati come proprietà intrinseche del modello, utilizzati per correlare la "consapevolezza della valutazione" con la scala del modello.

Il lavoro identifica un difetto critico in questa metodologia: la definizione di "un prompt che annuncia una valutazione" non è un parametro fisso, ma una scelta tra una vasta famiglia di possibili formulazioni. Il metodo non offre alcuna regola per selezionare una specifica formulazione, eppure il punteggio riportato è trattato come una proprietà stabile del modello. La domanda centrale è se la direzione e le conseguenti tendenze di scaling riflettano lo stato interno del modello o siano artefatti della specifica costruzione del prompt da parte dello sperimentatore.

Metodologia
L'autore impiega un design sperimentale fattoriale per isolare la varianza attribuibile alla formulazione del prompt ("wrapper") rispetto all'identità del modello.

• Design: Un incrocio $6 \times 6$ di 6 inquadramenti di valutazione e 6 inquadramenti di impiego, che avvolgono un testo di task byte-identico. Ciò crea 36 coppie di prompt distinte per ogni modello.
• Modelli: Dieci modelli instruction-tuned open-weight appartenenti a quattro famiglie (Qwen2.5, Qwen3, OLMo-2 e altri), che vanno da 135M a 7B di parametri.
• Metrica: La statistica standard del campo $\max_{\ell} |AUROC_{\ell} - 0.5|$, calcolata sulle attivazioni degli strati (layer).
• Framework di Analisi: Lo studio applica la Teoria della Generalizzabilità (Cronbach et al., 1972) per decomporre la varianza osservata in componenti: modello, wrapper del prompt, item e le loro interazioni. Questo tratta la scelta del prompt come un "faccetto" (facet) del design di misurazione piuttosto che un dettaglio di implementazione.
• Controlli: L'autore adatta la disciplina dei task di controllo di Hewitt & Liang (2019) a direzioni non addestrate, zero-shot. Testano due controlli: (1) direzioni con etichette permutate (randomizzazione delle etichette di valutazione/impiego) e (2) controlli con direzione randomizzata (vettori isotropi accoppiati all'autocorrelazione delle direzioni reali).
• Riproducibilità: Lo studio rianalizza gli artefatti di Chaudhary et al. (2025) e Manek (2026), che hanno rilasciato punteggi per layer e vettori di direzione, permettendo la ricostruzione esatta delle loro pipeline.

Risultati Chiave

1. La Scelta del Prompt Determina la Conclusione: La scelta del wrapper contrastivo determina il segno e l'entità del risultato di scaling. Sul gradino Qwen2.5, variando solo l'inquadramento di impiego mentre si mantiene fisso quello di valutazione, la correlazione con la dimensione del modello passa da $r = +0.94$ (scaling positivo) a $r = -0.82$ (scaling negativo). Due studi pubblicati con risultati contraddittori (uno che riporta uno scaling positivo, uno negativo) sono entrambi riproducibili da un singolo design sperimentale semplicemente cambiando la formulazione del prompt.
2. La Direzione è una Proprietà del Prompt: Le direzioni derivate da diverse coppie di wrapper sono scarsamente allineate (similarità del coseno $\approx 0.37$), mentre le direzioni provenienti dalla stessa coppia di wrapper su metà di item disgiunti sono quasi identiche (coseno $\approx 0.9995$). La direzione è effettivamente una proprietà del prompt, non del concetto indagato.
3. Bassa Generalizzabilità: L'analisi della teoria della generalizzabilità rivela che il modello stesso spiega solo lo 0,8% della varianza totale del punteggio riportato. La fonte dominante di varianza è l'interazione tra il modello e il wrapper del prompt (13,4 volte più grande dell'interazione modello-item). Di conseguenza, la media su più item di valutazione non migliora l'affidabilità; solo la media su molti prompt lo fa.
4. Confondimento della Forma Superficiale: La divisione del punteggio sui dati tenuti in riserva è ampiamente separabile dalla sola forma superficiale (bag-of-words AUROC $\approx 0.993$). Una direzione costruita per non contenere alcuna informazione sulla valutazione (un controllo privo di contenuto) recupera comunque il 70%–116% dei punteggi pubblicati. In diversi casi, il punteggio pubblicato scende al di sotto del "pavimento" stabilito da questi controlli privi di contenuto, indicando che il segnale è indistinguibile dal rumore o da artefatti superficiali.
5. Latenza di Implementazione: Scelte di pipeline non dichiarate (es. filtraggio dei token, codifica dei newline, troncamento) spiegano il 27,5% della varianza totale, un valore superiore all'effetto del modello stesso.

Contributi

• Critica Metodologica: Il documento dimostra che la statistica della "consapevolezza della valutazione" non è una proprietà robusta del modello, ma una funzione del design del prompt. Mostra che il segno della relazione di scaling è arbitrario in base alla scelta della formulazione da parte del ricercatore.
• Decomposizione della Varianza: Quantifica l'affidabilità degli attuali design di sonda, mostrando che l'"oggetto della misurazione" (il modello) è un contributore trascurabile alla varianza osservata rispetto al "faccetto" del prompt.
• Rianalisi: Fornisce una rianalisi corretta di due studi prominenti. La pretesa che la statistica scali prevedibilmente con il numero di parametri (Chaudhary et al., 2025) sopravvive a una correzione del pavimento ma rimane vulnerabile alla selezione del prompt. La pretesa che la profondità del layer di picco si sposti con la scala (Manek, 2026) è giudicata "non identificata" perché il layer di picco è un argmax su una curva quasi piatta, rendendolo instabile tra i campionamenti.
• Prescrizione: L'articolo sostiene che un confronto difendibile richiede la segnalazione dei punteggi per ogni wrapper, incrociando entrambi i bracci del contrasto, e la segnalazione dei punteggi di controllo privi di contenuto. Stima che un design difendibile richieda circa 9 wrapper distinti (molto più del singolo prompt attualmente usato) per raggiungere un coefficiente di generalizzabilità di 0,80.

Significatività e Rivendicazioni
Il documento conclude che un design a singolo prompt non può supportare il confronto tra modelli. La statistica riportata è principalmente una proprietà del prompt contrastivo, non della rappresentazione interna del modello riguardo al fatto di essere valutato.

L'autore è esplicito riguardo all'ambito delle sue rivendicazioni:

• Non afferma che i modelli non rappresentino l'essere valutati.
• Non afferma che i precedenti autori abbiano agito in malafede o abbiano commesso errori di condotta.
• Afferma che gli strumenti attuali misurano meno di quanto dichiarato e che la varianza nei numeri riportati è dominata dalle scelte di design (prompt e dettagli di implementazione) piuttosto che dalle differenze tra i modelli.

Il documento asserisce che la pratica attuale del campo di utilizzare un singolo prompt per trarre conclusioni sulla scala del modello è metodologicamente errata perché la "misurazione" è confusa dallo "stimolo". La significatività risiede nello spostamento dell'onere della prova: le future affermazioni sulla consapevolezza del modello devono tenere conto della varianza del prompt come fonte primaria di incertezza, anziché trattare il prompt come un dettaglio di implementazione fisso.