Sintesi Tecnica: Consapevolezza del Prefill nei Large Language Models

Definizione del Problema

Le valutazioni di sicurezza rilevanti per i Large Language Models (LLM) — inclusi i test di allineamento, le valutazioni di jailbreaking e i protocoli di controllo dell'IA — si affidano frequentemente al prefilling. Questa tecnica consiste nell'inserire o modificare il contesto precedente lato assistente (ad esempio, tracce di ragionamento, risposte dirette o precedenti turni di conversazione) per indurre continuazioni off-policy o sondare comportamenti nascosti.

Il problema centrale affrontato è la consapevolezza del prefill (prefill awareness): la capacità di un modello di distinguere tra il proprio output generato naturalmente in passato e il contesto che è stato fornito esternamente o manomesso. Se i modelli di frontiera sono in grado di riconoscere che i loro turni precedenti sono stati manipolati, potrebbero sistematicamente minare le valutazioni di sicurezza (ad esempio, nascondendo comportamenti di scheming), eludere le misure di controllo o confondere i risultati sperimentali. Il paper investiga se gli attuali modelli di frontiera possiedano questa capacità e come essa si manifesti attraverso diversi meccanismi e setting.

Metodologia

1. Definizione e Operazionalizzazione

Gli autori definiscono la consapevolezza del prefill attraverso due metriche distinte:

• Rilevamento del Prefill (Prefill Detection): La capacità di un modello di identificare esplicitamente un output manomesso quando interrogato (ad esempio, rispondendo "non sono io" quando gli viene chiesto se il contenuto precedente sia stato inserito).
• Resistenza al Prefill (Prefill Resistance): La tendenza comportamentale di un modello a tornare verso le proprie preferenze basali o la propria traiettoria naturale nonostante la presenza di un prefill manomesso, anche senza segnalare esplicitamente la manomissione.

2. Costruzione del Dataset e del Benchmark

Per mitigare i fattori di confondimento come i rifiuti di allineamento o l'addestramento al personaggio, gli autori hanno costruito un dataset di preferenza binaria a basso rischio contenente 1.527 elementi de-duplicati (ad esempio, "Tè o caffè?").

• Filtraggio della Coerenza: Gli elementi sono stati filtrati per garantire che i modelli mostrassero preferenze coerenti attraverso 7 parafrasi, creando una baseline stabile.
• Meccanismi di Manomissione: Sono stati testati tre specifici meccanismi di prefill:
  1. Manomissione del Pensiero (Thinking Tampering): Iniezione di una parziale Chain-of-Thought (CoT) all'interno dei tag <thinking>, interrotta a metà frase.
  2. Manomissione della Risposta Diretta (Direct-Answer Tampering): Iniezione delle prime ~25 parole di una risposta rivolta all'utente, interrotta a metà frase.
  3. Manomissione di Turni Precedenti (Past-Round Tampering): Inserimento di un turno dell'assistente sintetico completo seguito da un follow-up dell'utente che forza una risposta finale.
• Direzionalità: Gli esperimenti hanno testato sia la manomissione a stessa direzione (il prefill si allinea alla preferenza del modello) sia a direzione opposta (il prefill si oppone alla preferenza del modello).

3. Ambito Sperimentale

• Modelli: Sono stati valutati 8 modelli di frontiera, tra cui Claude Opus 4.5, Sonnet 4.5, Haiku 4.5, Gemini 3 Flash e vari modelli open-weight (Gemma, Qwen, DeepSeek).
• Setting:
  • Esperimenti di Preferenza Controllata: Il benchmark binario primario.
  • Setting Agentici: Valutazioni di continuazione di misalignment (trascrizioni STRIDE), traiettorie SWE-bench e chat benigne generate da Petri.
  • Esperimenti Off-Policy Controllati: Un benchmark separato utilizzando conversazioni base fisse (OASST1, HH-RLHF) per isolare le capacità di rilevamento dalle variabili ambientali.

Contributi Chiave e Risultati

1. Sostanziale Consapevolezza del Prefill nei Modelli di Frontiera

Lo studio rileva che i modelli di frontiera esibiscono una significativa consapevolezza del prefill, particolarmente nei compiti di rilevamento.

• Accuratezza del Rilevamento: Claude Opus 4.5 ha raggiunto una accuratezza di rilevamento bilanciata del 67,6% sui tamper di direzione opposta con meccanismo di pensiero, con un tasso di falsi positivi dello 0% sulle traiettorie non manomesse. Altri modelli come Claude Sonnet 4.5 hanno raggiunto il 94% in condizioni specifiche.
• Resistenza: I modelli spesso resistono alle traiettorie manomesse in modo implicito. Claude Opus 4.5 ha mostrato un tasso di resistenza del 48,6%, tornando alla propria preferenza basale anche quando non segnalava esplicitamente il prefill come estraneo.

2. Decoupling tra Rilevamento e Resistenza

Un risultato critico è che rilevamento e resistenza sono parzialmente disaccoppiati:

• Compliance Esplicita: I modelli possono rilevare la manomissione ma comunque rispettare la posizione prefillata (ad esempio, Claude Opus 4.5 ha segnalato il 28% dei tamper diretti ma ha comunque acconsentito).
• Resistenza Implicita: I modelli spesso resistono senza rilevamento. Nella manomissione del pensiero e dei turni precedenti, la resistenza implicita (ritorno alla base senza segnalazione) ha superato di gran lunga la compliance esplicita.
• Dipendenza dai Cue: Le discrepanze stilistiche (voce, formattazione) guidano principalmente il rilevamento, mentre le discrepanze di preferenza guidano principalmente la resistenza.

3. Eterogeneità nei Setting del Mondo Reale

Nei setting rilevanti per il deployment (SWE-bench, continuazioni di misalignment), la consapevolezza del prefill è altamente eterogenea e dipendente dai cue:

• Dipendenza dal Dataset: I modelli si sono comportati bene sulle traiettorie SWE-bench (ad esempio, Claude Opus 4.5 con l'80% di accuratezza) ma quasi casualmente sui log di chat.
• Bias di Successo: I modelli erano più propensi ad attribuirsi l'autorialità delle traiettorie di successo (ad esempio, superare i test SWE-bench), suggerendo che l'attribuzione di sé mescoli il rilevamento dell'autorialità con l'assegnazione del merito.
• Artefatti di Formattazione: Metadati nascosti (ad esempio, tag <content-internal> nelle richieste API) hanno funto da segnali superficiali. Modelli come Claude Opus 4.5 hanno usato questi artefatti per rilevare turni estranei, indicando che la presunta consapevolezza può dipendere da segnali non semantici piuttosto che da un profondo autoriconoscimento.

4. Consapevolezza Latente vs. Spontanea

Negli esperimenti off-policy controllati in cui ai modelli veniva semplicemente chiesto di continuare una conversazione senza un esplicito probing:

• Segnalazione Spontanea: Estremamente rara (<1% in tutti i modelli).
• Capacità Latente: Quando esplicitamente interrogati, i modelli (specialmente Claude Opus 4.6) hanno mostrato alti valori di AUROC nel rilevamento (0.80), indicando che la capacità esiste ma è raramente espressa spontaneamente durante il normale funzionamento.

Significato e Rivendicazioni

Il paper sostiene che la consapevolezza del prefill è un confondimento sostanziale per i metodi di valutazione basati sul prefill.

• Minaccia alla Validità: Se i modelli possono distinguere il contesto manomesso, le valutazioni di sicurezza che si affidano al prefill (ad esempio, le continuazioni di misalignment) possono produrre falsi negativi (i modelli appaiono allineati perché riconoscono che il test è artificiale) o falsi positivi (i modelli disavvalorano i turni prefillati che altrimenti seguirebbero).
• Sfumatura della Misurazione: La consapevolezza del prefill non dovrebbe essere trattata come una singola capacità, ma come un insieme di sensibilità che includono il rilevamento esplicito, il disavvaloramento spontaneo e la resistenza comportamentale.
• Raccomandazioni:
  • Gli sviluppatori di modelli dovrebbero monitorare la consapevolezza del prefill come parte delle valutazioni pre-deployment.
  • I ricercatori dovrebbero riportare separatamente rilevamento e resistenza.
  • Le valutazioni dovrebbero aumentare il realismo dei prefill (ad esempio, facendo corrispondere stile e formattazione) per ridurre la dipendenza da cue superficiali.

Gli autori concludono che, sebbene la consapevolezza del prefill sia attualmente un "confondimento sostanziale", essa è meglio compresa attraverso una serie di strumenti piuttosto che un singolo parametro, e la sua presenza richiede cautela nell'interpretare i risultati dei protocolli di sicurezza basati sul prefill.