Sintesi Tecnica: SyRuP – Miglioramento del Seguimento del System-Prompt tramite Predizione Guidata dal Reward

Problema

I Large Language Models (LLM) sono sempre più controllati tramite system prompt che definiscono ruoli, stili, formati e vincoli di sicurezza. Tuttavia, i modelli attuali seguono questi prompt implicitamente attraverso l'in-context learning, il quale spesso si rivela insufficiente per istruzioni complesse o compositive. Le soluzioni esistenti affrontano scambi significativi:

• Metodi in fase di addestramento (es. SFT, RLHF) richiedono aggiornamenti costosi dei parametri e possono incorrere in un "alignment tax", degradando le capacità generali.
• Metodi in fase di decoding spesso si affidano a un seguito delle istruzioni implicito o trattano il system prompt semplicemente come parte di una sequenza di contesto fusa. Di conseguenza, il system prompt perde il suo ruolo distinto di fonte di condizionamento separata, e i precedenti approcci guidati dal reward si sono concentrati su attributi fissi (es. tossicità, sentiment) piuttosto che sull'aderenza al system prompt specifica per ogni istanza.

Manca un framework che tratti esplicitamente il system prompt come una fonte di memoria separata per fornire guida a livello di token durante l'inferenza senza modificare il modello base.

Metodologia: SyRuP

Gli autori propongono SyRuP (System-prompt following via Reward-guided Prediction), un framework di decoding-time che mantiene il LLM base congelato e addestra solo una leggera testa di reward. L'innovazione principale è la riformulazione del seguito del system prompt come un problema di aderenza condizionale a livello di token.

1. Testa di Reward con Cross-Attention

A differenza dei modelli di reward standard che fondono il system prompt, l'input dell'utente e il prefisso generato in un'unica sequenza, SyRuP mantiene il system prompt come una memoria Key-Value (KV) distinta.

• Architettura: La testa di reward utilizza un meccanismo di cross-attention in cui gli stati nascosti del system prompt ($H(s)$ fungono da chiavi ($K_s$) e valori ($V_s$).
• Costruzione della Query: La query ($Q_t$) è derivata dalla concatenazione dell'input dell'utente e del prefisso generato ($H(x), H(y_{<t})$).
• Scoring: L'output della cross-attention presta attenzione alle parti più rilevanti del system prompt per lo stato di generazione corrente. Questo viene fuso con la rappresentazione del contesto e passato attraverso un MLP a due strati per produrre un punteggio di aderenza a livello di token ($r_t(v)$) per ogni candidato token.
• Addestramento: La testa è addestrata su coppie di preferenza condizionate dal system prompt $(s, x, y^+, y^-)$ utilizzando un obiettivo di Bradley-Terry. Il LM base rimane congelato; vengono aggiornate solo le proiezioni della cross-attention e il fusion MLP.

2. Decoding Guidato dal Reward

In fase di inferenza, SyRuP riclassifica i top-$k$ candidati dai logit del LM base. Lo score finale combina tre componenti:
$$\text{Score}(v) = \ell_t(v) + \lambda_r r_t(v) + \lambda_c \Delta_t(v)$$

• $\ell_t(v)$: Logit del LM base (fluidità).
• $r_t(v)$: Punteggio di reward appreso a livello di token (aderenza esplicita).
• $\Delta_t(v)$: Un segnale contrastivo opzionale che misura lo shift dei logit indotto dal system prompt rispetto a un prompt neutro ($\ell_t(v) - \ell^{neu}_t(v)$).
• $\lambda_r, \lambda_c$: Hyperparameter che controllano la forza del segnale di reward e del segnale contrastivo.

Contributi Chiave

1. Condizionamento Esplicito del System-Prompt: SyRuP è il primo framework di decoding-time che tratta il system prompt come una fonte di memoria separata tramite cross-attention, consentendo una valutazione dell'aderenza esplicita a livello di token invece di fare affidamento sull'assorbimento implicito del contesto.
2. Controllo Leggero in Fase di Inferenza: Il metodo non richiede aggiornamenti ai parametri del LLM base, ma solo una piccola testa di reward addestrabile, offrendo un'alternativa pratica al fine-tuning completo.
3. Guida Ibrida: L'introduzione di una variante ibrida che combina la guida esplicita del reward con un segnale contrastivo per catturare gli shift di distribuzione indotti dal sistema, fornendo segnali complementari per guidare la generazione.

Risultati Sperimentali

Gli autori hanno valutato SyRuP su Multifaceted-Bench (in-domain) e IFEval (out-of-distribution) utilizzando tre modelli backbone (Qwen-2.5-1.5B, Llama-3.2-3B, Llama-3.1-8B).

• Performance: SyRuP ha superato costantemente tutti i baseline, inclusi i metodi di prompting (es. Few-shot, Marked Prompting) e i baseline di decoding-time (es. OPAD, GenARM, ARGS, BoN, DeAL).
  • Su Multifaceted-Bench, ha raggiunto il miglior punteggio medio in tutte le 15 combinazioni modello-task, migliorando il baseline più forte del 5,61% su Qwen-2.5-1.5B.
  • Su IFEval, senza alcun addestramento specifico per il task, SyRuP ha ottenuto la migliore accuratezza media rigorosa a livello di prompt, dimostrando una forte generalizzazione ai vincoli verificabili.
• Efficienza: SyRuP offre un rapporto favorevole tra aderenza e costo.
  • La variante reward-only ha aumentato la latenza di soli 1,04× rispetto al modello base.
  • La variante ibrida completa ha comportato un aumento della latenza di 2,18×, che rimane significativamente inferiore ad altri baseline di decoding-time come ARGS (5,13×) e DeAL (16,83×).
  • L'uso della memoria GPU di picco è rimasto vicino al modello base (3,1 GB rispetto a >10 GB per alcuni baseline).
• Analisi: Gli studi di ablazione hanno confermato che il condizionamento esplicito tramite cross-attention supera il condizionamento implicito a singolo stream. Inoltre, è stato scoperto che i segnali di reward e contrastivo sono complementari, poiché l'approccio combinato produce scelte di token uniche non selezionate da un singolo segnale.

Significato e Rivendicazioni

Il paper sostiene che SyRuP valida l'ipotesi che la guida esplicita a livello di token sia un meccanismo efficace e pratico per un seguito affidabile del system prompt. Decoupling (disaccoppiando) il system prompt dal contesto di generazione e trattandolo come una fonte di memoria dedicata, SyRuP consente ai modelli di aderire a vincoli complessi, diversificati e specifici per istanza senza l'overhead computazionale del retraining o l'alto costo di inferenza della decoding-time search.

Gli autori posizionano SyRuP come un passo verso una generazione di LLM più controllabile, particolarmente per scenari in cui i system prompt definiscono ruoli critici, linee guida di sicurezza o requisiti di formattazione che il normale in-context learning non riesce a imporre con costanza. Riconoscono limitazioni, come l'overhead aggiuntivo del segnale contrastivo ibrido e il potenziale di over-steering, suggerendo lavori futuri in pesatura adattiva e filtraggio della sicurezza.