RASPRef: Retrieval-Augmented Self-Supervised Prompt Refinement for Large Reasoning Models

1. Il Problema

I recenti modelli linguistici focalizzati sul ragionamento (come DeepSeek R1 e OpenAI o1) hanno dimostrato prestazioni elevate su benchmark strutturati (es. GSM8K, MATH). Tuttavia, le loro prestazioni rimangono altamente sensibili alla formulazione del prompt. La progettazione di prompt efficaci è attualmente un processo manuale, iterativo e non scalabile, che richiede spesso annotazioni umane o supervisione specifica per il compito. Inoltre, molte tecniche di ottimizzazione esistenti dipendono da dati etichettati, modelli di ricompensa o accesso ai gradienti del modello (spesso non disponibile per modelli chiusi via API), rendendole poco pratiche per l'adattamento dinamico.

2. Metodologia: RASPRef

Il paper introduce RASPRef (Retrieval-Augmented Self-Supervised Prompt Refinement), un framework che migliora automaticamente i prompt senza richiedere annotazioni umane o supervisione specifica per il task. L'approccio tratta il prompt non come un'istruzione fissa, ma come un componente adattivo che evolve attraverso un ciclo di raffinamento guidato dal recupero di informazioni.

Il processo si articola in quattro fasi principali:

1. Recupero delle Traiettorie (Retrieval): Per un nuovo problema di input, il sistema recupera dal proprio archivio le traiettorie di ragionamento passate (input, prompt usato, traccia di ragionamento, segnale di correttezza) più simili al compito corrente.
2. Costruzione del Prompt Iniziale: Utilizzando le traiettorie recuperate, il sistema costruisce un prompt iniziale che include:
   • Istruzioni generali sul task e lo stile di ragionamento desiderato.
   • Linee guida distillate dalle tracce di ragionamento di alta qualità.
   • Esempi rappresentativi estratti dalle traiettorie recuperate.
3. Valutazione Auto-Supervisionata (Self-Supervised Evaluation): Il modello genera multiple risposte per lo stesso input utilizzando il prompt candidato. La qualità del prompt viene valutata tramite segnali auto-supervisionati che non richiedono ground-truth:
   • Coerenza Multi-campione ($C_{cons}$): Misura l'accordo tra diverse generazioni.
   • Punteggio del Verificatore ($C_{ver}$): Un modello leggero valuta plausibilità e struttura.
   • Auto-Critica ($C_{crit}$): Il modello analizza e critica il proprio ragionamento.
   • Allineamento al Recupero ($C_{ret}$): Misura quanto bene la traccia riutilizza gli elementi recuperati.
4. Raffinamento Iterativo: Il modello agisce come un editor, revisionando il prompt stesso basandosi sui segnali di valutazione e sulle critiche generate. Questo ciclo si ripete fino a stabilizzazione o esaurimento del budget computazionale.

L'obiettivo è massimizzare una funzione di qualità $Q(p; x)$ definita come combinazione ponderata dei segnali sopra citati, ottimizzando il prompt $p$ nello spazio discreto del linguaggio naturale.

3. Contributi Chiave

• Ottimizzazione del Prompt Senza Etichette: RASPRef risolve il problema della dipendenza da dati etichettati o modelli di ricompensa addestrati, utilizzando segnali deboli auto-supervisionati (coerenza, verificatori, critica).
• Integrazione Recupero-Raffinamento: Combina efficacemente il Retrieval-Augmented Generation (RAG) con l'ottimizzazione del prompt, utilizzando la storia delle interazioni passate per guidare il miglioramento dei prompt per nuovi input.
• Approccio "Black-Box": Il metodo funziona su modelli chiusi (accessibili solo via API) poiché non richiede accesso ai pesi interni o ai gradienti, operando esclusivamente su prompt e output testuali.
• Trasparenza: A differenza delle ottimizzazioni a livello di embedding o RL, RASPRef produce revisioni esplicite del prompt, rendendo interpretabili le euristiche estratte dalle traiettorie di ragionamento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un subset di 500 esempi del benchmark GSM8K (ragionamento matematico a livello di scuola elementare) utilizzando il modello gpt-4o-mini come motore di ragionamento.

• Baseline (Prompting Statico): Un template fisso di Chain-of-Thought senza recupero di esempi.
  • Accuratezza: 85.6%
• RASPRef (Prompting Guidato dal Recupero): Prompt arricchiti con traiettorie recuperate e segnali di valutazione.
  • Accuratezza: 95.0%

Il framework ha mostrato un miglioramento significativo (+9.4 punti percentuali), dimostrando che le traiettorie recuperate forniscono una guida contestuale utile per strutturare meglio i passaggi intermedi del ragionamento e ridurre gli errori.

5. Significato e Implicazioni

Il lavoro di RASPRef evidenzia che la progettazione del prompt rimane un fattore critico per i modelli di ragionamento su larga scala. Dimostra che è possibile creare sistemi che migliorano autonomamente le proprie istruzioni di input sfruttando la propria esperienza passata (traiettorie di ragionamento) e segnali di feedback interni.

• Scalabilità: Offre una strategia pratica per migliorare le prestazioni di ragionamento senza bisogno di fine-tuning costoso o annotazioni umane continue.
• Adattabilità: Il sistema è in grado di adattarsi a casi "long-tail" o rari recuperando pattern di ragionamento profondi piuttosto che semplici similarità lessicali.
• Futuro: I risultati suggeriscono che l'ottimizzazione iterativa guidata dal recupero è una direzione promettente per estendere le capacità di ragionamento a domini più ampi, come la sintesi di programmi e il question answering multi-hop.

In sintesi, RASPRef propone un paradigma in cui il prompt non è statico, ma un componente dinamico che si evolve e si affina man mano che il modello accumula esperienza, rendendo i sistemi di ragionamento più robusti e affidabili.