Riepilogo Tecnico: Ottimizzazione Efficiente di Prompt Multi-Obiettivo tramite Bandit a Esplorazione Pura

Formulazione del Problema

L'ingegneria dei prompt è centrale per sfruttare i Modelli Linguistici di Grandi Dimensioni (LLM), tuttavia i metodi esistenti si concentrano prevalentemente sull'ottimizzazione di un singolo obiettivo (ad esempio, l'accuratezza del compito). Nelle applicazioni reali, le prestazioni dei prompt sono intrinsecamente multiformi, comportando compromessi tra metriche in competizione come coerenza, fedeltà, fluidità e sicurezza. Un singolo prompt raramente domina su tutte le dimensioni. Inoltre, la valutazione dei prompt è costosa, richiedendo un budget limitato di query a un LLM.

Questo articolo affronta il problema della Selezione di Prompt Multi-Obiettivo sotto un budget di valutazione fisso $B$. Gli autori formalizzano due obiettivi specifici:

1. Identificazione del Prompt Fattibile Migliore: Identificare un prompt che massimizza un obiettivo primario (ad esempio, l'accuratezza) soddisfacendo al contempo vincoli su altri obiettivi (ad esempio, soglie di sicurezza o brevità).
2. Identificazione dell'Insieme di Prompt Pareto: Recuperare l'insieme dei prompt non dominati (il fronte di Pareto) che rappresentano i compromessi ottimali tra tutti gli obiettivi.

Il problema è inquadrato all'interno del framework dei Bandit Multi-Obiettivo a Esplorazione Pura. L'insieme candidato di prompt $\mathcal{X}$ è trattato come un insieme di bracci. Tirare un braccio corrisponde a valutare un prompt su un input campionato, producendo un vettore di ricompensa stocastico. La sfida risiede nell'identificare efficientemente il/la braccio/i ottimale/i dato l'alto costo della valutazione e la complessa struttura dei compromessi multi-obiettivo.

Metodologia

Gli autori propongono un framework generale che sfrutta le correlazioni intrinseche tra i prompt per migliorare l'efficienza del campionamento, andando oltre il trattamento di ogni prompt come un braccio indipendente.

Framework Generale

L'approccio utilizza una strategia di eliminazione dei bracci basata su round. Il processo coinvolge $R$ round con un budget totale $B$. In ogni round:

1. Allocazione del Budget: I prompt vengono selezionati per la valutazione basandosi su un allocatore (ad esempio, campionamento uniforme o design G-ottimale).
2. Valutazione: I prompt vengono interrogati contro l'LLM e vengono osservati i vettori di ricompensa.
3. Stima della Ricompensa: Un stimatore aggiorna il vettore di prestazioni atteso $\hat{\mu}(x)$ per i prompt attivi. Il framework supporta funzioni di ricompensa generali $g_\theta(\phi(x))$, dove $\phi(x)$ è un embedding di feature del prompt e $\theta$ è un parametro sconosciuto condiviso tra tutti i prompt.
4. Eliminazione dei Bracci: I prompt vengono classificati ed eliminati in base a criteri specifici a seconda del problema target.

Algoritmi

Vengono introdotti due algoritmi specifici basati su questo framework:

1. GENSEC (Eliminazione Successiva Generalizzata sotto Vincoli):

   • Obiettivo: Identificazione del Prompt Fattibile Migliore.
   • Meccanismo: Costruisce un insieme fattibile empirico basato sulle soglie dei vincoli. I bracci vengono classificati prima per fattibilità, poi per la stima dell'obiettivo primario. I primi $l_r$ bracci vengono mantenuti per il round successivo.
   • Garanzia Teorica: Per impostazioni di ricompensa lineari ($\mu(x) = \phi(x)^\top \theta$), gli autori dimostrano che la probabilità di non identificare il prompt fattibile ottimale decade esponenzialmente con il budget $B. Notevolmente, il limite di errore dipende da $\log_2 K$ (dove $K$ è il numero di prompt) piuttosto che da $K^3$, migliorando significativamente la scalabilità rispetto ai precedenti risultati sui bandit stocastici.

2. GENPSI (Identificazione dell'Insieme Pareto Generalizzato):

   • Obiettivo: Identificazione dell'Insieme di Prompt Pareto.
   • Meccanismo: Impiega il Gap Pareto Empirico come metrica per l'eliminazione. Questo gap misura la difficoltà di classificare un braccio come Pareto-ottimale o sub-ottimale. L'algoritmo unifica e generalizza gli algoritmi di bandit esistenti (come EGE e GEGE) sia per impostazioni standard che lineari.

Utilizzo delle Feature

Per gestire in modo efficiente grandi insiemi di prompt, il metodo utilizza una mappa di feature $\phi: \mathcal{X} \to \mathbb{R}^d$. Nell'impostazione lineare, ciò permette all'algoritmo di apprendere il parametro condiviso $\theta$ tra tutti i prompt, accelerando la convergenza. Negli esperimenti, gli embedding dei prompt sono stati estratti utilizzando GPT-3.5-turbo e ridotti tramite PCA.

Risultati Sperimentali

Gli autori hanno valutato GENSEC e GENPSI su due benchmark di riassunto (XSum e CNN/DailyMail) utilizzando LLaMA-3-8B e Gemma-7B. Gli obiettivi erano ROUGE-L (qualità) e Punteggio di Brevità (lunghezza).

• Identificazione del Fattibile Migliore:

  • Gli algoritmi basati su bandit (varianti CSR e MLP-CSR) hanno superato significativamente le baseline di campionamento uniforme.
  • Sotto budget vincolati, i metodi proposti hanno recuperato l'80–90% dell'utilità del prompt vincolato ottimale, mentre le baseline hanno raggiunto solo il 20–50%.
  • La variante MLP-CSR, che sfrutta la struttura condivisa tramite uno stimatore a rete neurale, ha costantemente superato la variante CSR a bracci indipendenti, dimostrando il beneficio dello sfruttamento delle correlazioni tra i prompt.

• Identificazione dell'Insieme Pareto:

  • Utilizzando l'IperVolume (HV) come metrica, gli algoritmi basati su GENPSI (EGE e MLP-EGE) hanno recuperato >90% dell'ipervolume dell'insieme Pareto ground-truth.
  • Le baseline sono rimaste nella fascia bassa-mid dell'80%.
  • MLP-EGE ha mostrato un vantaggio particolare nei regimi a basso budget, evidenziando l'efficienza dell'apprendimento di parametri condivisi.

Contributi Chiave

1. Formalizzazione: Questo lavoro presenta la prima formalizzazione della selezione di prompt multi-criterio come problema di bandit a esplorazione pura multi-obiettivo.
2. Innovazione Algoritmica: L'introduzione di GENSEC e GENPSI, che generalizzano gli algoritmi di bandit esistenti per gestire vincoli e ottimalità Pareto sfruttando al contempo strutture condivise tra i prompt.
3. Garanzie Teoriche: Il paper fornisce limiti di errore teorici per GENSEC nell'impostazione lineare, mostrando un miglioramento significativo nella dipendenza dal numero di prompt ($K$) rispetto al lavoro precedente.
4. Validazione Empirica: Esperimenti estensivi dimostrano che gli approcci basati su bandit sono fondati e efficienti, offrendo miglioramenti sostanziali rispetto alle baseline nel recupero di prompt fattibili ottimali e fronti di Pareto sotto budget di valutazione rigorosi.

Significato e Affermazioni

Il paper afferma di stabilire un "framework fondato ed efficiente" per l'ottimizzazione multi-obiettivo dei prompt. Colmando il divario tra l'ingegneria dei prompt e i bandit multi-obiettivo, gli autori sostengono che è possibile andare oltre strategie ad hoc o basate su metriche singole. Il lavoro affronta la realtà pratica che le prestazioni dei prompt comportano compromessi intrinseci che non possono essere catturati da metriche scalarizzate da sole. Gli autori posizionano i loro metodi come una soluzione per scenari in cui i budget di valutazione sono limitati, come in domini regolamentati o quando si tratta di inferenze LLM costose. Il paper conclude che questo framework apre nuove opportunità per l'ottimizzazione scalabile dei prompt sotto criteri di valutazione complessi, sebbene riconosca che è necessario un lavoro futuro per estendere questi metodi a compiti più diversificati e incorporare metriche più ricche come equità ed efficienza.