💬 NLP

Bandit-Based Prompt Design Strategy Selection Improves Prompt Optimizers

Questo articolo introduce OPTS, un framework di ottimizzazione dei prompt che migliora le prestazioni degli ottimizzatori esistenti come EvoPrompt implementando meccanismi espliciti basati sui bandit (specificamente il campionamento di Thompson) per selezionare e applicare efficacemente strategie di progettazione dei prompt, superando così i metodi che si affidano alla selezione implicita delle strategie.

Autori originali: Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Pubblicato 2026-06-18

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot molto intelligente ma a volte testardo (un Large Language Model) come risolvere un puzzle difficile. Fornisci al robot delle istruzioni, chiamate "prompt". Se le istruzioni sono vaghe, il robot si confonde. Se sono perfette, il robot risolve il puzzle istantaneamente.

Per molto tempo, gli esseri umani hanno cercato di scrivere queste istruzioni perfette a mano, oppure hanno usato programmi informatici per perfezionare automaticamente le istruzioni finché non funzionano meglio. Questo è chiamato Ottimizzazione del Prompt.

Tuttavia, c'è un problema: questi programmi automatici spesso creano istruzioni che sono funzionali ma prive di quel "tocco segreto" che gli esperti umani utilizzano. Perdono l'occasione di usare trucchi collaudati come "pensa passo dopo passo" o "agisci come un esperto".

Il Problema: Il Gioco d'Azzardo Sbagliato del Robot

Recentemente, uno strumento chiamato APET ha cercato di risolvere il problema. Ha fornito al robot un menu di "strategie di progettazione" (come un menu di tecniche culinarie: aggiungi sale, trita finemente, fai sobbolire lentamente). Il robot doveva guardare il menu e decidere quali trucchi utilizzare per il puzzle specifico.

Ma l'articolo sostiene che chiedere al robot di fare questa scelta è come chiedere a uno chef stanco di indovinare quale spezia salverà una zuppa bruciata. Il robot spesso sbaglia la previsione, scegliendo strategie che in realtà rendono le istruzioni peggiori. È una scelta implicita (il robot semplicemente "sente" di dover usare un trucco), e non è molto bravo a farlo.

La Soluzione: OPTS (Il Sommelier Intelligente)

Gli autori di questo articolo introducono un nuovo metodo chiamato OPTS (Optimizing Prompts with sTrategy Selection).

Invece di lasciare che il robot indovini, OPTS agisce come un sommelier intelligente (un esperto di vino) o un direttore di casinò che gestisce un gioco d'azzardo. Ecco come funziona usando una semplice analogia:

Immagina di avere una fila di slot machine (i ricercatori le chiamano "bracci").

Macchina 1: Aggiunge "Pensa passo dopo passo" alle istruzioni.
Macchina 2: Dice al robot di "Rileggere la domanda".
Macchina 3: Dice al robot di "Agire come un esperto di matematica".
Macchina K+1: Non fa nulla (mantiene le istruzioni esattamente come sono).

Nel vecchio metodo (APET), il robot tirava semplicemente una leva casualmente o basandosi su un'intuizione.

Nel nuovo metodo OPTS, il sistema utilizza una strategia matematica chiamata Thompson Sampling. Immagina questo come un giocatore d'azzardo intelligente che tiene un tabellone dei punteggi:

Prova una macchina (una strategia).
Se il robot risolve il puzzle meglio, il sistema dà a quella macchina un "pollice in su" e la rende più probabile per la volta successiva.
Se il robot fallisce, il sistema dà a quella macchina un "pollice in giù" e smette di sceglierla.
Fondamentalmente, mantiene anche una macchina "Non fare nulla". Se tutti i trucchi stanno peggiorando le cose, il sistema impara a lasciare le istruzioni così come sono.

Cosa Hanno Scoperto

I ricercatori hanno testato questo metodo su due diversi robot (LLM) utilizzando un insieme di puzzle di logica e ragionamento molto difficili (chiamati BIG-Bench Hard).

Il Risultato: Usando questo approccio da "giocatore intelligente" per scegliere la strategia giusta, il sistema ha creato istruzioni molto migliori di quelle che i robot potrebbero fare da soli.
Il Campione: Il metodo Thompson Sampling (il giocatore intelligente) è stato il vincitore netto. Ha migliorato le prestazioni dell'ottimizzatore di prompt fino al 50% in alcuni compiti.
Il Confronto: Il vecchio metodo (APET), in cui il robot indovinava, ha in realtà ottenuto prestazioni peggiori rispetto alla semplice scelta casuale delle strategie. Questo dimostra che il robot è scarso nel indovinare quali trucchi usare, ma è bravissimo a seguire le istruzioni se noi gli diciamo quale trucco utilizzare.

Il Punto Chiave

Questo articolo non sostiene di aver risolto tutti i problemi dell'IA o di essere pronto per la diagnosi medica. Dimostra semplicemente che quando stiamo cercando di insegnare all'IA come comunicare meglio, non dovremmo lasciare che l'IA indovini quale metodo di insegnamento utilizzare. Inveve, dovremmo usare un sistema intelligente e basato sui dati (come il Thompson Sampling) per scegliere esplicitamente i migliori trucchi didattici, proprio come un allenatore che sceglie la giocata giusta per una specifica situazione di gioco.

Il codice per questo "allenatore intelligente" è ora disponibile per l'uso da parte di altri.

Sintesi Tecnica: Selezione della Strategia di Progettazione del Prompt basata su Bandit

Definizione del Problema

L'ottimizzazione dei prompt mira a cercare automaticamente prompt efficaci che migliorino le prestazioni dei Large Language Models (LLM). Sebbene i metodi esistenti di ottimizzazione dei prompt discreti (ad esempio, gli algoritmi evolutivi) abbiano scoperto con successo prompt efficaci, questi spesso differiscono dai prompt sofisticati e accuratamente progettati dagli esperti umani. Esiste una lacuna critica nel sfruttare le consolidate "strategie di progettazione dei prompt" (best practice come il Chain-of-Thought o il Role Prompting) all'interno dell'ottimizzazione automatizzata.

Approcci recenti, come l'Autonomous Prompt Engineering Toolbox (APET), tentano di incorporare queste strategie fornendo all'LLM tutte le descrizioni delle strategie disponibili, il quale poi seleziona e applica implicitamente le stesse. Tuttavia, questa selezione implicita è soggetta a prestazioni subottimali perché gli LLM potrebbero non ottimizzare efficacemente il processo di selezione, e le strategie inappropriate possono impattare negativamente sulle prestazioni a seconda del compito specifico e del target LLM. Il problema centrale affrontato è la mancanza di un meccanismo esplicito e robusto per selezionare le strategie di progettazione dei prompt più appropriate durante il processo di ottimizzazione.

Metodologia

Gli autori propongono OPTS (Optimizing Prompts with sTrategy Selection), un framework che introduce meccanismi di selezione espliciti per le strategie di progettazione dei prompt. OPTS è integrato in EvoPrompt, un noto ottimizzatore di prompt che emula gli algoritmi evolutivi (specificamente Algoritmi Genetici e Differential Evolution).

Componenti Core

Bracci Strategici (Strategy Arms): Il sistema definisce $K$ bracci, ciascuno corrispondente a una specifica strategia di progettazione del prompt (ad esempio, Chain-of-Thought, Emotion Prompting, Re-Reading). Viene incluso un ulteriore $(K+1)$ -esimo "braccio di inazione", che rappresenta l'opzione di non applicare alcuna modifica alla strategia.
Meccanismi di Selezione: Il documento propone e valuta tre distinti metodi di selezione:
- OPTS(TS): Utilizza il Thompson Sampling, un algoritmo multi-armed bandit. Mantiene una distribuzione di probabilità (prior della distribuzione Beta) per il reward atteso di ogni braccio. Dopo aver valutato un prompt modificato, il reward (basato sull'accuratezza del task-solving LLM) aggiorna la distribuzione, permettendo al sistema di bilanciare esplorazione e sfruttamento delle strategie.
- OPTS(US): Utilizza l'Uniform Sampling, dove ogni braccio (incluso il braccio di inazione) viene selezionato con uguale probabilità, fungendo da baseline per l'applicazione casuale delle strategie.
- OPTS(APET): Basato sul metodo APET, dove un LLM seleziona implicitamente le strategie da una lista. Questa versione include una probabilità esplicita del 50% di scegliere il "braccio di inazione" per mimare il comportamento di APET pur aggiungendo un controllo per la non-modifica.
Workflow di Integrazione:
- EvoPrompt genera un nuovo prompt candidato tramite crossover e mutazione.
- Il modulo OPTS seleziona una strategia (o l'inazione) in base al meccanismo scelto.
- Se viene selezionata una strategia, la sua descrizione viene passata a un "Prompt-designing LLM" insieme a un meta-prompt e al candidato prompt.
- Il Prompt-designing LLM modifica il prompt per incorporare la strategia selezionata.
- Il prompt modificato viene valutato dal "Task-solving LLM", e il punteggio risultante viene utilizzato per aggiornare la distribuzione di selezione (nel caso di TS) e determinare la popolazione della generazione successiva.

Contributi Chiave

Selezione Esplicita delle Strategie: Il documento introduce i primi meccanismi di selezione esplicita per le strategie di progettazione dei prompt all'interno dell'ottimizzazione dei prompt, allontanandosi dalla selezione implicita utilizzata in lavori precedenti come APET.
Integrazione del Thompson Sampling: Gli autori propongono un approccio basato sul Thompson sampling (OPTS(TS)) che dimostra empiricamente una prestazione superiore nella selezione delle strategie appropriate per compiti e LLM specifici.
Miglioramento delle Prestazioni: Lo studio dimostra che l'integrazione della selezione esplicita delle strategie migliora significativamente le prestazioni dell'ottimizzatore EvoPrompt.
Valutazione Comprensiva: I metodi sono valutati attraverso 27 compiti impegnativi di BIG-Bench Hard (BBH) utilizzando due diversi task-solving LLM (Llama-3-8B-Instruct e GPT-4o mini) e due diversi algoritmi evolutivi (GA e DE).

Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando i compiti di BIG-Bench Hard. I task-solving LLM erano Llama-3-8B-Instruct (per tutti i 27 compiti) e GPT-4o mini (per 3 compiti).

Miglioramento Complessivo: Tutte e tre le varianti di OPTS (TS, US, APET) hanno migliorato la prestazione media della baseline EvoPrompt(DE) di circa il 4,5% - 7,5%.
Superiorità del Thompson Sampling: OPTS(TS) ha ottenuto i migliori risultati complessivi. Utilizzando GPT-4o mini sia per la generazione dei prompt che per il task solving, OPTS(TS) ha migliorato le prestazioni di EvoPrompt fino al 50% su compiti specifici (ad esempio, "logical deduction five objects"). In media, sui compiti BBH con Llama-3-8B-Instruct, OPTS(TS) ha superato OPTS(US) di circa l'1,7% e OPTS(APET) del ~2,7%.
Confronto con APET: OPTS(APET) ha performato peggio di OPTS(US), suggerendo che gli LLM abbiano bias che portano a una selezione implicita errata delle strategie.
Variabilità del Compito: Il miglioramento variava a seconda del compito. Per compiti come "ruin names", OPTS(TS) ha migliorato le prestazioni di circa il 40% rispetto alla baseline. In alcuni casi, le prestazioni sono leggermente diminuite, ma il "braccio di inazione" ha garantito che il degrado fosse minimo rispetto ai guadagni.
Efficienza dei Costi: Sotto un vincolo fisso di 500 chiamate API, OPTS(TS) ha comunque superato la baseline EvoPrompt, indicando una maggiore efficacia dei costi.

Significato e Rivendicazioni

Il documento sostiene che la selezione esplicita delle strategie di progettazione dei prompt è un passo cruciale per far avanzare l'ottimizzazione dei prompt. Sfruttando la conoscenza esistente del prompt engineering (strategie come il Chain-of-Thought) attraverso un processo di selezione basato su bandit, OPTS consente agli ottimizzatori di scoprire prompt che non sono solo efficaci, ma anche strutturalmente allineati con le best practice umane.

Gli autori evidenziano che:

La selezione esplicita è superiore alla selezione implicita: La capacità di un LLM di scegliere implicitamente le strategie (come in APET) è subottimale rispetto alla selezione basata sui dati del Thompson Sampling.
Le strategie possono essere combinate: Sebbene OPTS(TS) selezioni una strategia alla volta, i prompt ottimizzati risultanti mostrano spesso una combinazione di strategie (ad esempio, un Chain-of-Thought che incorpora il Re-Reading), suggerendo che l'ottimizzatore riesca efficacemente a stratificare queste tecniche.
Generalizzabilità: L'approccio è efficace indipendentemente dallo specifico task-solving LLM (Llama-3 o GPT-4o) o dall'algoritmo evolutivo sottostante (GA o DE).

Gli autori mantengono una posizione modesta, notando limitazioni come la formulazione di OPTS(TS) come un bandit di Bernoulli (che potrebbe essere raffinata), la mancanza di test su altri ottimizzatori oltre a EvoPrompt, e la potenziale variabilità dei risultati basata sul set specifico di strategie preparate. Concludono che il loro lavoro sottolinea l'importanza di sfruttare ed esplicitare la conoscenza esistente della progettazione dei prompt per migliorare le prestazioni degli LLM.