Optimization before Evaluation: Evaluation with Unoptimised Prompts Can be Misleading

1. Enunciato del Problema

I framework di valutazione attuali per i Modelli Linguistici su Larga Scala (LLM) (ad esempio BigBench, LM Eval Harness, HELM) fanno prevalentemente affidamento su template di prompt statici. In questi framework, un singolo prompt non ottimizzato viene applicato uniformemente a tutti i modelli sottoposti a valutazione.

Gli autori sostengono che questo approccio sia fondamentalmente difettoso per lo sviluppo incentrato sulle applicazioni perché:

• La Qualità del Prompt è una Variabile: La qualità e lo stile del prompt influenzano significativamente le capacità di un modello nel seguire le istruzioni e le sue prestazioni complessive.
• Classifiche Fuorvianti: Trattando il prompt come una costante fissa, i benchmark non riescono a catturare la massima prestazione potenziale di un modello quando è accoppiato a un prompt ottimizzato.
• Disallineamento con l'Industria: Mentre i benchmark accademici utilizzano prompt statici, i professionisti del settore utilizzano regolarmente tecniche di Ottimizzazione del Prompt (PO) per adattare i prompt a modelli e compiti specifici, al fine di massimizzare le prestazioni.

L'ipotesi di fondo è che la valutazione dei modelli con prompt non ottimizzati porti a classifiche errate dei modelli e a una selezione subottimale per compiti del mondo reale.

2. Metodologia

Gli autori hanno condotto esperimenti confrontando le valutazioni standard con prompt statici contro valutazioni in cui i prompt sono stati ottimizzati per ciascun modello specifico.

Configurazione Sperimentale

• Modelli: Sono stati valutati cinque LLM leader (tre multimodali a sorgente chiusa, due solo testo a pesi aperti). I nomi dei modelli sono stati anonimizzati (Modello A–E).
• Dataset: Una combinazione di benchmark accademici pubblici e dataset interni del settore:
  • Open-source: GSM8K (Matematica), OpenbookQA, MMLU (Multitask).
  • Interni: Digital Assistant Routing, Copilot Help Docs, Copilot Consultancy, Text-to-SQL, EDDE (Estrazione Documenti).
• Tecniche di Ottimizzazione: Sono state implementate due tipologie di Ottimizzazione del Prompt (PO) utilizzando GPT-4o come "critico" o ottimizzatore:
  1. Ottimizzazione Solo Istruzioni: Utilizzo del framework TextGrad per ottimizzare le istruzioni di sistema e di compito ($I$).
  2. Ottimizzazione Istruzioni con Esempi: Utilizzo del framework MIPRO (tramite DSPy) per ottimizzare sia le istruzioni che gli esempi few-shot ($I + E$).
• Metrica di Valutazione: La Tau di Kendall ($\tau$) è stata utilizzata per misurare la correlazione tra le classifiche dei modelli derivate da prompt statici e quelle derivate da prompt ottimizzati.

3. Contributi Chiave

1. Evidenza Empirica di Instabilità delle Classifiche: Il documento fornisce la prima evidenza su larga scala che l'Ottimizzazione del Prompt altera drasticamente le classifiche dei modelli. I modelli che appaiono "migliori" sotto prompt statici spesso scendono di classifica quando vengono utilizzati prompt ottimizzati, e viceversa.
2. Quantificazione della Sensibilità: Lo studio dimostra che diversi modelli mostrano livelli variabili di sensibilità all'ottimizzazione del prompt a seconda della complessità del compito.
3. Raccomandazione Metodologica: Gli autori propongono che l'Ottimizzazione del Prompt debba essere una fase standard e obbligatoria nelle pipeline di valutazione dei modelli incentrate sulle applicazioni, piuttosto che un passaggio facoltativo di post-elaborazione.

4. Risultati Chiave

A. Cambiamenti Significativi di Classifica

• Correlazione Debole: La correlazione tra le classifiche ottenute con prompt statici e quelle con prompt ottimizzati è molto debole.
  • PO solo istruzioni: Tau di Kendall medio $\approx 0.23$.
  • PO istruzioni con esempi: Tau di Kendall medio $\approx 0.36$.
  • Un valore di $\tau$ vicino a 0 indica che le classifiche sono quasi non correlate, il che significa che il modello "migliore" cambia frequentemente.
• Esempi Specifici:
  • Su GSM8K, i prompt statici suggerivano che il Modello B fosse il migliore, ma dopo l'ottimizzazione solo delle istruzioni, il Modello D è diventato il leader.
  • Su MMLU, il Modello B era al primo posto con i prompt statici, ma il Modello D ha preso il comando dopo l'ottimizzazione.

B. Miglioramenti delle Prestazioni

• Guadagno Generale: La PO ha generalmente migliorato i punteggi assoluti delle prestazioni dei modelli su tutti i dataset.
• Prestazioni Massime: Per obiettivi incentrati sulle applicazioni, la PO permette ai professionisti di scoprire il vero tetto massimo di prestazioni di una combinazione modello-prompt. Ad esempio, il Modello A sul dataset "Copilot Help Docs" ha registrato un aumento del 6,9% nel punteggio massimo dopo l'ottimizzazione solo delle istruzioni.

C. Sensibilità al Compito

• Compiti Complessi vs Semplici: La PO ha prodotto i benefici più significativi per compiti complessi e aperti (ad esempio GSM8K, Copilot Consultancy).
• Rendimenti Decrescenti: Per compiti in cui i modelli performano già quasi perfettamente (ad esempio OpenbookQA, Digital Assistant Routing), la PO ha fornito guadagni minimi o, in alcuni casi, ha degradato le prestazioni a causa di un'eccessiva ottimizzazione o di istruzioni ridondanti.

D. Casi Negativi (Modalità di Fallimento)

Il documento evidenzia anche casi in cui la PO ha diminuito le prestazioni:

• Confusione sul Formato: In OpenbookQA, l'ottimizzazione ha aggiunto istruzioni di ragionamento verbose che hanno confuso il parser della metrica, causando la marcatura errata di una risposta corretta.
• Interpretazione Errata degli Esempi: In MMLU, un prompt ottimizzato ha causato un modello a trattare gli esempi few-shot come vere e proprie domande di test, portando a una cascata di errori. Ciò suggerisce la necessità di controlli di compatibilità tra l'ottimizzatore ("critico") e il modello target.

5. Significato e Conclusione

Il documento sfida fondamentalmente lo status quo del benchmarking degli LLM. Sostiene che i prompt statici sono insufficienti per selezionare il modello migliore per una specifica applicazione.

• Per i Professionisti: Affidarsi alle classifiche pubbliche con prompt statici può portare alla selezione di un modello subottimale. Per garantire il miglior ROI e le migliori prestazioni, le organizzazioni devono eseguire un'ottimizzazione del prompt per modello prima della valutazione finale.
• Per i Ricercatori: I futuri framework di benchmarking devono integrare la PO automatizzata come componente fondamentale della pipeline di valutazione per riflettere accuratamente gli scenari di applicazione del mondo reale.

Conclusione: Gli autori concludono che "Ottimizzazione prima della Valutazione" non è solo una buona pratica, ma una necessità. Ignorare l'ottimizzazione del prompt porta a benchmark fuorvianti e potenzialmente costosi errori nella selezione dei modelli per i sistemi di produzione.