Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance

1. Il Problema

I Large Language Models (LLM) sono sempre più deployati in ambienti reali e dinamici. Tuttavia, la distribuzione dei prompt degli utenti cambia naturalmente nel tempo, tra diversi gruppi di utenti e tra diverse regioni geografiche. Questo fenomeno, definito "natural prompt distribution shift" (spostamento naturale della distribuzione dei prompt), rappresenta una sfida critica per l'affidabilità dei modelli.

Mentre la robustezza out-of-distribution (OOD) è un campo di studio consolidato nel machine learning, esiste una scarsa esplorazione su come misurare lo spostamento naturale dei prompt dopo il deployment e su come questo impatti le prestazioni dei modelli specializzati o generalisti in scenari reali. Se un LLM non è robusto a questi cambiamenti naturali, le prestazioni possono degradare drasticamente, influenzando la soddisfazione dell'utente e la sicurezza del sistema.

2. Metodologia: Il Framework LENS

Gli autori introducono LENS (LLM Evaluation under Natural prompt Shift), un approccio data-centric progettato per quantificare lo spostamento della distribuzione dei prompt e valutarne l'impatto sulle prestazioni dei modelli deployati.

A. Costruzione del Dataset (WildChat)

Il framework utilizza WildChat, un dataset di 1 milione di query reali inviate a modelli OpenAI, arricchito con metadati temporali, IP (per identificare gruppi di utenti) e geolocalizzazione.

• Creazione di scenari ID/OOD: Sono stati creati 192 scenari distinti di {In-Distribution (ID), Out-of-Distribution (OOD)} lungo tre assi:
  1. Tempo: Confronto tra prompt di mesi precedenti (ID) e prompt di mesi successivi (OOD) per simulare l'evoluzione temporale.
  2. Gruppi di Utenti: Confronto tra utenti con diversi stadi di adozione (early/late) e volumi di query (low/high).
  3. Geografia: Confronto tra diverse regioni (es. California, Tokyo, Parigi).
• Dati di Addestramento e Valutazione: Per ogni scenario, i dati ID sono usati per l'addestramento, mentre i dati OOD sono usati per la valutazione. Viene inoltre creato un modello "Oracle" addestrato sui dati OOD per stabilire un limite superiore di prestazioni (benchmark).

B. Modelli e Addestramento

• Modelli: Sono stati addestrati 81 modelli in totale utilizzando tre architetture base diverse: Qwen2.5-7B, Qwen2.5-14B e Llama3-8B.
• Procedura: Ogni modello è stato fine-tuned (SFT) su 4,68 milioni di prompt di addestramento e valutato su 57.600 prompt di valutazione.
• Valutazione: Le prestazioni sono state misurate confrontando le risposte del modello ID con quelle del modello Oracle su 100 prompt OOD fissi per scenario, utilizzando GPT-4o come giudice (LLM-as-a-Judge) per determinare quale risposta segua meglio le istruzioni.

C. Misurazione dello Spostamento (Distribution Shift)

Per quantificare lo spostamento senza etichette ground-truth, il framework utilizza quattro misure unsupervised:

1. MAUVE: Misura la divergenza tra distribuzioni di testo nello spazio degli embedding (valori più bassi indicano maggiore spostamento).
2. $\Delta$-score: Valuta quanto un testo OOD sia rappresentativo della distribuzione ID.
3. Perplexity: Misura quanto i prompt OOD siano "sorprendenti" per un modello addestrato su ID.
4. BLEU: Misura la sovrapposizione lessicale superficiale (n-gram).

3. Risultati Chiave

A. Entità dello Spostamento (RQ1)

Lo spostamento naturale della distribuzione dei prompt è significativo e misurabile:

• Geografia: Mostra lo spostamento più forte (MAUVE medio di 0.05 rispetto a un baseline casuale di 0.96), indicando che le differenze culturali e linguistiche regionali alterano drasticamente la struttura dei prompt.
• Tempo: Anche lo spostamento temporale è rilevante (MAUVE medio di 0.54), con i prompt che diventano più strutturati e complessi nel tempo.
• Gruppi di Utenti: Mostra lo spostamento minore ma comunque misurabile (MAUVE medio di 0.61), con differenze tra utenti "early adopter" e "late adopter".

B. Impatto sulle Prestazioni (RQ2)

Esiste una forte correlazione tra lo spostamento della distribuzione e il degrado delle prestazioni:

• Perdita di Prestazioni: I modelli addestrati su dati ID subiscono un calo medio delle prestazioni del 73% rispetto ai modelli Oracle quando valutati su dati OOD.
• Impatto per Asse:
  • Gruppi di Utenti: Perdita media del 88%.
  • Geografia: Perdita media del 88%.
  • Tempo: Perdita media del 44%.
• Generalizzazione: La capacità di seguire le istruzioni appresa su prompt reali non si trasferisce naturalmente in scenari dinamici. Le prestazioni degradano indipendentemente dalla dimensione o dalla famiglia del modello (Llama vs Qwen).

C. Analisi Qualitativa

L'analisi dei prompt ha rivelato trend specifici:

• Tempo: I prompt diventano più lunghi, strutturati e seguono vincoli di formattazione espliciti (es. "usa markdown", "segui questo schema").
• Gruppi: Gli utenti ad alto volume tendono a usare prompt "templated" e ripetitivi (integrazione nel flusso di lavoro), mentre gli utenti a basso volume sono più esplorativi.
• Geografia: Si osservano differenze culturali, linguistiche (incluso l'uso dell'inglese come seconda lingua) e di contesto.

4. Contributi Principali

1. Framework LENS: Il primo framework sistematico per valutare la robustezza dei LLM allo spostamento naturale dei prompt in scenari di deployment reali, combinando misurazioni di distribuzione e valutazione delle prestazioni.
2. Dataset su larga scala: Creazione di 192 scenari realistici ID/OOD basati su 1M di interazioni reali, coprendo tempo, utenti e geografia.
3. Evidenza Empirica: Dimostrazione che lo spostamento naturale dei prompt causa un degrado severo delle prestazioni (fino all'88% di perdita), sfatando l'idea che i modelli siano intrinsecamente robusti a queste variazioni.
4. Analisi Multidimensionale: Identificazione di come diversi fattori (tempo, demografia, geografia) influenzino diversamente la distribuzione dei prompt e la stabilità del modello.

5. Significato e Implicazioni

Questo studio evidenzia un bisogno critico di monitoraggio basato sui dati per i modelli LLM deployati.

• Sicurezza e Affidabilità: Ignorare lo spostamento naturale dei prompt può portare a fallimenti catastrofici in applicazioni reali (es. assistenza clienti, medicina).
• Strategie di Mitigazione: I risultati suggeriscono che l'addestramento statico non è sufficiente. Sono necessari metodi di aggiornamento continuo (continual learning), monitoraggio della distribuzione in tempo reale e strategie di adattamento specifiche per diversi gruppi di utenti e regioni.
• Valutazione Futura: Le attuali pratiche di valutazione (spesso basate su dataset statici) sono insufficienti. È necessario integrare test di robustezza OOD che simulino l'evoluzione naturale del comportamento degli utenti.

In sintesi, il paper dimostra che l'evoluzione naturale del modo in cui gli umani interagiscono con gli LLM è una delle principali cause di degrado delle prestazioni, richiedendo un cambio di paradigma verso sistemi di valutazione e monitoraggio dinamici.