Post-Selection Distributional Model Evaluation

Titolo: Valutazione Distribuzionale dei Modelli Post-Selezione (PS-DME)

1. Il Problema

Le metodologie tradizionali di valutazione e selezione dei modelli si basano spesso sul controllo della probabilità che una misura di rischio (KPI - Key Performance Indicator) superi un valore target predefinito. Tuttavia, in molte applicazioni pratiche (es. agenti LLM su dispositivi mobili, reti di telecomunicazioni), il livello target di rischio non è noto a priori. Gli utenti desiderano invece esplorare i compromessi (trade-off) completi tra prestazioni e affidabilità a runtime.

Il problema centrale affrontato è la valutazione distribuzionale post-selezione:

• Obiettivo: Stimare l'intera distribuzione (CDF - Funzione di Distribuzione Cumulativa) dei KPI per modelli candidati, permettendo di confrontare le prestazioni a diversi livelli di affidabilità (es. latenza al 99° percentile).
• Sfida: Spesso gli stessi dati vengono utilizzati sia per pre-selezionare un sottoinsieme di modelli promettenti da un pool ampio, sia per stimare le loro distribuzioni di KPI.
• Bias: Utilizzare gli stessi dati per selezione e inferenza senza correzioni adeguate introduce un bias di selezione, portando a stime ottimistiche errate (intervalli di confidenza troppo stretti) e a un tasso di copertura falso (False Coverage Rate - FCR) non controllato.

2. Metodologia: PS-DME

Gli autori propongono PS-DME (Post-Selection Distributional Model Evaluation), un quadro generale per la valutazione statistica valida delle distribuzioni dopo una selezione arbitraria dipendente dai dati.

• Approccio Basato su E-Valori:
  A differenza dei metodi classici che richiedono la divisione dei dati (Data Splitting), PS-DME utilizza l'intero dataset sia per la selezione che per l'inferenza. Per garantire la validità statistica, il metodo si fonda sugli e-valori (e-values), statistiche robuste per il testing di ipotesi che supportano la selezione post-hoc del livello di significatività.
• Costruzione delle Bande di Confidenza:
  Per ogni modello pre-selezionato $k$, PS-DME costruisce bande di confidenza uniformi per la CDF vera $F_k(x)$, definite come $[L_k(x), U_k(x)]$.
  • Le bande sono derivate invertendo un test basato su e-valori applicato alla distanza di Kolmogorov tra la CDF empirica e quella vera.
  • La larghezza della banda $\epsilon_k$ è calcolata utilizzando una funzione di calibrazione (e-calibrator) $f(\cdot)$ e un termine di correzione che dipende dal numero di modelli selezionati $|K|$.
• Controllo dell'FCR:
  Il metodo garantisce che il False Coverage Rate (FCR) sia inferiore a un livello target $\delta$. L'FCR è la frazione attesa di modelli selezionati per i quali la banda di confidenza non contiene la vera CDF.

3. Confronto con la Baseline (SS-DME)

Il paper confronta PS-DME con un metodo baseline basato sulla divisione dei dati (Sample Splitting - SS-DME):

• SS-DME: Divide i dati in due insiemi disgiunti: uno per la selezione del modello e uno per l'inferenza distribuzionale. Questo garantisce validità ma riduce la dimensione del campione disponibile per la stima delle bande, rendendole spesso più ampie (meno efficienti).
• PS-DME: Utilizza tutti i dati. Sebbene debba pagare un "prezzo" di correzione post-selezione (tramite la funzione inversa dell'e-calibrator), l'uso del campione completo rende le bande di confidenza più strette (più informative) in molti scenari pratici, specialmente quando i dati sono scarsi.
• Efficienza: È dimostrato che PS-DME produce bande più strette di SS-DME quando il guadagno nell'uso del campione completo supera il costo della correzione post-selezione.

4. Risultati Sperimentali

I risultati sono validati su tre scenari distinti:

1. Dati Sintetici (Regressione Lineare):

   • Confronto tra PS-DME, SS-DME e un approccio ingenuo (N-PS-DME, che non corregge il bias).
   • Risultato: N-PS-DME fallisce nel controllare l'FCR. PS-DME e SS-DME controllano l'FCR, ma PS-DME produce bande significativamente più strette, portando a una stima del KPI garantito (es. errore quadratico) migliore, specialmente con pochi dati di calibrazione.

2. Decodifica LLM (Text-to-SQL):

   • Valutazione di diverse configurazioni di decodifica per un modello linguistico (Qwen2.5-7B) sul benchmark Spider.
   • Risultato: PS-DME permette di selezionare configurazioni di decodifica che garantiscono prestazioni superiori (minore perdita) a parità di affidabilità rispetto a SS-DME, permettendo un'esplorazione più fine del trade-off qualità/latenza.

3. Valutazione delle Reti Telecom (O-RAN):

   • Analisi dell'occupazione del buffer in una rete cellulare 5G simulata.
   • Risultato: PS-DME fornisce garanzie più robuste rispetto a SS-DME. L'analisi mostra che la divisione dei dati in scenari con pochi dati porta a garanzie eccessivamente conservative (KPI garantito peggiore), mentre PS-DME mantiene prestazioni superiori.

5. Contributi Chiave

1. Nuovo Framework: Introduzione di PS-DME come protocollo formale per la valutazione distribuzionale di modelli dopo una selezione arbitraria dipendente dai dati.
2. Validità Statistica: Dimostrazione teorica che PS-DME controlla l'FCR utilizzando la teoria degli e-valori, permettendo l'uso completo dei dati senza compromettere la validità.
3. Efficienza Superiore: Analisi teorica ed empirica che dimostra come PS-DME superi i metodi basati sulla divisione dei dati (SS-DME) in termini di larghezza delle bande di confidenza e qualità delle stime garantite.
4. Applicabilità Pratica: Validazione su casi d'uso reali e complessi (LLM e reti 5G), dimostrando l'utilità per l'esplorazione dei trade-off prestazioni-affidabilità.

6. Significato e Impatto

Questo lavoro sposta il paradigma dalla selezione di modelli basata su un singolo punto di soglia (es. "il modello deve avere una latenza < 100ms") verso un'esplorazione distribuzionale.

• Permette agli ingegneri e ai ricercatori di comprendere l'intera gamma di prestazioni possibili a diversi livelli di rischio.
• Risolve il problema critico del bias di selezione quando si utilizzano gli stessi dati per ottimizzare e valutare i modelli.
• Offre uno strumento statisticamente solido per il deployment di sistemi critici (come reti 5G o agenti AI) dove la comprensione della coda della distribuzione (es. latenza estrema) è fondamentale per l'affidabilità.

In sintesi, PS-DME fornisce un metodo rigoroso per confrontare modelli in modo equo e informato, massimizzando l'uso dei dati disponibili senza sacrificare la garanzia statistica.