Riepilogo Tecnico: PASC (Conformal Prediction Consapevole della Pipeline)

1. Enunciato del Problema

I moderni sistemi NLP e i Large Language Model (LLM) sono sempre più distribuiti come pipeline multi-stadio (ad esempio, Riconoscimento di Entità Nominate $\to$ Disambiguazione delle Entità $\to$ Classificazione delle Entità, o catene Pianificatore $\to$ Strumento $\to$ Critico). Una sfida critica in questi sistemi è la Quantificazione dell'Incertezza End-to-End (E2E).

Sebbene le singole fasi possano essere calibrate per fornire garanzie di copertura marginale (ad esempio, $P(\text{fase}_k \text{ coperta}) \ge 1-\alpha$), queste garanzie non si traducono per l'intera pipeline.

• Calibrazione Indipendente: Calibrare ogni fase al livello $1-\alpha$ indipendentemente risulta in una probabilità di copertura congiunta di al massimo $(1-\alpha)^K$ (sotto l'ipotesi di indipendenza), che degrada significativamente all'aumentare del numero di fasi $K$. Per $K=3$ e $\alpha=0.1$, la copertura congiunta scende a $\approx 72.9\%$, ben al di sotto dell'obiettivo del $90\%$.
• Correzione di Bonferroni: Applicare un limite di unione calibrando ogni fase a $1-\alpha/K$ garantisce la copertura congiunta ($\ge 1-\alpha$) ma è eccessivamente conservativa. Assegna budget di errore uniformemente indipendentemente dalla difficoltà della fase, portando a insiemi di previsione inutilmente grandi (sovra-copertura) su fasi facili senza guadagni proporzionali nell'affidabilità congiunta.
• Alternative Esistenti: Metodi come MC Dropout o Deep Ensembles forniscono stime euristichedell'incertezza ma mancano di garanzie finite-campionali, libere dalla distribuzione e spesso ignorano le dipendenze tra le fasi.

Il problema centrale è la mancanza di un metodo che fornisca una garanzia formale, finite-campionale, libera dalla distribuzione di copertura congiunta per l'intera pipeline, mantenendo al contempo l'efficienza (cioè, non gonfiando inutilmente le dimensioni degli insiemi di previsione).

2. Metodologia: PASC

Gli autori propongono PASC (Pipeline-Aware Split Conformal), un metodo che riduce il problema di calibrazione congiunta multi-stadio a un problema standard di previsione conforme scalare.

Insight Chiave

L'evento "tutte le $K$ fasi sono coperte simultaneamente" è matematicamente equivalente all'evento "il punteggio di non-conformità massimo tra tutte le fasi non supera una soglia."
$$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$$
dove $s_k$ è il punteggio di non-conformità della fase $k$.

Algoritmo

1. Definizione del Punteggio: Per un campione della pipeline, calcolare i punteggi di non-conformità per fase ($s_1, \dots, s_K$).
   • NER: $s_{NER} = \max_t (1 - p_{BIO, t})$ (probabilità softmax).
   • NED: $s_{NED} = 1 - \text{score}(e^*)$ (punteggio dell'entità classificata al primo posto).
   • Classificazione delle Entità: $s_{typing} = 1 - \max_c \min_{\text{span}} p_{RoBERTa}$.
2. Punteggio Massimo Congiunto: Calcolare il punteggio massimo scalare per ogni campione: $s_{\max} = \max_k s_k$.
3. Calibrazione: Utilizzando un set di calibrazione, calcolare la quantile conforme $\hat{q}$ della distribuzione di $s_{\max}$ al livello $1-\alpha$.
4. Previsione: Per un input di test, calcolare i punteggi per fase. La pipeline è accettata se $s_{\max} \le \hat{q}$. L'insieme di previsione per ogni fase $k$ è $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$.

Garanzia Teorica

Sotto l'assunzione di scambiabilità tra i dati di calibrazione e di test, PASC fornisce una garanzia finite-campionale, libera dalla distribuzione:
$$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$$
La garanzia è quasi stretta, limitata da $1 - \alpha + \frac{1}{n+1}$. A differenza di Bonferroni, che utilizza un limite di unione nel caso peggiore, PASC si adatta alla distribuzione empirica congiunta dei punteggi, assegnando automaticamente budget più stretti alle fasi "facili" (bassi punteggi) e budget più laschi alle fasi "difficili".

3. Contributi Chiave

1. Algoritmo PASC: Una procedura di calibrazione consapevole della pipeline che riduce la copertura congiunta multi-stadio a un singolo calcolo di quantile scalare sul punteggio massimo di non-conformità congiunto.
2. Garanzia Formale: Un teorema che prova la copertura congiunta finite-campionale, libera dalla distribuzione ($\ge 1-\alpha$) sotto scambiabilità, con un risultato di quasi-strettezza.
3. Valutazione Completa: Esperimenti su tre scenari di shift (in-distribution, NER Twitter, NER Wikipedia), variando le dimensioni di calibrazione e scalando da $K=1$ a $K=6$ fasi.
4. Controlli di Sanity: Test di permutazione e controlli negativi che confermano che la validità non è un artefatto di errori di implementazione, perdita di dati o soglie eccessivamente ampie.

4. Risultati Sperimentali

Gli autori hanno valutato PASC su una pipeline a tre fasi (NER $\to$ NED $\to$ Classificazione delle Entità) utilizzando i dataset CoNLL-2003, WNUT-17 e WikiNEuRal.

• Copertura vs Efficienza: A $\alpha=0.1$ con $K=3$:
  • PASC: Ha raggiunto una copertura E2E del 96.4%.
  • Bonferroni: Ha raggiunto una copertura E2E del 93.4%.
  • CP Indipendente: Ha raggiunto una copertura E2E dell'86.5%.
  • Crucialmente, tutti i metodi hanno mantenuto una dimensione media dell'insieme di previsione identica di 1.083, dimostrando la superiore efficienza di PASC nel convertire la probabilità di copertura in dimensione dell'insieme.
• Shift di Distribuzione: Quando calibrato su CoNLL-2003 e testato su domini shiftati (WNUT-17, WikiNEuRal):
  • La CP Indipendente è crollata al 59.0% di copertura.
  • PASC e Bonferroni hanno mantenuto una copertura del 100% (a causa di soglie conservative che forniscono un buffer contro lo shift).
• Scalabilità a $K$ Fasi: In esperimenti sintetici che scalano a $K=6$:
  • La copertura della CP Indipendente è scesa a 0.53 (collasso moltiplicativo).
  • PASC è rimasto vicino alla copertura target, evitando il decadimento moltiplicativo.
• Copertura Condizionale: PASC ha mostrato vantaggi significativi su sottopopolazioni "difficili" (ad esempio, il quintile di confidenza NER più difficile), raggiungendo una copertura dell'82.0% rispetto al 67.0% di Bonferroni e al 30.0% della CP Indipendente.
• Tempo di Esecuzione: La calibrazione PASC è 1.7$\times$ più veloce di Bonferroni e della CP Indipendente perché richiede il calcolo di un solo quantile invece di $K$.

5. Significato e Affermazioni

Il paper afferma che PASC affronta un vuoto fondamentale nella distribuzione di sistemi NLP multi-stadio:

• Certificazione Diretta: A differenza della CP Indipendente (che certifica le fasi locali ma fallisce globalmente) o di Bonferroni (che garantisce globalmente ma paga una "tassa di conservatorismo"), PASC certifica direttamente l'evento esatto di interesse distribuito (accettazione congiunta).
• Riduzione Minima: La riduzione da un problema multi-stadio a un problema scalare è matematicamente semplice (utilizzando il massimo) ma rappresenta la scalizzazione monotona sufficiente minima per l'evento di accettazione congiunta.
• Applicabilità Pratica: Il metodo è immediatamente applicabile a qualsiasi pipeline multi-stadio (inclusi sistemi LLM composti e flussi di lavoro di agenti) senza richiedere modifiche al modello o un pesante sovraccarico di inferenza.
• Robustezza: Sebbene le garanzie teoriche dipendano dalla scambiabilità, i risultati empirici suggeriscono che PASC mantiene la copertura sotto shift di distribuzione meglio della CP Indipendente, sebbene gli autori notino che l'estensione alla CP pesata per la gestione robusta dello shift è un lavoro futuro.

Gli autori posizionano PASC non come un sostituto per la calibrazione specifica per fase, ma come il necessario livello di aggregazione che garantisce l'affidabilità dell'output dell'intera pipeline, che è la metrica che conta per il processo decisionale a valle in applicazioni ad alto rischio.