When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression

Riepilogo Tecnico: Diagnostica di Calibrazione per la Regressione con Pseudo-Etichette

1. Enunciato del Problema

Le pipeline di machine learning moderne utilizzano sempre più frequentemente punteggi di probabilità calibrati provenienti da classificatori addestrati su piccoli sottoinsiemi etichettati ($L$) per informare compiti di regressione a valle su grandi popolazioni non etichettate ($U$). Le applicazioni comuni includono la stima di effetti a livello di popolazione, prevalenze o disparità per gruppi latenti (ad esempio, attributi protetti negli audit di equità o rischio di malattia nella diagnostica per immagini).

Una pratica dominante in questo contesto semi-supervisionato è il pseudo-etichettamento: convertire la probabilità calibrata $p$ in un'etichetta binaria rigida $\hat{G}$ applicando una soglia di confidenza $\tau_{thr}$ (ad esempio, 0.9). Sebbene empiricamente efficace per la classificazione, questo articolo affronta un divario critico: come influenza questa sogliatura il coefficiente di regressione a valle? La letteratura esistente manca di una spiegazione quantitativa di come la sogliatura della confidenza attenui o distorca l'oggetto di stima di interesse, specificamente nel contesto di modelli di regressione parzialmente lineari in cui l'obiettivo è stimare l'associazione tra un indicatore di gruppo latente $G$ e un esito $Y$, controllando per le covariate $X$.

2. Metodologia e Impostazione

L'articolo opera all'interno di un quadro in cui:

• Dati: Vengono osservati due campioni i.i.d.: un insieme etichettato $L = \{(W_i, X_i, G_i, Y_i)\}$ e un insieme non etichettato più ampio $U = \{(W_i, X_i, Y_i)\}$.
• Caratteristiche: Il classificatore è addestrato su un insieme di caratteristiche $W$, mentre la regressione a valle controlla per un sottoinsieme $X \subseteq W$. Crucialmente, l'articolo impone una separazione strutturale in cui $W$ deve essere strettamente più ricco di $X$ ($X \subsetneq W$) per garantire l'identificabilità.
• Modello: Il parametro target $\tau$ è definito tramite una regressione parzialmente lineare: $E[Y | G, X] = \mu(X) + \tau G$.
• Assunzione: L'output del classificatore $p = f(W)$ è condizionatamente calibrato, soddisfacendo $E[G | p, X] = p$.

Basandosi su un risultato di identificazione complementare [8], gli autori utilizzano un'equazione dei momenti per identificare $\tau$ utilizzando direttamente il punteggio calibrato $p$ (il "soft" estimator). Successivamente, analizzano le proprietà del "hard" estimator, che sostituisce $p$ con un'etichetta binaria sogliata $\hat{G} = \mathbb{1}\{p > \tau_{thr}\}$.

3. Contributi Chiave e Risultati Teorici

L'articolo deriva cinque previsioni specifiche e una procedura diagnostica, formalizzate come segue:

I. Bias di Attenuazione in Forma Chiusa (Previsione 1)
L'articolo deriva un'espressione in forma chiusa per il bias di attenuazione indotto dal pseudo-etichettamento rigido. Il limite in probabilità del "hard" estimator $\hat{\tau}_{hard}$ è:
$$\text{plim } \hat{\tau}_{hard} = \kappa(\tau_{thr}) \cdot \tau$$
dove il fattore di attenuazione $\kappa(\tau_{thr})$ è la pendenza OLS della popolazione dell'etichetta rigida residua sul punteggio morbido residuo.

• Significato: Questo fattore è calcolabile prima di eseguire qualsiasi inferenza, esclusivamente dalla distribuzione congiunta di $(p, X)$ sull'insieme non etichettato. Quantifica esattamente quanto segnale viene perso quando si binarizza la probabilità a una specifica soglia.

II. Varianza a Sandwich per gli Estimatori Soft (Previsione 2)
La varianza asintotica dell'estimatore soft (che utilizza $p$ direttamente) scala inversamente con il quadrato della varianza del punteggio residuo $V^* = E[\text{Var}(p|X)]$.

• Implicazione: Anche riduzioni modeste nell'informatività del punteggio (bassa $V^*$) portano a enormi perdite di precisione. L'articolo fornisce un plug-in a varianza a sandwich che produce intervalli di Wald validi.

III. Rimpianto Bias-Varianza della Sogliatura della Confidenza (Previsione 3)
Per i metodi che limitano il pseudo-etichettamento a un sottoinsieme confidente (ad esempio, stile FixMatch), l'Errore Quadratico Medio (MSE) si decompone in un termine di bias al quadrato (guidato da $\kappa_{FM}$) e un termine di varianza (inflazionato dalla dimensione ridotta del campione $|C|$).

• Risultato: Man mano che la soglia diventa più selettiva, la varianza cresce monotonicamente mentre il bias può fluttuare. L'MSE totale diventa spesso guidato dalla varianza, rendendo l'estimatore soft superiore in molti regimi, nonostante la sua mancanza di "hard" labels.

IV. Limite di Sensibilità in caso di Deriva della Calibrazione (Previsione 4)
Sotto uno spostamento di distribuzione limitato in cui la condizione di calibrazione vale con un errore $\eta(p, X)$ limitato da $\delta$, il bias asintotico è limitato da:
$$|\text{plim } \hat{\tau} - \tau| \leq |\tau| \frac{\delta E|2p-1|}{2V^*}$$

• Implicazione: Una maggiore varianza residua $V^*$ (punteggi più informativi) riduce proporzionalmente il bias nel caso peggiore per un dato livello di deriva della calibrazione.

V. Il Confine del Collasso di $V^*$ (Previsione 5)
L'articolo identifica un confine netto: $V^* = 0$ se e solo se $p$ è una funzione deterministica di $X$.

• Requisito Strutturale: Se le caratteristiche del classificatore $W$ sono identiche ai controlli a valle $X$, allora $p = f(X)$, $V^*=0$, e l'equazione dei momenti diventa non informativa (l'identificazione fallisce). Il rimedio è garantire che $W$ contenga caratteristiche non controllate nella regressione a valle.

4. La Procedura Diagnostica

Gli autori propongono un algoritmo diagnostico pratico, di una pagina (Algoritmo 1), per permettere ai praticanti di decidere se la sogliatura della confidenza è sicura:

1. Calcolare $V^*$: Stimare la varianza residua del punteggio calibrato dopo aver regresso $X$ sull'insieme non etichettato.
2. Calcolare $\hat{\kappa}$: Per una griglia di soglie, stimare il fattore di attenuazione.
3. Regola Decisionale:
   • Se l'errore standard implicato dell'estimatore soft è troppo alto (a causa di una bassa $V^*$), preferire la baseline supervisionata (utilizzando solo $L$).
   • Se $\hat{\kappa}$ è lontano da 1 per tutte le soglie, la sogliatura rigida causa un'attenuazione significativa; preferire l'estimatore soft.
   • Altrimenti, entrambe sono accettabili, sebbene l'estimatore soft sia raccomandato per la sua robustezza rispetto alla scelta della soglia.

5. Risultati Sperimentali

L'articolo convalida queste previsioni attraverso cinque simulazioni controllate e un'illustrazione su dati reali sul dataset UCI Adult Income:

• Attenuazione: Le stime empiriche di $\hat{\tau}_{hard}$ hanno corrisposto alle previsioni in forma chiusa $\kappa(\tau_{thr})$ attraverso sei diverse soglie con alta significatività statistica.
• Varianza: La formula della varianza a sandwich ha previsto accuratamente la varianza Monte Carlo e ha raggiunto una copertura nominale del 95%.
• Rimpianto: Gli esperimenti hanno confermato che soglie ad alta confidenza portano spesso a un alto MSE a causa dell'inflazione della varianza, convalidando l'analisi del trade-off bias-varianza.
• Sensibilità: Il limite di sensibilità derivato è valso in vari scenari di deriva della calibrazione, con il bias empirico che è rimasto ben al di sotto della busta teorica del caso peggiore.
• Caso Reale: Nell'esperimento su UCI Adult, la diagnostica ha correttamente identificato che la baseline supervisionata (OLS su $L$) ha superato gli estimatori con pseudo-etichette perché l'insieme etichettato era sufficientemente informativo e la probabilità condizionata era ben spiegata dai controlli (bassa $V^*$ rispetto al rumore). Al contrario, la diagnostica ha mostrato che le etichette rigide su questo dataset hanno subito un'attenuazione minima ($\hat{\kappa} \approx 0.92$) a causa della ricchezza delle caratteristiche del classificatore.

6. Significato e Affermazioni

L'articolo rivendica un contributo operativo piuttosto che una nuova architettura algoritmica. Non propone un nuovo algoritmo di pseudo-etichettamento né compete con le funzioni di perdita di classificazione all'avanguardia (come FixMatch). Invece, fornisce:

1. Una giustificazione quantitativa del perché la sogliatura della confidenza distorca i coefficienti di regressione a valle.
2. Uno strumento diagnostico (regola decisionale $(V^*, \kappa)$) che permette ai praticanti di calcolare, a priori, se l'uso di etichette rigide è sicuro o se dovrebbero attenersi a punteggi soft o a un approccio puramente supervisionato.
3. Un'intuizione strutturale secondo cui la separazione tra le caratteristiche del classificatore ($W$) e i controlli a valle ($X$) non è meramente una scelta di progettazione, ma una necessità matematica per l'identificazione in questo contesto.

Gli autori sottolineano che il loro quadro è "consapevole della calibrazione", traducendo la qualità astratta della calibrazione di un classificatore in limiti concreti sul bias di stima a valle, colmando così il divario tra le prestazioni di classificazione e l'inferenza causale/associativa.