Density-Ratio Losses for Post-Hoc Learning to Defer

Enunciato del Problema
Learning to Defer (L2D) affronta la sfida di distribuire modelli di machine learning (ML) in domini ad alto rischio (ad esempio, sanità, finanza) dove l'affidabilità è fondamentale. L'obiettivo è permettere a un modello di astenersi dal fare una previsione e deferire invece a un esperto (potenzialmente umano) quando l'output del modello è considerato inaffidabile. Mentre Learning to Reject (L2R) consente ai modelli di astenersi basandosi sulla propria confidenza, L2D incorpora esplicitamente un esperto nel processo di addestramento per apprendere quando è probabile che l'esperto superi le prestazioni del modello.

Un vincolo critico nel ML moderno è il setting "post-hoc", in cui un modello base pre-addestrato $h$ è fisso e viene appreso solo il meccanismo di deferimento (rifiutatore) $r$. Il riaddestramento di modelli di grandi dimensioni è spesso proibitivamente costoso. Gli approcci post-hoc esistenti si basano spesso su euristiche semplici (ad esempio, soglie di confidenza) o tentano di stimare target di confronto punto per punto con l'esperto (prevedendo quando l'esperto è corretto e il modello no). Tuttavia, questi metodi possono fallire in caso di spostamenti della distribuzione o quando gli esperti sono specializzati. Inoltre, molti metodi esistenti richiedono il riaddestramento per regolare il tasso di deferimento, limitandone l'adattabilità.

Metodologia
Il paper propone un nuovo framework per L2D post-hoc basato su distribuzioni ideali e stima del rapporto di densità.

1. Distribuzioni Ideali: Gli autori definiscono una "distribuzione ideale" come una ripesatura regolarizzata dalla divergenza della vera distribuzione dei dati $P$, sotto la quale una specifica coppia classificatore-perdita ottiene una bassa perdita. Introducono due tipi:

   • Ideale Marginal ($Q_m$): Ottimizzato sullo spazio delle osservazioni $X$.
   • Ideale Congiunto ($Q_j$): Ottimizzato sullo spazio congiunto $X \times Y$.
     Per la divergenza di Kullback-Leibler (KL), questi ideali risultano essere ripesature moltiplicative della distribuzione dei dati, dove i pesi dipendono dalla perdita attesa del classificatore (o dell'esperto) sotto la posterior di classe di Bayes.

2. Regola di Deferimento per Rapporto di Densità: Invece di apprendere direttamente un rifiutatore binario, gli autori definiscono il deferimento confrontando le distribuzioni ideali del modello $h$ e dell'esperto $h^{(e)}$. La decisione di deferimento viene presa applicando una soglia al rapporto di densità $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$.

   • Se l'osservazione $x$ è meglio spiegata dalla distribuzione ideale dell'esperto (cioè il rapporto è basso), il modello deferisce.
   • Questo approccio separa naturalmente lo scorer (il stimatore del rapporto di densità) dalla soglia di deferimento, consentendo di regolare il tasso di deferimento dopo l'addestramento senza riaddestrare lo scorer.

3. Connessioni Teoriche:

   • Regola di Chow: Per gli ideali marginali KL, la regola derivata recupera la classica regola di Chow sotto la distribuzione originale dei dati.
   • Posterior Tiltata dall'Esperto: Per gli ideali congiunti KL, la regola corrisponde a una decisione stile Chow sotto una distribuzione "tiltata dall'esperto". Questa distribuzione ripesa le etichette in base alla perdita dell'esperto, incorporando efficacemente il vantaggio comparativo dell'esperto nella decisione di deferimento.
   • Test di Ipotesi: La regola di deferimento è inquadrata come un test di ipotesi di Neyman-Pearson che distingue tra la distribuzione ideale del modello e quella dell'esperto.

4. Perdite DR CPE: Poiché le distribuzioni ideali dipendono dalla posterior di Bayes sconosciuta e richiedono l'accesso punto per punto all'esperto (non disponibile al momento del test), gli autori non possono utilizzare soluzioni in forma chiusa. Invece, riducono la Stima del Rapporto di Densità (DRE) alla Stima della Probabilità di Classe (CPE).

   • Derivano una famiglia di perdite DR CPE ($L_m$ e $L_j$) che permettono di apprendere il rapporto di densità tra le distribuzioni ideali del modello e dell'esperto tramite un compito di classificazione binaria.
   • La perdita DR CPE congiunta ($L_j$) risulta essere praticamente stimabile e funge da limite superiore per la perdita marginale ($L_m$).
   • Il paper stabilisce connessioni tra questo approccio e metodi esistenti di stima del confronto con l'esperto (ad esempio, regressione sulla differenza di accuratezza zero-one) e rilevamento di anomalie.

Contributi Chiave

• Formulazione Distribuzionale: Il paper introduce un framework post-hoc L2D basato sul confronto delle distribuzioni ideali del modello e dell'esperto, piuttosto che sulla stima diretta delle prestazioni punto per punto.
• Ideali Marginali vs Congiunti: Analizza la distinzione tra distribuzioni ideali marginali e congiunte, mostrando che la regola congiunta corrisponde al deferimento sotto una distribuzione tiltata dall'esperto, il che è praticamente significativo in quanto tiene conto dei punti di forza specifici dell'esperto.
• Perdite DR CPE: Gli autori derivano una nuova famiglia di funzioni di perdita (DR CPE) che abilitano l'apprendimento di regole di deferimento tramite la stima standard della probabilità di classe, colmando il divario tra distribuzioni ideali teoriche e apprendimento pratico.
• Adattabilità: Il metodo disaccoppia lo scorer dalla soglia, consentendo la regolazione dei tassi di deferimento senza riaddestramento.

Risultati Sperimentali
Gli autori valutano il loro approccio DR CPE sui dataset CIFAR-100 e MedMNIST in vari setting di corruzione (rumore nelle etichette, distribuzioni a coda lunga e sottoinsiemi di specialisti).

• Competitività: L'approccio DR CPE si comporta in modo competitivo rispetto a baseline comuni, incluse euristiche basate sulla confidenza, metodi di perdita surrogata a due stadi e stimatori di confronto con l'esperto.
• Robustezza: Il metodo dimostra una robustezza superiore attraverso diverse combinazioni di corruzione del dataset rispetto alle baseline. Ad esempio, mentre altri metodi faticano significativamente su sottoinsiemi di specialisti (ad esempio, DermaMNIST specialist), DR CPE mantiene prestazioni stabili.
• Ablazione: Gli esperimenti mostrano che la scelta della funzione di perdita (ad esempio, Generalized Cross-Entropy vs Probabilistic Zero-One) e del parametro di temperatura $\gamma$ influisce sulle prestazioni, ma l'approccio DR CPE congiunto rimane robusto.

Significato e Affermazioni
Il paper afferma di inquadrare L2D post-hoc come un problema di apprendimento del rapporto di densità tra distribuzioni ideali. Questa prospettiva:

• Colma il divario tra le regole classiche stile Chow e i moderni metodi di confronto con l'esperto.
• Illumina le connessioni con setting di apprendimento correlati come il rilevamento di anomalie.
• Fornisce un metodo teoricamente fondato che è praticamente robusto e adattabile, affrontando i limiti del riaddestramento di modelli di grandi dimensioni e l'instabilità di euristiche semplici in ambienti ad alto rischio e con distribuzioni spostate.

Gli autori notano che, sebbene il loro approccio non fornisca attualmente garanzie di consistenza per le perdite surrogato (un limite teorico rispetto ad alcuni metodi end-to-end), offre una soluzione pratica e robusta per il deferimento post-hoc che sfrutta efficacemente le informazioni dell'esperto senza richiedere il riaddestramento completo del modello.