Beyond Augmented-Action Surrogates for Multi-Expert Learning-to-Defer

Il paper introduce un nuovo approccio al "Learning-to-Defer" che, superando i limiti dei metodi tradizionali, seleziona dinamicamente sia l'esperto sia le informazioni aggiuntive da fornirgli, proponendo un surrogato aumentato teoricamente garantito che supera le soluzioni separate in diverse sperimentazioni.

L'essenziale

Immagina di essere un medico generico molto bravo, ma non un esperto di tutto. Quando vedi un paziente con un sintomo strano, hai due opzioni: fare una diagnosi tu stesso oppure chiamare uno specialista (un cardiologo, un neurologo, ecc.).

Il problema è: quando devi chiamare lo specialista e quando puoi risolvere da solo?

Se hai 10 specialisti diversi nel tuo ufficio, la decisione diventa complicata. Se sbagli a chiamare, perdi tempo e soldi. Se non chiami quando dovresti, il paziente sta male.

Questo è il cuore del problema che risolve la ricerca di Yannis Montreuil e colleghi: "Learning-to-Defer" (Imparare a rimandare). È un sistema che insegna a un'intelligenza artificiale (il medico generico) quando è il momento di dire: "Non sono sicuro, chiamo l'esperto".

Il Problema: La "Festa del Troppo"

Fino a oggi, i metodi usati per insegnare questa abilità avevano un difetto fondamentale. Immagina che il medico generico e tutti gli specialisti siano seduti a un'unica grande tavola rotonda. Per decidere chi ha ragione, devono tutti competere per lo stesso "posto a sedere" (una probabilità condivisa).

Questo crea tre disastri quando il numero di esperti cresce:

1. Il Rumore della Folla (Amplificazione): Se 5 esperti sono d'accordo su una cosa, il sistema pensa che quella cosa sia 5 volte più importante di quanto non lo sia in realtà. È come se 5 amici ti dicessero "quel film è bello": tu pensi che sia un capolavoro assoluto, anche se sono solo 5 persone che hanno visto lo stesso trailer. Il sistema si confonde e impara male.
2. Il "Vincitore Prende Tutto" (Starvation): Alcuni metodi provano a risolvere il problema dicendo: "Ok, scegliamo solo l'esperto che ha il punteggio più alto". Ma questo è crudele! Se due esperti sono bravi, ma uno ha un punteggio di 0,51 e l'altro di 0,49, il sistema premia solo il primo e punisce il secondo, spingendolo verso il basso. È come se in una squadra di calcio, solo il capocannoniere venisse pagato, mentre gli altri giocatori venissero licenziati anche se hanno fatto un'ottima partita. Gli esperti "specialisti rari" (quelli bravi solo in casi difficili) vengono cancellati.
3. Il Contagio (Coupling): Se un esperto sbaglia, il sistema fa arrabbiare anche il medico generico. È come se il cardiologo sbagliasse una diagnosi e il medico generico venisse sgridato per questo. I due compiti si mescolano e si rovinano a vicenda.

La Soluzione: La "Cucina Separata"

Gli autori propongono un nuovo metodo chiamato "Surrogato Decoupled" (Decoupled Surrogate). Invece di mettere tutto in un'unica grande tavola, costruiscono due cucine separate che non si toccano mai.

• Cucina A (Il Medico): Usa un sistema per calcolare la sua probabilità di essere giusto (come una torta divisa in fette che sommano 100%).
• Cucina B (Gli Specialisti): Ogni specialista ha la sua piccola cucina con il suo forno. Ognuno calcola la sua probabilità di essere giusto indipendentemente dagli altri.

Perché funziona meglio?

1. Nessun Rumore: Se 5 esperti sono d'accordo, ognuno viene valutato per quello che è. Non si moltiplica il loro valore. È come ascoltare 5 amici: se sono d'accordo, è una conferma, ma non cambia la realtà del fatto.
2. Nessuna Ingiustizia: Se due esperti sono bravi, entrambi vengono incoraggiati. Non c'è bisogno di scegliere un "vincitore" e punire l'altro. Se un esperto è bravo solo per i casi rari, il sistema lo impara e lo usa quando serve, senza che venga schiacciato dagli altri.
3. Nessun Contagio: Se un esperto sbaglia, il medico generico non viene sgridato. Ognuno impara dai propri errori.

Cosa hanno scoperto con gli esperimenti?

Hanno fatto dei test su immagini (come riconoscere gatti e cani) e su dati reali (come le annotazioni di persone vere su internet).

Il risultato è stato chiaro:

• I vecchi metodi, quando aumentavano il numero di esperti, iniziavano a fare peggio. Il medico generico diventava confuso e smetteva di imparare.
• Il nuovo metodo "Decoupled" funzionava perfettamente, anche con 32 esperti diversi. Anzi, più esperti aggiungevi, più il sistema diventava intelligente, perché sapeva esattamente quando affidarsi a chi.

In Sintesi

Pensa a un'orchestra.

• I vecchi metodi erano come un'orchestra dove tutti gli strumenti suonavano la stessa nota insieme, creando un caos se c'erano troppi musicisti.
• Il nuovo metodo è come un direttore d'orchestra esperto che ascolta ogni musicista singolarmente. Se il violino è stonato, il direttore lo corregge senza colpevolizzare il flauto. Se ci sono 50 musicisti, il direttore sa esattamente quando affidarsi al solista e quando suonare da solo.

Questa ricerca ci insegna che, quando si lavora con molti esperti (o intelligenze artificiali), la chiave non è metterli tutti in competizione, ma dar loro il rispetto e lo spazio per lavorare ognuno nel proprio modo, senza interferenze.

Sommario tecnico

1. Il Problema: Multi-Expert Learning-to-Defer (L2D)

Il Learning-to-Defer (L2D) è un paradigma in cui un classificatore apprende quando è opportuno deferire (passare) un'istanza a un esperto esterno invece di fare una previsione autonoma. Nel contesto multi-esperto, il sistema deve decidere, per ogni esempio, se:

1. Prevedere direttamente la classe.
2. Deferire a uno tra $J$ esperti disponibili.

La regola di Bayes ottimale per questo problema è semplice: confrontare la probabilità a posteriori della classe migliore, $\eta_k(x) = P(Y=k|X=x)$, con l'utilità dell'esperto migliore, $\alpha_j(x) = P(M_j=Y|X=x)$. Si deve deferire se $\max_j \alpha_j(x) > \max_k \eta_k(x)$.

La sfida principale: Progettare una funzione di perdita surrogata (surrogate loss) che sia statisticamente coerente (consistente) e che ottimizzi correttamente questo confronto. Le metodologie esistenti si basano su un approccio comune: lo spazio delle azioni aumentato (augmented-action space), dove le $K$ classi e i $J$ esperti sono trattati come un unico insieme di $K+J$ azioni, con una singola vettore di punteggi condiviso.

Il paper identifica che, sebbene questi metodi siano consistenti, soffrono di gravi problemi di ottimizzazione che peggiorano all'aumentare del numero di esperti:

• Amplificazione del gradiente: I campioni su cui molti esperti sono corretti ricevono un peso sproporzionato durante l'addestramento.
• Soffocamento (Starvation): Gli esperti corretti ma non "vincitori" vengono penalizzati.
• Accoppiamento (Coupling): Gli aggiornamenti dei gradienti delle classi e degli esperti si influenzano negativamente a vicenda.

2. Metodologia Proposta: Il Surrogato Disaccoppiato (Decoupled Surrogate)

Gli autori propongono un nuovo approccio che abbandona completamente la geometria dello spazio delle azioni aumentato. Invece di un singolo vettore di punteggi, il modello utilizza due testine (heads) distinte e disaccoppiate:

1. Testina di Classificazione: Utilizza una softmax per stimare la distribuzione a posteriori delle classi $p(x) \in \Delta^K$.
2. Testine degli Esperti: Utilizza $J$ sigmoide indipendenti per stimare l'utilità di ciascun esperto $u_j(x) \in (0, 1)$.

La funzione di perdita surrogata proposta è:
$$\Phi_{dec}^\lambda(w, s; x, y, m) = -\log p_y(x) - \frac{\lambda}{J} \sum_{j=1}^J \left[ t_j \log u_j(x) + (1-t_j) \log(1-u_j(x)) \right]$$
Dove $t_j = \mathbb{I}\{m_j = y\}$ è l'etichetta binaria di correttezza per l'esperto $j$.

Regola di decisione: Al momento del test, si confronta direttamente nello spazio delle probabilità:
$$r_{dec}(x) = \begin{cases} 0 & \text{se } \max_k p_k(x) \ge \max_j u_j(x) \\ \arg\max_j u_j(x) & \text{altrimenti} \end{cases}$$

3. Contributi Chiave e Analisi Teorica

Analisi dei Metodi Esistenti (Asse Statistico vs Asse di Ottimizzazione)

Gli autori analizzano cinque surrogati esistenti (Additive CE, PiCCE, Mao25, A-SM, OvA) lungo due assi:

1. Target Statistico: Cosa viene appreso al limite della popolazione (coerenza con Bayes).
2. Geometria di Ottimizzazione: Come vengono distribuiti i gradienti durante l'addestramento.

Il risultato dell'analisi è che ogni metodo esistente risolve un problema ma ne introduce un altro:

• Additive CE: Distorce il target statistico (normalizza in base alla sovrapposizione degli esperti) e amplifica i gradienti ($O(|J|)$).
• PiCCE: Risolve l'amplificazione ma introduce il "soffocamento" degli esperti corretti non vincitori (winner-take-all).
• A-SM: Corregge il target statistico ma mantiene un forte accoppiamento dei gradienti tra classi ed esperti.
• OvA: Disaccoppia i gradienti ma non garantisce che le stime delle classi formino una distribuzione categorica coerente (non sono su un simplex).

Proprietà del Surrogato Disaccoppiato

Il nuovo metodo soddisfa contemporaneamente tre proprietà critiche:

1. Stima Corretta del Target: Recupera esattamente $(\eta, \alpha)$ al minimo condizionale.
2. Geometria Disaccoppiata e Limitata:
   • Nessuna Amplificazione: Il gradiente per un esperto dipende solo dalla sua previsione, non dal numero di altri esperti corretti.
   • Nessun Soffocamento: Ogni esperto corretto riceve un gradiente di rinforzo positivo, indipendentemente dagli altri.
   • Nessun Accoppiamento: Il gradiente della classe è indipendente dalle stime degli esperti (matrice Hessiana a blocchi diagonali).
3. Legame di Coerenza H-Consistency: Viene derivato un limite di coerenza con una costante di calibrazione che non cresce con $J$ (il numero di esperti) se il peso per esperto $\beta = \lambda/J$ è fissato. Questo è un miglioramento significativo rispetto ai metodi precedenti dove la costante cresceva con $\sqrt{J}$ o $J$.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark sintetici e reali (CIFAR-10, CIFAR-10H, Covertype).

• Benchmark Sintetici:

  • Dimostrano che i metodi basati su azioni aumentate falliscono sistematicamente in scenari di ridondanza (amplificazione), specialista raro (soffocamento) e ranking degli esperti.
  • Il surrogato disaccoppiato mantiene un regret di deferenza vicino a zero anche con $J=32$ esperti ridondanti, mentre gli altri metodi degradano drasticamente.

• CIFAR-10 (Esperti Sintetici):

  • Il surrogato disaccoppiato è l'unico metodo che migliora l'accuratezza del sistema rispetto al classificatore autonomo (standalone) all'aumentare di $J$.
  • I metodi basati su A-SM e Additive CE vedono crollare l'accuratezza del classificatore (fino al 68% per A-SM con $J=32$) a causa dell'inquinamento dei gradienti.

• CIFAR-10H (Annotatori Umani Reali):

  • Il surrogato disaccoppiato mantiene un'accuratezza del classificatore stabile (89%) e un'accuratezza di sistema superiore (96%) indipendentemente dal numero di annotatori ($J=5, 10, 20$).
  • Gli altri metodi mostrano instabilità o collasso del classificatore (es. A-SM scende al 47% con $J=20$).

• Covertype (Esperti Modelli ML):

  • In un setting di routing tra modelli pre-addestrati, il metodo proposto ottiene la massima accuratezza di sistema (0.934) e migliora anche l'accuratezza del classificatore di base (0.941 vs 0.929), dimostrando che l'apprendimento degli esperti non danneggia la classe.

5. Significato e Conclusione

Questo lavoro rappresenta un cambio di paradigma nel campo del Learning-to-Defer multi-esperto.

• Critica alla letteratura: Dimostra che la famiglia di metodi basata sullo "spazio delle azioni aumentato" è intrinsecamente limitata: non può risolvere contemporaneamente i problemi statistici e quelli di ottimizzazione.
• Soluzione Robusta: Il surrogato disaccoppiato offre una soluzione teoricamente fondata e praticamente robusta che scala linearmente con il numero di esperti senza degradare le prestazioni.
• Impatto Pratico: Permette di costruire sistemi di routing affidabili in scenari reali con molti esperti (umani o modelli AI), preservando la qualità del classificatore base e garantendo che gli esperti rari o specializzati non vengano "soffocati" durante l'addestramento.

In sintesi, gli autori concludono che la separazione strutturale tra la stima della distribuzione delle classi e quella delle utilità degli esperti non è solo un'opzione, ma una necessità per scalare efficacemente il Learning-to-Defer a pool di esperti di grandi dimensioni.