Sintesi Tecnica: Scoperta di Gruppi Latenti per una Classificazione Robusta tramite Neural Classification Trees (NCT)

1. Definizione del Problema

Le reti neurali profonde sfruttano frequentemente correlazioni spurie — caratteristiche correlate alle etichette nel set di addestramento ma prive di validità causale — per raggiungere un'elevata accuratezza media. Questo comportamento porta a un degrado sproporzionato delle prestazioni sui sottogruppi sottorappresentati quando tali correlazioni cambiano al momento del test (ad esempio, classificare uccelli in base allo sfondo piuttosto che in base alle caratteristiche dell'uccello).

Sebbene i metodi esistenti come il Group Distributionally Robust Optimization (Group DRO) o le tecniche di inferenza di pseudo-gruppo (ad es., JTT, GEORGE) migliorino l'accuratezza del worst-group, essi soffrono di un limite critico: la mancanza di interpretabilità. Questi metodi regolano i parametri della rete per mitigare il bias, ma all'inferenza producono solo una predizione di classe. Non rivelano a quale sottogruppo latente appartenga un campione specifico, né isolano strutturalmente le caratteristiche contrastanti. Inoltre, molti metodi robusti si affidano a annotazioni di gruppo fini e costose o a etichette di gruppo di validazione, che spesso non sono disponibili in scenari reali.

2. Metodologia: Neural Classification Trees (NCT)

Gli autori propongono i Neural Classification Trees (NCT), un framework che codifica la struttura dei sottogruppi direttamente nell'architettura a forma di albero del modello. Invece di utilizzare transitoriamente segnali di difficoltà per la riponderazione, NCT preserva la partizione dei dati come l'architettura stessa del tempo di inferenza.

Meccanismo Centrale

Il metodo opera sulla osservazione che la difficoltà di addestramento è un proxy affidabile per l'identità del gruppo semantico. I campioni allineati con le correlazioni spurie sono "facili" da apprendere, mentre i contro-esempi (gruppi di minoranza) sono "difficili".

1. Routing Iterativo:

   • Il processo inizia con un classico head di classificazione.
   • In ogni iterazione $t$, i campioni vengono instradati verso i nodi figli in base alla correttezza della predizione rispetto al nodo assegnato.
   • Ramo Facile (Easy Branch): I campioni classificati correttamente procedono verso il figlio con indice pari ($2j$).
   • Ramo Difficile (Hard Branch): I campioni classificati erroneamente procedono verso il figlio con indice dispari ($2j+1$).
   • Questo routing è deterministico e guidato dalla dinamica di addestramento. La stringa binaria delle decisioni di routing ($d^{(1)}_i d^{(2)}_i \dots$) codifica la cronologia della difficoltà di addestramento del campione.

2. Architettura di Caratteristiche Gerarchica:

   • NCT utilizza una backbone condivisa $f_\theta$ e una gerarchia di head di classificazione.
   • Flusso di Caratteristiche: A differenza degli alberi standard che scartano i livelli precedenti, NCT conserva tutti gli head dalle iterazioni precedenti. Un head figlio all'iterazione $t$ riceve in input la rappresentazione del suo nodo genitore al tempo $t-1$, garantendo che gli head specializzati operino su caratteristiche condizionate dalla semantica del genitore.
   • Capacità Asimmetrica: Per gestire la complessità delle partizioni "difficili", i figli difficili utilizzano un blocco linear–ReLU–dropout, mentre i figli facili utilizzano un semplice strato lineare.

3. Ottimizzazione e Stabilità:

   • Loss Ausiliaria: Per prevenire l'oblio catastrofico delle rappresentazioni del genitore durante l'addestramento dei nodi figli, viene imposta una loss ausiliaria sui nodi genitori durante l'addestramento dei figli.
   • Addestramento in Due Fasi: Ogni iterazione prevede il congelamento della backbone per adattare i nuovi head, seguito dal fine-tuning dell'intera rete per risolvere i nodi difficili precedentemente inseparabili.

4. Controllo della Profondità (Non Supervisionato):

   • Poiché non sono disponibili etichette di gruppo, NCT utilizza un criterio di Pseudo Worst-Group Accuracy (pWGA) per determinare quando interrompere l'approfondimento dell'albero.
   • Raggruppa i campioni di validazione in base al loro antenato dell'iterazione-2 e monitora l'accuratezza minima attraverso questi gruppi.
   • Un limite di early-stopping basato sulla tolleranza di Wilson assicura che l'albero smetta di crescere quando la pWGA non migliora significativamente, prevenendo l'overfitting sul rumore.
   • Fusione dei Nodi Sparsi (Sparse-Node Merging): I figli difficili con pochissimi campioni vengono fusi con i loro fratelli facili per mantenere l'affidabilità statistica.

3. Contributi Chiave

Il documento delinea quattro contributi primari:

1. L'Architettura come Partizione: A differenza del lavoro precedente che usa segnali di correttezza transitoriamente per la riponderazione, NCT preserva la partizione basata sulla difficoltà come l'architettura del tempo di inferenza. Ogni foglia codifica sia la classe predetta che il percorso di difficoltà, fornendo una mappatura trasparente tra architettura e struttura latente dei dati.
2. Selezione della Profondità Non Supervisionata: L'introduzione di un criterio pWGA con un limite di tolleranza di Wilson permette al modello di determinare autonomamente la profondità ottimale dell'albero senza richiedere annotazioni di gruppo.
3. Motivazione Teorica:
   • Recupero delle Minoranze: Gli autori dimostrano (Teorema 4.2) che, sotto l'assunzione di "bias di semplicità" (le reti neurali apprendono prima le caratteristiche semplici), l'insieme dei campioni classificati erroneamente nella prima iterazione è arricchito da campioni di sottogruppi di minoranza.
   • Separazione Strutturale: Dimostrano (Teorema 4.4) che quando esiste un conflitto di caratteristiche (le ipotesi ottimali per i gruppi facili e difficili differiscono), la separazione strutturale tramite classificatori separati produce un gap positivo del rischio minimax rispetto a un singolo classificatore unificato.
4. Evidenza Empirica: Gli esperimenti su cinque benchmark mostrano che NCT isola costantemente i sottogruppi di minoranza nei rami "difficili" pur raggiungendo un'accuratezza del worst-group competitiva rispetto ai baseline di stato dell'arte.

4. Risultati Sperimentali

Gli autori hanno valutato NCT su cinque benchmark: Waterbirds (bias di sfondo), CelebA (bias demografico), ISIC (artefatti di acquisizione), UMNIST (bias di identità del dígito) e CMNIST (bias di colore).

• Robustezza: NCT raggiunge un'accuratezza del worst-group (WGA) competitiva o superiore ai forti baseline. Notevolmente, sul dataset ISIC, NCT è in testa in tutti i livelli di supervisione (incluso Group DRO) nonostante non utilizzi etichette di gruppo di addestramento. Su Waterbirds e CelebA, eguaglia o supera di poco i metodi supervisionati dalla validazione come JTT e DFR.
• Scoperta di Gruppi Latenti: L'analisi quantitativa dei "tassi di cattura dell'iterazione-2" rivela che NCT instrada con successo i sottogruppi di minoranza verso i rami difficili. Ad esempio:
  • Waterbirds: l'82% del sottogruppo di minoranza "landbird-on-water" è instradato al ramo difficile.
  • CelebA: il 73% del sottogruppo "blond-male" è instradato al ramo difficile.
  • ISIC: il 47% del sottogruppo "benign-no-patch" è isolato nel ramo difficile.
• Interpretabilità: L'analisi qualitativa utilizzando LayerGradCAM conferma che le foglie "facili" si affidano a indizi spuri (es. sfondo acquatico, patch di colore), mentre le foglie "difficili" spostano l'attenzione su caratteristiche semantiche (es. corpo dell'uccello, confini della lesione).

5. Significato e Rivendicazioni

Il documento posiziona NCT come un passo significativo verso una robustezza trasparente. La sua rivendicazione principale è che la struttura del gruppo latente di un dataset può essere recuperata come l'architettura stessa del modello, scoperta senza supervisione e resa visibile all'inferenza.

• Interpretabilità: A differenza degli ottimizzatori robusti "black-box", NCT fornisce una spiegazione strutturale per le sue predizioni. Il percorso intrapreso verso un nodo foglia indica esplicitamente se un campione era "facile" (probabilmente allineato con correlazioni spurie) o "difficile" (probabilmente un sottogruppo di minoranza o un contro-esempio).
• Modestia sulle Limitazioni: Gli autori riconoscono che il routing si basa sull'assunzione di "bias di semplicità"; se le caratteristiche della minoranza sono esse stesse facili da apprendere, il routing potrebbe fallire nell'isolarle. Inoltre, la regola di selezione della profondità dipende dal fatto che la pWGA sia un buon proxy per la vera WGA, il che potrebbe essere imperfetto in presenza di un severo sbilanciamento delle classi.
• Direzioni Future: Il documento suggerisce di estendere NCT all'ambito del linguaggio e di esplorare segnali di routing più ricchi oltre la semplice correttezza (ad esempio, criteri basati su gradienti o attribuzioni).

In sintesi, NCT offre un framework in cui la robustezza è ottenuta non solo regolando i pesi, ma scomponendo architettonicamente i dati in sottogruppi, rendendo così esplicito e interpretabile il modo in cui il modello gestisce i bias latenti.