Inference-Time Decision Calibration for Temporal Classification

Sulla base del documento fornito, ecco un riassunto tecnico dettagliato di "Inference-Time Decision Calibration for Temporal Classification".

Definizione del Problema

La classificazione temporale è tradizionalmente trattata come un problema di apprendimento delle rappresentazioni: quando un modello fallisce, la risposta standard è costruire un encoder temporale più forte (ad esempio, reti ricorrenti più profonde, Transformer o architetture multi-scala). Tuttavia, questo articolo sostiene che gli errori non derivino esclusivamente dalla mancanza di evidenza temporale (fallimento della rappresentazione), ma anche da come l'evidenza disponibile viene convertita in decisioni finali (fallimento della decisione).

Gli approcci standard rendono difficile distinguere tra questi due modi di fallimento perché la sostituzione di un backbone o l'addestramento congiunto di un modello più grande altera simultaneamente l'apprendimento della rappresentazione e la conversione decisionale. Gli autori sostengono che un classificatore addestrato prende decisioni basandosi su logit, soglie e scelte di calibrazione, non direttamente dalle rappresentazioni. Quando la metrica target (ad esempio, macro-F1) differisce dalla perdita di addestramento, il passaggio finale dallo score alla decisione può influenzare significativamente le prestazioni senza cambiare la sottostante rappresentazione temporale.

Metodologia: Decomposizione Rappresentazione–Calibrazione

Il documento propone un framework che congela un classificatore temporale "nativo" addestrato e introduce due interventi al tempo di inferenza per diagnosticare e affrontare gli errori senza riaddestrare il backbone. Ciò crea una decomposizione diagnostica degli errori di classificazione temporale.

1. Decomposizione Nativa–Residua

• Ramo Nativo: Il backbone originale ($f_\psi$) rimane congelato, producendo i logit nativi $\ell_{nat}(x)$.
• Ramo Residuo Multi-Scala: Viene aggiunto un ramo ausiliario conservativo per estrarre evidenza da diverse risoluzioni temporali.
  • Le sequenze di input sono proiettate su diverse scale $s \in S$ (ad esempio, tramite downsampling o pooling).
  • Ogni scala è codificata da un encoder specifico per la scala $E_s$.
  • Le rappresentazioni di scala sono aggregate utilizzando pesi di fiducia $\alpha_s(x)$ per formare una rappresentazione ausiliaria $z_{aux}(x)$.
  • Questa viene mappata in logit ausiliari $\ell_{aux}(x)$.
  • Fusione: I logit combinati grezzi sono calcolati additivamente: $\ell_{raw}(x) = \ell_{nat}(x) + \gamma_{res}\ell_{aux}(x)$. Questa struttura additiva assicura che il ramo ausiliario agisca come una correzione piuttosto che sovrascrivere il modello nativo.
• Varianti di Allocazione della Fiducia: Il documento valuta tre metodi per determinare i pesi di fiducia della scala $\alpha_s(x)$:
  • Residual-MS: Fusione uniforme ($\alpha_s = 1/M$).
  • Residual-ZOnly: Fiducia appresa basata esclusivamente sulle rappresentazioni di scala tramite una rete di gating.
  • Residual-RCG: Fiducia appresa basata sulle rappresentazioni di scala aumentate da descrittori di affidabilità espliciti (che misurano l'instabilità locale, la coerenza tra le scale e l'energia della rappresentazione).

2. Calibrazione Decisionale Post-Hoc
Dopo che il predittore grezzo (nativo + residuo) è stato addestrato, tutti i parametri della rappresentazione vengono congelati. Un calibratore leggero $C_\phi$ viene adattato su un set di validazione per ricombinare l'evidenza.

• Calibrazione Consapevole dei Rami (Branch-Aware): A differenza dei metodi standard che operano sui logit grezzi, questo approccio utilizza un vettore di evidenza per ramo $v(x) = [\ell_{nat}(x); \ell_{aux}(x)]$ come input.
• Meccanismo: Il calibratore impara a ripesare e trasformare i logit nativi e ausiliari (ad esempio, tramite scaling della temperatura, guadagni per classe e bias) per produrre logit calibrati $\tilde{\ell}(x)$.
• Logica Diagnostica:
  • Se il ramo residuo grezzo migliora le prestazioni, il collo di bottiglia è rappresentazionale (mancanza di evidenza).
  • Se i guadagni grezzi sono piccoli ma la calibrazione migliora le prestazioni, il collo di bottiglia è decisionale (evidenza sottoutilizzata).
  • Se nessuno dei due aiuta, il sistema si trova in un regime di quasi-saturazione.

Contributi Chiave

1. Framework di Decomposizione: Una nuova separazione degli errori di classificazione temporale in mancanza di evidenza temporale, evidenza decisionale sottoutilizzata e regimi di quasi-saturazione, ottenuta congelando il backbone.
2. Adapter Residuo Conservativo: Un adapter multi-scala che aggiunge logit ausiliari come correzione additiva, consentendo l'analisi di evidenze complementari senza il riaddestramento del backbone.
3. Calibrazione Consapevole dei Rami: Uno strato decisionale post-hoc che opera su logit nativi e ausiliari separati per testare se l'evidenza residua è utile anche quando i guadagni residui grezzi sono minimi.
4. Analisi Empirica dei Regimi: Una valutazione completa su cinque benchmark (FI-2010, PTB-XL, UCI-HAR, MHEALTH, HARTH) e diverse famiglie di backbone (CNN, RNN, ResNet, Transformer) per identificare quale collo di bottiglia domina in diversi contesti.

Risultati Sperimentali

Gli autori hanno valutato il framework su cinque dataset con distinte strutture temporali:

• FI-2010 (Financial Limit Order Book): Mostra il regime "più sensibile ai residui". L'evidenza multi-scala residua ha migliorato costantemente le prestazioni, in particolare in contesti ad alto rumore e breve orizzonte, dove i confini decisionali nativi erano insufficienti. La calibrazione ha fornito guadagni minori e dipendenti dall'orizzonte temporale.
• PTB-XL (Classificazione ECG): Ha mostrato un regime "sensibile alla calibrazione", in particolare per i backbone ricorrenti. Sebbene i guadagni residui grezzi fossero talvolta modesti, la calibrazione consapevole dei rami ha migliorato significativamente le prestazioni, suggerendo che i logit nativi e ausiliari contenessero evidenze complementari non pienamente sfruttate dalle regole decisionali grezze.
• HARTH & MHEALTH (Riconoscimento dell'Attività tramite Wearable): Hanno mostrato risultati misti. I guadagni erano spesso concentrati nei modelli ricorrenti più deboli (GRU/LSTM), mentre i modelli più forti basati su convoluzioni o Transformer mostravano un margine di miglioramento limitato.
• UCI-HAR: Ha rappresentato un regime di "quasi-saturazione". Le forti prestazioni native lasciavano poco spazio sia alla correzione residua che alla calibrazione post-hoc per migliorare i risultati.

Risultati Chiave:

• Dipendenza dal Regime: I guadagni non sono universali. L'evidenza residua è più preziosa in contesti rumorosi o con rappresentazioni limitate. La calibrazione è più utile quando l'evidenza complementare esiste ma è combinata in modo inefficiente.
• Allocazione della Fiducia: L'allocazione della fiducia appresa (ZOnly, RCG) non è stata uniformemente superiore alla fusione uniforme (MS). La fusione uniforme ha spesso performato meglio nei dati finanziari ad alto rumore, mentre la fiducia appresa ha aiutato in specifici contesti ricorrenti.
• Utilità Diagnostica: La decomposizione ha identificato con successo se una specifica coppia dataset-backbone fosse limitata dalla rappresentazione, dalla conversione decisionale o dalla saturazione.

Significato e Rivendicazioni

L'articolo sostiene che la classificazione temporale non debba essere vista esclusivamente come un problema di apprendimento delle rappresentazioni. Invece, argomenta che gli errori derivano spesso da come l'evidenza disponibile viene compresa, combinata e calibrata.

La significatività di questo lavoro risiede nel fornire un framework diagnostico piuttosto che un modulo universale "vincente". Separando l'apprendimento della rappresentazione dalla conversione decisionale, gli autori dimostrano che:

1. Molti errori di classificazione temporale non sono dovuti a encoder deboli, ma a regole decisionali subottimali.
2. Un approccio "one-size-fits-all" per migliorare i classificatori temporali è inefficace; l'intervento appropriato (aggiungere evidenza vs. calibrare le decisioni) dipende fortemente dal regime specifico del dataset e dall'architettura del backbone.
3. Gli interventi al tempo di inferenza possono fornire una comprensione più chiara dei limiti del modello senza i costi computazionali e i fattori confondenti del riaddestramento di grandi backbone.

Gli autori concludono che la loro decomposizione offre uno strumento pratico per identificare se un modello è limitato dalla rappresentazione, dalla decisione o se è vicino alla saturazione, guidando gli sforzi futuri verso il tipo corretto di miglioramento.