Inference-Time Decision Calibration for Temporal Classification

Op basis van het verstrekte artikel volgt hier een gedetailleerde technische samenvatting van "Inference-Time Decision Calibration for Temporal Classification."

Probleemstelling

Temporele classificatie wordt traditioneel behandeld als een representatieleerprobleem: wanneer een model faalt, is de standaardreactie het bouwen van een sterkere temporele encoder (bijv. diepere recurrente netwerken, Transformers of multi-scale architecturen). Dit artikel betoogt echter dat fouten niet uitsluitend voortkomen uit ontbrekende temporele bewijslast (representatiefalen), maar ook uit de manier waarop beschikbare bewijslast wordt omgezet in uiteindelijke beslissingen (beslissingsfalen).

Standaardbenaderingen maken het moeilijk om tussen deze twee foutmodi te onderscheiden, omdat het vervangen van een backbone of het gezamenlijk trainen van een groter model zowel het representatieleerproces als de beslissingsconversie simultaan verandert. De auteurs stellen dat een getrainde classifier beslissingen neemt op basis van logits, drempelwaarden en kalibratiekeuzes, en niet direct vanaf representaties. Wanneer de doelmetriek (bijv. macro-F1) verschilt van de trainingsverliesfunctie, kan de stap van score-naar-beslissing de prestaties aanzienlijk beïnvloeden zonder de onderliggende temporele representatie te veranderen.

Methodologie: Representatie–Kalibratie Decompositie

Het artikel stelt een raamwerk voor dat een getrainde "native" temporele classifier bevriest en twee interventies tijdens de inferentie introduceert om fouten te diagnosticeren en aan te pakken zonder de backbone opnieuw te trainen. Dit creëert een diagnostische decompositie van temporele classificatiefouten.

1. Native–Residual Decompositie

• Native Branch: De originele backbone ($f_\psi$) blijft bevroren en produceert native logits $\ell_{nat}(x)$.
• Residual Multi-Scale Branch: Een conservatieve hulpbranch wordt toegevoegd om bewijslast te extraheren uit meerdere temporele resoluties.
  • Inputsequenties worden geprojecteerd naar verschillende schalen $s \in S$ (bijv. via downsampling of pooling).
  • Elke schaal wordt gecodeerd door een schaal-specifieke encoder $E_s$.
  • Schaalrepresentaties worden geaggregeerd met behulp van trust weights $\alpha_s(x)$ om een hulprepresentatie $z_{aux}(x)$ te vormen.
  • Dit wordt gemapt naar hulp-logits $\ell_{aux}(x)$.
  • Fusie: De ruwe gecombineerde logits worden additief berekend: $\ell_{raw}(x) = \ell_{nat}(x) + \gamma_{res}\ell_{aux}(x)$. Deze additieve structuur zorgt ervoor dat de hulpbranch fungeert als een correctie in plaats van het overschrijven van het native model.
• Trust Allocation Varianten: Het artikel evalueert drie methoden voor het bepalen van de schaal-trust weights $\alpha_s(x)$:
  • Residual-MS: Uniforme fusie ($\alpha_s = 1/M$).
  • Residual-ZOnly: Geleerde trust gebaseerd uitsluitend op schaalrepresentaties via een gating netwerk.
  • Residual-RCG: Geleerde trust gebaseerd op schaalrepresentaties, aangevuld met expliciete betrouwbaarheidsdescriptors (het meten van lokale instabiliteit, cross-scale consistentie en representatie-energie).

2. Post-Hoc Decision Calibration
Nadat de ruwe predictor (native + residual) is getraind, worden alle representatieparameters bevroren. Een lichtgewicht kalibrator $C_\phi$ wordt gefit op een validatieset om de bewijslast te combineren.

• Branch-Aware Calibration: In tegenstelling tot standaardmethoden die opereren op ruwe logits, neemt deze benadering een branch-wise bewijsvector $v(x) = [\ell_{nat}(x); \ell_{aux}(x)]$ als input.
• Mechanisme: De kalibrator leert de native en hulp-logits te herwegen en te transformeren (bijv. via temperature scaling, class-wise gains en bias) om gekalibreerde logits $\tilde{\ell}(x)$ te produceren.
• Diagnostische Logica:
  • Als de ruwe residual branch de prestaties verbetert, is de bottleneck representatief (ontbrekende bewijslast).
  • Als de ruwe winsten klein zijn, maar kalibratie de prestaties verbetert, is de bottleneck decisioneel (onderbenutte bewijslast).
  • Als geen van beide helpt, bevindt het systeem zich in een near-saturated regime.

Belangrijkste Bijdragen

1. Decompositie Raamwerk: Een nieuw raamwerk dat de fouten in temporele classificatie scheidt in ontbrekende temporele bewijslast, onderbenutte decision-level bewijslast en near-saturation regimes, bereikt door de backbone te bevriezen.
2. Conservatieve Residual Adapter: Een multi-scale adapter die hulp-logits toevoegt als een additieve correctie, wat de analyse van complementaire bewijslast mogelijk maakt zonder de backbone opnieuw te trainen.
3. Branch-Aware Calibration: Een post-hoc decision layer die opereert op gescheiden native en hulp-logits om te testen of residual bewijslast nuttig is, zelfs wanneer de ruwe residual winsten minimaal zijn.
4. Empirische Regime Analyse: Een uitgebreide evaluatie over vijf benchmarks (FI-2010, PTB-XL, UCI-HAR, MHEALTH, HARTH) en meerdere backbone families (CNN, RNN, ResNet, Transformer) om te identificeren welke bottleneck domineert in verschillende settings.

Experimentele Resultaten

De auteurs evalueerden het raamwerk over vijf datasets met verschillende temporele structuren:

• FI-2010 (Financial Limit Order Book): Toont het sterkste "residual-sensitive" regime. Residual multi-scale bewijslast verbeterde de prestaties consistent, met name in scenario's met korte horizon en hoge ruis waar de native decision boundaries ontoereikend waren. Kalibratie leverde kleinere, horizon-afhankelijke winsten op.
• PTB-XL (ECG Classificatie): Vertoonde een "calibration-sensitive" regime, vooral voor recurrente backbones. Hoewel de ruwe residual winsten soms bescheiden waren, verbeterde branch-aware kalibratie de prestaties aanzienlijk, wat suggereert dat de native en hulp-logits complementaire bewijslast bevatten die niet volledig werd benut door ruwe decision rules.
• HARTH & MHEALTH (Wearable Activity Recognition): Toonden gemengde resultaten. Winsten waren vaak geconcentreerd in zwakkere recurrente backbones (GRU/LSTM), terwijl sterkere convolutionele of Transformer-gebaseerde modellen beperkte ruimte voor verbetering lieten.
• UCI-HAR: Vertegenwoordigde een "near-saturated" regime. Sterke native prestaties lieten weinig ruimte over voor noch residual correctie, noch post-hoc kalibratie om de resultaten te verbeteren.

Belangrijkste Bevindingen:

• Regime Afhankelijkheid: Winsten zijn niet universeel. Residual bewijslast is het meest waardevol in ruizige of representatie-beperkte settings. Kalibratie is het meest nuttig wanneer complementair bewijs aanwezig is maar slecht gecombineerd wordt.
• Trust Allocation: Geleerde trust allocation (ZOnly, RCG) was niet uniform superieur aan uniforme fusie (MS). Uniforme fusie presteerde vaak het best in hoog-ruizige financiële data, terwijl geleerde trust hielp in specifieke recurrente settings.
• Diagnostisch Nut: De decompositie identificeerde succesvol of een specifieke dataset-backbone combinatie beperkt werd door representatie, decision-conversie of verzadiging.

Betekenis en Claims

Het artikel claimt dat temporele classificatie niet uitsluitend moet worden gezien als een representatieleerprobleem. In plaats daarvan wordt betoogd dat fouten vaak voortkomen uit de manier waarop beschikbare bewijslast wordt vertrouwd, gecombineerd en gekalibreerd.

De betekenis van dit werk ligt in het bieden van een diagnostisch raamwerk in plaats van een universele "winnaar"-module. Door representatieleer te scheiden van decision conversie, demonstreren de auteurs dat:

1. Veel temporele classificatiefouten niet komen door zwakke encoders, maar door suboptimale decision rules.
2. Een "one-size-fits-all" benadering voor het verbeteren van temporele classifiers ineffectief is; de passende interventie (het toevoegen van bewijslast versus het kalibreren van beslissingen) hangt sterk af van het specifieke dataset-regime en de backbone architectuur.
3. Inferentie-tijd interventies een duidelijker begrip kunnen bieden van modelbeperkingen zonder de computationele kosten en verwarrende factoren van het opnieuw trainen van grote backbones.

De auteurs concluderen dat hun decompositie een praktisch hulpmiddel biedt om te identificeren of een model representatie-beperkt, decision-beperkt of near-saturated is, wat de weg wijst naar de juiste vorm van verbetering.