Technische Samenvatting: Class Adaptive Conformal Training (CaCT)

Probleemstelling

Diepe neurale netwerken produceren vaak onbetrouwbare waarschijnlijkheidsschattingen, waarbij ze dikwijls overmoedig zijn in hun voorspellingen. Hoewel Conformal Prediction (CP) een principieel kader biedt voor onzekerheidskwantificatie met strikte, distributievrije dekking-garanties, kampen bestaande methoden met aanzienlijke beperkingen in efficiëntie en adaptiviteit.

Standaard CP-methoden, met name wanneer ze post-hoc worden toegepast, genereren vaak voorspellingssets die weliswaar geldig zijn, maar oninformatief (bijv. bevatten ze te veel klassen). Om dit aan te pakken, integreren Conformal Training (CT) methoden zoals ConfTr de CP-doelstellingen direct in het trainingsproces om de grootte van de voorspellingssets te minimaliseren. De huidige CT-benaderingen lijden echter onder twee kritieke gebreken:

1. Klasse-agnostische Regularisatie: Ze maken doorgaans gebruik van een enkele globale hyperparameter om de grootte van voorspellingssets over alle klassen heen te bestraffen. Deze rigide formulering houdt geen rekening met de intrinsieke verschillen in moeilijkheidsgraad tussen klassen.
2. Inefficiëntie in Imbalans-scenario's: In long-tailed distributies (veelvoorkomend in real-world toepassingen) leidt een globale straf tot suboptimale prestaties. Dit resulteert vaak in overdreven conservatieve (grote) voorspellingssets voor ondervertegenwoordigde (tail) klassen, terwijl het er niet in slaagt de head-klassen adequaat te optimaliseren, wat de algehele efficiëntie en adaptiviteit vermindert.

Methodologie

De auteurs stellen Class Adaptive Conformal Training (CaCT) voor, een framework dat conformal training herformuleert als een augmented Lagrangian optimalisatieprobleem. Deze aanpak leert adaptief klasse-specifieke strafgewichten zonder voorafgaande kennis van de datadistributie nodig te hebben.

1. Klasse-conditionele Constraints

In plaats van een marginale constraint op de gemiddelde setgrootte over alle datapunten heen af te dwingen, introduceert CaCT $K$ constraints (één voor elke klasse $k \in \mathcal{Y}$). Het doel is om de classificatieverlies $L_{cls}(\theta)$ te minimaliseren onder de voorwaarde dat de verwachte setgrootte voor elke klasse $k$ niet groter is dan een doelwaarde $\eta$:
$$\min_{\theta} L_{cls}(\theta) \quad \text{s.t.} \quad |C_\theta(X)| \le \eta, \quad \text{a.s. } X \sim P_{X|Y=k}$$

2. Augmented Lagrangian Multiplier (ALM) Strategie

Om dit geconstreinde optimalisatieprobleem op te lossen zonder handmatig $K$ aparte strafgewichten te hoeven afstemmen (wat onhaalbaar is voor grootschalige datasets zoals ImageNet), gebruikt CaCT een gemodificeerde Augmented Lagrangian Method.

• Doelstelling Herformulering: Het geconstreinde probleem wordt omgezet in een onbeperkt probleem met behulp van een straffunctie $P$ (specifiek de PHR functie) geparametriseerd door Lagrange-multipliers $\lambda_k$ en strafcoëfficiënten $\rho_k$ voor elke klasse.
• Adaptieve Gewichtsleersproces:
  • Inner Loop (Primal): De modelparameters $\theta$ worden bijgewerkt via stochastic gradient descent om de classificatieverlies plus de huidige straftermen te minimaliseren.
  • Outer Loop (Dual): De Lagrange-multipliers $\lambda_k$ en strafparameters $\rho_k$ worden bijgewerkt op basis van de schending van klasse-specifieke constraints geobserveerd op een validatieset.
  • Mechanisme: Als een specifieke klasse de grootte-constraint overtreedt (d.w.z. de gemiddelde setgrootte is te groot), neemt de bijbehorende multiplier $\lambda_k$ toe, waardoor de straf voor die klasse in opeenvolgende iteraties wordt versterkt. Omgekeerd, als de constraint wordt voldaan, neemt de straf af. Dit stelt het model in staat om een optimale afweging te leren tussen nauwkeurigheid en conformalisatie voor elke klasse afzonderlijk.

3. Differentieerbaarheid

Om end-to-end training mogelijk te maken, worden de niet-differentieerbare componenten van CP (de indicatorfunctie voor de setgrootte en de empirische kwantiel) gladgestreken met behulp van een sigmoidfunctie en differentiële sorteertechnieken. Hoewel deze smoothing de marginale dekking tijdens de training versoepelt, merken de auteurs op dat de formele garantie wordt hersteld tijdens de testfase door terug te keren naar de oorspronkelijke niet-smooth implementatie.

Belangrijkste Bijdragen

1. Klasse Adaptief Framework: Introductie van CaCT, dat globale strafgewichten vervangt door klasse-specifieke multipliers, waardoor het model kan adapteren aan de specifieke moeilijkheid en frequentie van elke klasse.
2. Augmented Lagrangian Optimalisatie: Ontwikkeling van een gemodificeerd ALM-algoritme dat automatisch de optimale klasse-specifieke strafgewichten leert tijdens de training, waardoor handmatige hyperparameter-afstemming of voorafgaande distributie-aannames overbodig zijn.
3. Robuustheid tegen Imbalans: Demonstratie dat CaCT de problemen van long-tailed distributies effectief mitigeert, door kleinere voorspellingssets te produceren voor ondervertegenwoordigde klassen terwijl de dekking behouden blijft, een capaciteit die ontbreekt bij eerdere methoden zoals ConfTr, CUT en DPSM.

Experimentele Resultaten

De auteurs hebben CaCT geëvalueerd op meerdere benchmarks, waaronder standaard beeldclassificatie (MNIST, CIFAR-10/100, ImageNet), long-tailed varianten (MNIST-LT, CIFAR-LT, ImageNet-LT) en tekstclassificatie (20 Newsgroups).

• Efficiëntie: CaCT produceert consistent aanzienlijk kleinere gemiddelde voorspellingssetgroottes vergeleken met state-of-the-art conformal training methoden (ConfTr, CUT, InfoCTr, DPSM) over alle datasets.
• Dekkingskloof (Coverage Gap): In long-tailed scenario's bereikt CaCT de laagste dekkingskloof (afwijking van de doeldekking $1-\alpha$ per klasse), wat duidt op superieure klasse-conditionele dekking. Bestaande methoden falen vaak in het handhaven van dekking voor tail-klassen, wat leidt tot grote sets.
• Discriminatieve Prestaties: CaCT behoudt of verbetert de Top-1 en Top-3 nauwkeurigheid vergeleken met baselines, wat aantoont dat het reduceren van de setgrootte niet ten koste gaat van de voorspellende kracht.
• Robuustheid: De methode toont robuustheid bij variërende imbalansfactoren ($\gamma$) en verschillende mis-coverage niveaus ($\alpha$) tijdens de testfase. Het presteert ook goed met verschillende non-conformity scores (THR, APS, RAPS).
• Hyperparameter Gevoeligheid: In tegen tegenstelling tot bestaande methoden die zeer gevoelig zijn voor de keuze van een globale regularisatiegewicht $\lambda$, maakt het adaptieve leermechanisme van CaCT de methode agnostisch aan deze specifieke afstemming, wat de implementatie vereenvoudigt.

Betekenis

Het artikel claimt dat CaCT een fundamentele beperking in conformal training aanpakt: het onvermogen om klasse-conditionele efficiëntie in complexe, ongebalanceerde datasets te behandelen. Door het probleem te formuleren als een adaptieve optimalisatietaak, stelt CaCT de constructie van voorspellingssets mogelijk die zowel statistisch geldig als praktisch informatief zijn, met name in scenario's met hoge inzet waarbij long-tailed distributies voorkomen en minderheidsklassen vaak worden verwaarloosd. Het werk overbrugt de kloof tussen theoretische dekking-garanties en praktische efficiëntie, en biedt een schaalbare oplossing voor de real-world inzet van onzekerheidsbewuste deep learning systemen.