Technische Samenvatting: CADS – Conformal Adaptive Decision System voor Kostenefficiënte Beeldclassificatie

1. Probleemstelling

De wijdverbreide adoptie van AI-modellen met hoge capaciteit wordt gehinderd door een "one-size-fits-all"-implementatiestrategie die de inherente heterogeniteit van steekproefcomplexiteit negeert. In domeinen zoals medische beeldvorming worden rekenkracht en middelen vaak verspild aan "makkelijke" routinematige gevallen door monolithische, zware modellen op ongedifferentieerde wijze toe te passen. Deze aanpak creëert een dubbele crisis:

• Milieugerelateerd: De CO2-voetafdruk van het trainen en implementeren van massale modellen wordt onhoudbaar.
• Operationeel: Snelle innovatie leidt tot "veroudering van AI-modellen", waarbij modellen frequent worden vervangen in plaats van efficiënt hergebruikt.

Bestaande dynamische frameworks, zoals early-exit-mechanismen of confidence cascades, vertrouwen vaak op heuristische triggers (bijvoorbeeld maximale softmax-kans) die geen formele statistische garanties bieden en vatbaar zijn voor miscalibratie, met name onder distributieveranderingen. Er is een kritieke behoefte aan een framework dat steekproeven dynamisch routeert op basis van real-time complexiteit, terwijl het wiskundig rigoureuze onzekerheidskwantificering biedt om de afweging tussen kosten en nauwkeurigheid in evenwicht te brengen.

2. Methodologie: Het CADS-framework

Het Conformal Adaptive Decision System (CADS) is een sequentieel multi-model-algoritme dat modelimplementatie behandelt als een toewijzingsprobleem voor middelen. Het routeert steekproeven door een cascade van modellen, variërend van lichtgewicht "Scout"-modellen tot hoogcapaciteit "Oracle"-architecturen.

2.1 Kerninnovaties

CADS vertrouwt op drie primaire mechanismen:

1. Conformal Prediction voor Onzekerheidskwantificering: In plaats van te vertrouwen op zachte labels of willekeurige betrouwbaarheidsdrempels, construeert CADS een voorspellingsset $C(x)$ met behulp van Adaptive Prediction Sets (APS). De grootte van deze set dient als een rigoureuze proxy voor moeilijkheid:

   • Singleton ($|C(x)|=1$): Hoge zekerheid.
   • Binary ($|C(x)|=2$): Matige onzekerheid.
   • Difficult ($|C(x)| \ge 3$): Hoge onzekerheid.
     Dit stelt het systeem in staat om alleen dan expertconsultatie te triggeren wanneer dit statistisch noodzakelijk is.

2. Complementariteitsanalyse: Het systeem berekent vooraf falpatronen tussen experts op een kalibratieset. Het kwantificeert hoe goed één expert $B$ de fouten van een andere expert $A$ kan corrigeren, zowel globaal als specifiek voor class-paar verwarringen. Dit maakt dynamische selectie mogelijk van de expert die het meest bekwaam is in het oplossen van specifieke onzekerheden.

3. Twee-niveau Gewogen Ensemble: Eindvoorspellingen worden geaggregeerd met behulp van een hybride wegingsschema:

   • Globale Gewicht ($w_{global}$): Gebaseerd op de algehele nauwkeurigheid van de expert.
   • Lokaal Gewicht ($w_{local}$): Gebaseerd op de specifieke bekwaamheid van de expert in de vermoedelijke klasse.
     De uiteindelijke ensemble-kans is een lineaire combinatie van deze gewichten.

2.2 Adaptieve Exit-Logica

Het inferentieproces stopt wanneer een vooraf gedefinieerde betrouwbaarheidsdrempel wordt bereikt. De drempel $\alpha_{final}$ wordt dynamisch aangepast op basis van:

• Consensus Boost: Als een hoog percentage van de geraadpleegde experts overeenkomt, wordt de vereiste betrouwbaarheid verlaagd.
• Klasse-moeilijkheid: De drempel wordt verfijnd op basis van de historische moeilijkheid van de consensus-klasse.
  De cascade wordt beëindigd als de ensemble-betrouwbaarheid $\alpha_{final}$ overschrijdt, de twee meest recente experts overeenkomen, en een minimumaantal experts is geraadpleegd.

2.3 Optimalisatie

Hyperparameters (inclusief de conformale niet-bereikingsrate $\zeta$, betrouwbaarheidsdrempels en wegingsexponenten) worden geoptimaliseerd met behulp van Bayesiaanse optimalisatie (Tree-structured Parzen Estimator) om de nauwkeurigheid te maximaliseren terwijl strikt wordt voldaan aan een beperking voor rekenkracht ($B$ in GFLOPs).

3. Experimentele Opstelling

• Modellen: Een pool van experts werd gecategoriseerd in drie niveaus:
  • Scouts: Lichtgewicht modellen (bijvoorbeeld MobileNetV3, EfficientNet-Lite0) voor snelle complexiteitsevaluatie.
  • Specialisten: Midden-tier modellen (bijvoorbeeld MobileViT, ConvNeXt V2 Atto) voor hogere nauwkeurigheid.
  • Orakels: Zware modellen (bijvoorbeeld Swin V2, DINOv2 ViT-Base) voor gevallen met hoge onzekerheid.
• Datasets:
  • PathMNIST: Een medisch histologie-benchmark (9 klassen) om kostenefficiëntie te testen op routinematige taken.
  • CIFAR-100: Een omgeving met hoge entropie en 100 klassen om routeer-nauwkeurigheid te testen in complexe labelruimtes.

4. Belangrijkste Resultaten

Evaluatie op beide datasets toonde aan dat CADS consistent beter presteert dan individuele experts en conventionele ensemble-baselines, voor een fractie van de rekenkosten.

• PathMNIST: CADS bereikte de beoogde nauwkeurigheid met ongeveer 12 keer minder rekenkracht dan standaard cumulatieve benaderingen. Het systeem gebruikte voornamelijk Scout- en Specialist-modellen, en bewaarde Orakels alleen voor gevallen met hoge onzekerheid.
• CIFAR-100: CADS overtrof de nauwkeurigheid van de best presterende enkele expert (89,66% versus 88,77%), wat aantoont dat adaptieve routing individuele modelbias effectief mitigeert.
• Ablatiestudies:
  • Conformal Routing: APS-gebaseerde routing presteerde beter dan standaard onzekerheidsmaten (Max Softmax, Entropy, Margin) qua nauwkeurigheid.
  • Noodzaak van Componenten: Het verwijderen van conformal exit-logica maakte het systeem computatief onhaalbaar onder strikte budgetten. Het toevoegen van complementariteitsrouting en hybride weging verhoogde de nauwkeurigheid verder van 84,36% naar 88,26%.
  • Wegingstrategie: De 0,6/0,4 hybride weging presteerde significant beter dan uniforme gemiddelde, met name bij lage budgetten.

5. Betekenis en Claims

Het artikel claimt dat CADS een belangrijke stap voorwaarts is naar duurzame en efficiënte AI-implementatie. De primaire bijdragen zijn:

• Wiskundige Rigor: Door heuristische triggers te vervangen door conformal prediction, biedt CADS formele statistische garanties voor onzekerheidskwantificering, wat essentieel is voor beslissingen met hoge risico's zoals medische diagnose.
• Efficiëntie van Middelen: Het vermindert drastisch de economische en milieuvootafdruk van AI door steekproeven nauwkeurig te routeren op basis van real-time complexiteit, waardoor verspilling van inferentie met zware modellen op routinematige gevallen wordt voorkomen.
• Collaboratieve Superieure: Het systeem bewijst dat een collaboratief ensemble zelfs de sterkste enkele expert kan overtreffen door intelligent gebruik te maken van modelcomplementariteit.

De auteurs positioneren CADS niet louter als een optimalisatietechniek, maar als een fundamentele methodologie voor de verschuiving van monolithische architecturen naar adaptieve, multi-expert systemen die diagnostische betrouwbaarheid in evenwicht brengen met computergedreven duurzaamheid.