CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection

Technische Samenvatting van CRoFT: Robuuste Fijnafstemming met Concurrente Optimalisatie voor OOD-Generalisatie en Open-Set OOD-Detectie

Probleemstelling
Recente vision-language voorgetrainde modellen (VL-PTM's), zoals CLIP, hebben opmerkelijk succes getoond in open-vocabulaire taken. Echter, hun inzet in real-world scenario's vereist vaak fijnafstemming voor downstream-toepassingen. Dit proces introduceert een kritieke uitdaging: standaard fijnafstemming kan het algemene kennis van de modellen verstoren, waardoor hun vermogen om distributieveranderingen aan te pakken wordt aangetast. Real-world omgevingen presenteren twee onderscheiden types van distributieveranderingen:

1. Covariatenverschuivingen (Closed-Set OOD): Veranderingen in beeldstijlen of omgevingen waarbij de klasselabels hetzelfde blijven als de trainingsdata (bijvoorbeeld een hond in een schetsstijl).
2. Semantische Verschuivingen (Open-Set OOD): De aanwezigheid van testtijd-klassen die onbekend waren tijdens het trainen (bijvoorbeeld een panda wanneer het model was getraind op honden).

Bestaande fijnafstemmingsmethoden richten zich doorgaans op het verbeteren van robuustheid tegen covariatenverschuivingen (OOD-generalisatie) of het detecteren van onbekende klassen (open-set OOD-detectie) afzonderlijk. Ze falen vaak om beide gelijktijdig aan te pakken. Bovendien hebben energie-gebaseerde detectiemethoden vaak moeite omdat de energieverdelingen van closed-set ID-data en open-set OOD-data aanzienlijk overlappen, wat discriminatie moeilijk maakt. Het artikel adresseert de vraag: Hoe kunnen VL-PTM's zo worden fijnafgestemd dat de generalisatie naar closed-set OOD-data wordt verbeterd, terwijl gelijktijdig effectief open-set onbekende klassen worden gedetecteerd?

Methodologie
De auteurs stellen CRoFT voor, een unificerend fijnafstemkader dat gelijktijdige optimalisatie van OOD-generalisatie en open-set OOD-detectie mogelijk maakt. De methodologie is gebaseerd op drie kerncomponenten:

1. Energy Distribution Reshaping (EDR) Loss:
   In plaats van energiewaarden op in-distribution (ID)-data direct te minimaliseren, stellen de auteurs voor om de gradiëntgrootte van de energiewaarden te minimaliseren. Theoretisch leidt het minimaliseren van de gradiëntgrootte van energiewaarden ($\nabla_\theta E_\theta(x) \to 0$) tot domein-consistente Hessiaanse matrices van de classificatieverliesfunctie. Deze EDR-loss wordt geformuleerd als het minimaliseren van het gekwadrateerde norm van de gradiëntvector van de log-sum-exp van de energitermen. Deze benadering herschikt de energieverdeling om bekende klassen beter te onderscheiden van onbekende, zonder classificatie-accuraatheid te offeren.

2. Hessiaanse OOD-Generalisatiegrens:
   Door middel van theoretische analyse stellen de auteurs een link vast tussen de EDR-loss en OOD-generalisatie. Ze tonen aan dat de EDR-loss domein-consistente Hessiaanse matrices induceert, wat helpt om de generalisatieprestaties op closed-set OOD-testdata onder worst-case scenario's te begrenzen. Specifiek leiden ze een generalisatiegrens af die aantoont dat de prestatiekloof tussen bron- en doeldomeinen gerelateerd is aan het empirische risico op worst-case covariaten-verschoven data en de kromming (Hessiaanse matrix) van de risicofunctie.

3. Concurrente Optimalisatiekader:
   Om de afgeleide generalisatiegrens te minimaliseren, hanteert CRoFT een adversarial learning-strategie. Het genereert "worst-case" covariaten-verschoven beeldfeatures die semantische informatie behouden maar verschillen van de ID-features. Het kader optimaliseert een unificerende objectieve functie die bestaat uit:

   • Standaard classificatieverlies op ID-features.
   • Een loss ($L_c$) geoptimaliseerd op de gegenereerde worst-case OOD-features om robuustheid te versterken.
   • De EDR-loss ($L_e$) toegepast op zowel ID- als gegenereerde OOD-features om energieverdelingen te herschikken.

   Het kader maakt gebruik van lichtgewicht fijnafstemming (injectie van één-laagse lineaire projecties/adapters in de bevroren CLIP-encoders) om rekenkundige efficiëntie te waarborgen.

Belangrijkste Bijdragen

• Unificerend Kader: CRoFT is het eerste kader dat gelijktijdig optimaliseert voor closed-set OOD-generalisatie en open-set OOD-detectie tijdens de fijnafstemming van VL-PTM's.
• Theoretisch Inzicht: Het artikel biedt een theoretisch bewijs dat het minimaliseren van de gradiëntgrootte van energiewaarden (EDR-loss) leidt tot domein-consistente Hessiaanse matrices, waardoor de OOD-generalisatiefout theoretisch wordt begrensd. Dit onthult een verborgen connectie tussen OOD-detectie en OOD-generalisatie.
• Nieuwe Loss-functie: De introductie van de EDR-loss, die energieverdelingen herschikt door gradiëntgroottes te minimaliseren in plaats van alleen energiewaarden, verbetert de scheiding tussen ID- en OOD-data.
• Adversarial Generatie: De methode genereert worst-case covariaten-verschoven features om het model expliciet te trainen tegen distributieveranderingen, waardoor robuustheid verbetert.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op twee opstellingen:

• Opstelling-I: Groot-schalige ImageNet-varianten met 40% closed-set klassen en 60% open-set klassen, inclusief covariaten-verschoven datasets (ImageNet-A, R, Sketch, V2).
• Opstelling-II: Cross-dataset evaluatie met domein-generalisatiedatasets (PACS, VLCS) als closed-set en andere datasets (Caltech101, DTD, Food101) als open-set.

Belangrijkste Bevindingen:

• Open-Set Detectie: CRoFT presteert aanzienlijk beter dan state-of-the-art fijnafstemmingsmethoden (bijvoorbeeld CoOp, CoCoOp, CLIP-Adapter, Tip-Adapter-F). In Opstelling-I werd tot een 25,3% reductie in FPR95 (False Positive Rate bij 95% recall) bereikt ten opzichte van zero-shot CLIP, en tot 20% verbetering in het detecteren van open-set onbekende klassen ten opzichte van andere fijnafstemmingsmethoden.
• OOD-Generalisatie: CRoFT demonstreert vergelijkbare of superieure generalisatieprestaties op closed-set OOD-testsets (bijvoorbeeld ImageNet-Sketch, ImageNet-A) ten opzichte van bestaande methoden.
• Ablatiestudies: Het verwijderen van ofwel de EDR-loss ($L_e$) ofwel de adversarial loss ($L_c$) resulteerde in verslechterde prestaties op beide taken, wat de noodzaak van concurrente optimalisatie valideert.
• Feature Visualisatie: t-SNE visualisaties en energieverdelingsgrafieken tonen aan dat CRoFT succesvol de overlap tussen ID- en OOD-energiedistributies vermindert en meer onderscheidende feature-representaties leert voor open-vs-closed discriminatie.

Betekenis en Claims
Het artikel claimt dat CRoFT een kritieke kloof in de inzet van VL-PTM's aanpakt door hen in staat te stellen zowel bekende distributieveranderingen als onbekende klassen gelijktijdig aan te pakken. De auteurs benadrukken dat hun theoretische ontdekking – dat optimalisatie voor open-set detectie via EDR-loss inherent OOD-generalisatie verbetert – een nieuwe richting biedt voor robuuste fijnafstemming. De methode wordt gepresenteerd als een praktische oplossing voor hoog-risico toepassingen (bijvoorbeeld autonoom rijden, medische beeldvorming) waarbij het detecteren van onbekende klassen even cruciaal is als het behouden van accurate prestaties op bekende klassen onder omgevingsveranderingen. De code is beschikbaar gesteld om verder onderzoek in robuuste vision-language modeladaptatie te faciliteren.