Simple Supervision Is Hard to Beat: A Bitter Lesson from Sparse Target Labels in Domain-Adaptive Object Detection

Technische Samenvatting: Eenvoudig Toezicht Is Moeilijk te Verslaan

Probleemdefinitie
Source-free domain adaptive object detection (SFDA-OD) streeft naar het aanpassen van een detector die getraind is op een gelabelde bron-domein naar een ongelabeld doel-domein, zonder toegang te hebben tot brongegevens. De huidige state-of-the-art SFDA-OD-methoden vertrouwen zwaar op teacher-student self-training frameworks, waarbij een teacher-model pseudo-labels genereert voor ongelabelde doelafbeeldingen om een student-model te superviseren. Deze aanpak lijdt echter onder een bottleneck: onder invloed van domeinverschuivingen bevatten pseudo-labels vaak fout-positieven, missen ze moeilijke objecten (fout-negatieven) en leveren ze instabiele optimalisatiesignalen.

Terwijl Active Domain Adaptation (ADA) onderzoekt hoe de meest informatieve monsters voor annotatie kunnen worden geselecteerd, onderzoekt dit artikel een eenvoudiger, meer gecontroleerd protocol: wat is de optimale manier om een kleine, willekeurig gekozen subset van gelabelde doelafbeeldingen te benutten? De auteurs isoleren de vraag van label-utilisatie van label-selectie, door te vragen of schaarse doel-annotaties bestaande SFDA-OD-methoden kunnen verbeteren buiten hun directe gebruik als gesuperviseerde voorbeelden.

Methodologie
Het artikel stelt een baseline-methode voor genaamd Random-Target Supervised Mixing (RTSM) en evalueert systematisch tien "sparse-label feedback plugins" die ontworpen zijn om de ongelabelde self-training tak te sturen met behulp van dezelfde annotaties.

1. De Anker (RTSM):
   RTSM behandelt de willekeurig gelabelde doel-subset als gewone gesuperviseerde trainingsdata. Het voegt een standaard gesuperviseerde detectieverlies toe aan deze gelabelde afbeeldingen, terwijl de oorspronkelijke SFDA-OD self-training tak (ongelabelde loss, teacher-student updates en pseudo-label generatie) volledig ongewijzigd blijft. Dit dient als een sterke, eenvoudige baseline om het directe voordeel van schaarse supervisie te meten.

2. Feedback Plugins:
   De auteurs evalueren tien modulaire plugins die proberen dezelfde schaarse labels te gebruiken om de ongelabelde tak te verbeteren. Deze zijn gecategoriseerd in drie interventiepunten in de Mean Teacher pipeline:

   • Pseudo-Label Selectie (Precisie-georiënteerd): Deze plugins passen aan hoe teacher-kandidaten worden omgezet in pseudo-labels.
     • Prior-Mapped Thresholding: Past klasse-specifieke betrouwbaarheidsdrempels aan op basis van de discrepantie tussen de schaarse ground-truth klasse-priors en de baseline pseudo-label priors.
     • Precision-Calibrated Thresholding: Selecteert drempels die de retentie van correcte kandidaten maximaliseren terwijl een doel-empirische precisie op de schaarse set wordt behaald.
     • Reliability Score Rescaling: Onderdrukt betrouwheidsscores voor klassen waar de baseline pseudo-labels een lage precisie vertonen op de schaarse set.
   • Object Voltooiing (Recall-georiënteerd): Deze plugins proberen objecten te herstellen die gemist worden door de baseline pseudo-label generator.
     • Hard Query Recovery: Traint een binaire scorer op schaarse afbeeldingen om afgewezen kandidaten te identificeren die overeenkomen met gemiste ground-truth objecten, en voegt deze toe aan de pseudo-label set.
     • Multi-View Hard Recovery: Verbetert Hard Query Recovery met cross-view consistentie-signalen.
     • Foreground Query Revival: Gebruikt herstelde kandidaten als zwakke supervisie (het stimuleren van "foreground-ness") in plaats van harde pseudo-labels om propagatie van lokalisatie/klasse-fouten te voorkomen.
     • Multi-View Foreground Revival: Combineert multi-view recovery met de zwakke supervisie loss.
   • Optimalisatie Controle: Deze plugins reguleren de trainingsdynamiek tussen de vertrouwde schaarse labels en de ruisgevoelige pseudo-labels.
     • Sparse Loss Balancing: Past dynamisch het gewicht van de ongelabelde loss aan ten opzichte van de gesuperviseerde loss op basis van hun grootte.
     • Target-Anchored PCGrad: Projecteert de pseudo-label gradiënt om componenten te verwijderen die conflicteren met de schaarse gesuperviseerde gradiënt.
     • Label-Guided Teacher Update: Gebruikt schaarse supervisie om parametergroepen te identificeren die sneller moeten updaten (hogere EMA momentum) in het teacher-model.

Experimentele Opstelling
De evaluatie beslaat vier SFDA-OD methoden (PETS, LPU, LPLD, DDT), twee transformer-gebaseerde detectoren (DINO, DETA) en twee adaptatie-taken (Cityscapes $\to$ Foggy Cityscapes en Cityscapes $\to$ BDD100K). Experimenten worden uitgevoerd met schaarse label-budgetten van 1%, 5% en 10% van de doel-trainingsset.

Belangrijkste Resultaten

1. RTSM is Zeer Effectief: Over alle instellingen heen verbetert RTSM de pure SFDA-baselines consequent met een significante marge, variërend van 1.7 tot 18.3 AP50. Dit bevestigt dat het simpelweg mengen van een kleine willekeurige subset van doel-labels in de gesuperviseerde loss een krachtig adaptatiesignaal is.
2. Feedback Plugins zijn Onbetrouwbaar: Geen van de tien plugins presteert consistent beter dan RTSM.
   • Prestatiewinst is methode-afhankelijk: Een plugin die één SFDA-methode (bijv. PETS) verbetert, verslechtert vaak een andere (bijv. LPLD).
   • Prestaties zijn inconsistent over categorieën: Verbeteringen op specifieke objectklassen worden frequent gecompenseerd door degradaties op andere klassen.
   • Verminderde Meeropbrengst: Naarmate het label-budget toeneemt (van 1% naar 10%), neemt het marginale voordeel van plugins ten opzien van RTSM af, en wordt het vaak negatief. Bij hogere budgetten vangt directe supervisie het grootste deel van het beschikbare signaal op, waardoor er weinig ruimte overblijft voor complexe feedbackmechanismen om waarde toe te voegen.
3. Geen Universele Winnaar: Er is geen enkele plugin-strategie (selectie, voltooiing of controle) die een robuuste, algemene verbetering vormt ten opzien van de eenvoudige RTSM-anker.

Betekenis en Claims
Het artikel levert een "bittere les" voor het vakgebied van de schaarse-label SFDA-OD: eenvoudig toezicht is moeilijk te verslaan.

• RTSM als Noodzakelijke Baseline: De auteurs stellen dat RTSM als de minimale en noodzakelijke anker moet dienen voor toekomstig werk. Elke voorgestelde methode die schaarse labels gebruikt, moet winst laten zien bovenop RTSM, en niet alleen bovenop pure SFDA, om effectieve label-utilisatie te bewijzen.
• Beperkingen van Complexe Feedback: De studie laat zien dat het gebruik van schaarse labels om pseudo-labels te kalibreren, gemiste objecten te herstellen of optimalisatiedynamiek te reguleren, versnipperde en instabiele resultaten oplevert. De complexiteit van deze feedbackmechanismen vertaalt zich niet naar consistente prestatieverbeteringen.
• Reikwijdte: De bevindingen zijn specifief voor transformer-gebaseerde objectdetectie onder source-free domain adaptation. De auteurs merken bescheiden op dat toekomstig werk nodig is om te bepalen of dit patroon zich uitstrekt tot andere detectorfamilies of visuele taken.

Concluderend suggereert het artikel dat voor schaarse-label SFDA-OD de meest effectieve strategie vaak de eenvoudigste is: het direct opnemen van de beschikbare doel-labels in de gesuperviseerde loss, in plaats van te proberen deze te gebruiken om complexe feedbackloops voor de ongelabelde self-training tak te ontwerpen.