Visual Accommodation: Rethinking Image Scale as a Learnable Variable for Object Detection

Technische Samenvatting: Ciliary-DETR

Probleemstelling
Moderne objectdetectienetwerken, met name die gebaseerd op de DETR (DEtection TRansformer) architectuur, werken doorgaans met een vaste invoeroplossing tijdens inferentie. Hoewel multi-scale data-augmentatie tijdens het trainen de robuustheid tegen schaalvariaties verbetert, mist de inferentiefase aanpassingsvermogen per steekproef. In tegenstelling tot het menselijke visuele systeem, dat dynamisch de brandpuntsdiepte (accommodatie) aanpast om een stabiele waarneming te behouden, behandelen huidige detectoren beeldresolutie als een statische ontwerpkeuze in plaats van een dynamische, data-afhankelijke variabele. Bestaande methoden voor adaptieve schaling vertrouwen vaak op multi-branch architecturen, multi-inferentiestrategieën of vooraf gedefinieerde reeksen resoluties, wat de schaalbaarheid en end-to-end optimalisatie belemmert. Bovendien is de optimale invoerschaal voor een specifiek beeld inherent niet waarneembaar en ontbreekt er expliciete supervisie, waardoor directe schaaloptimalisatie onder standaard trainingsopstellingen slecht gesteld is.

Methodologie: Ciliary-DETR
De auteurs stellen Ciliary-DETR voor, een kader dat beeldresolutie behandelt als een leerbare variabele, analoog aan de biologische ciliaire spier die de ooglens aanpast. De methode introduceert een lichtgewicht Scale Predictor-module die voorafgaat aan de detectiebackbone om een invoerafhankelijke schaalfactor ($\phi$) dynamisch te schatten.

• Architectuur: De schaalvoorspeller bestaat uit een lichtgewicht backbone (ResNet-18) en een voorspellingshoofd. Het neemt een invoerbeeld, downsamplet dit om de rekenkosten te verminderen, en geeft een scalair schaalfactor uit die is beperkt tot een gewenste reeks $[\tau_{min}, \tau_{max}]$. Deze factor wordt gebruikt om het beeld via bilineaire interpolatie te herschalen voordat het naar het detectienetwerk (bijv. DN-DETR) wordt doorgegeven.
• Trainingsstrategie: Het kader hanteert een tweefasen trainingsproces waarbij gebruik wordt gemaakt van een "supernet"-filosofie:
  1. Multi-Scale (MS) Training: Het detectienetwerk wordt aanvankelijk getraind met MS-data-augmentatie om robuustheid tegen schaalvariaties op te bouwen.
  2. Gecombineerde Optimalisatie: De schaalvoorspeller en het detectienetwerk worden gezamenlijk getraind. Tijdens deze fase wordt het resolutiebereik gevarieerd (subnettraining) om afwegingen tussen prestaties en efficiëntie te verkennen terwijl gewichten worden gedeeld.
• Optimalisatiedoelen: Om het ontbreken van ground-truth schaallabels aan te pakken, introduceren de auteurs twee complementaire, verliesgedreven doelen:
  1. Schaalverlies: Een probabilistische formulering gebaseerd op Binary Cross-Entropy (BCE). Het modelleert de voorkeur voor op- of downscaling als een functie van objectgrootte, waarbij ankergroottes ($A_{min}, A_{max}$) worden gebruikt om verzadigingsgebieden te definiëren. Dit verlies moedigt het netwerk aan om kleine objecten op te schalen en grote objecten af te schalen om hun effectieve maten te normaliseren.
  2. Verdelingsverlies: Dit verlies aligneert de schaalbeslissingen met downstream detectieprestaties zonder expliciete supervisie. Het modelleert de relatie tussen objectschaal en detectieverlies met behulp van een leerbare Beta-verdeling. Door de 1-Wasserstein-afstand tussen deze parametrische verdeling en een empirische observatieverdeling (afgeleid van detectieverliezen) te minimaliseren, leert het netwerk de ankergroottes ($A_{min}, A_{max}$) aan te passen om overeen te komen met de prestatiegevoelige gebieden van de data.

Belangrijkste Bijdragen

1. Leerbare Beeldschaal: Het artikel stelt een nieuwe formulering voor waarbij beeldschaal wordt behandeld als een direct leerbare variabele, wat dynamische, data-afhankelijke resolutieaanpassing binnen één enkele forward-pass mogelijk maakt.
2. Verliesgedreven Optimalisatie: Het introduceert een parametrisch, probabilistisch kader voor schaalgedrag dat geen expliciete schaalannotaties vereist. De combinatie van Schaalverlies en Verdelingsverlies zorgt voor stabiele, datagedreven aanpassing.
3. Single-Pass Multi-Scale Redenering: De methode overbrugt de kloof tussen trainings-tijd robuustheid (via MS-augmentatie) en test-tijd aanpassing, en bereikt effectieve multi-scale redenering zonder de rekenkosten van expliciete multi-resolutie inferentie.
4. Modulariteit en Compatibiliteit: Het kader is ontworpen om compatibel te zijn met moderne DETR-gebaseerde detectoren zonder architecturale wijzigingen aan de detectiepiplijn zelf, waardoor de eenvoud van het detectienetwerk behouden blijft.

Experimentele Resultaten
Uitgebreide experimenten op de MS COCO en LVIS datasets tonen de effectiviteit van Ciliary-DETR aan:

• Prestaties-Efficiëntie Afweging: In vergelijking met sterke baselines (bijv. DN-DETR-R50 en Swin-S) bereikt Ciliary-DETR consistente nauwkeurigheidsverbeteringen (bijv. +1,3 AP op R50, +1,1 AP op Swin-S) terwijl de rekencomplexiteit (GFLOPs) met ongeveer 17–19% wordt verminderd.
• Zero-Shot Generalisatie: De schaalvoorspeller kan zero-shot worden toegepast op onbekende detectiearchitecturen (bijv. Deformable-DETR, DINO-DETR, H-DETR), waarbij GFLOPs met 18–19% worden verminderd terwijl de AP wordt behouden of licht verbetert.
• Vergelijking met TTA: De methode presteert beter dan willekeurige resolutiekeuze en naïeve multi-scale test-tijd augmentatie (TTA). Het bereikt resultaten die dicht in de buurt komen van een brute-force zoektocht (BFS) naar de optimale resolutie (binnen een gat van 0,4–0,5 AP), maar doet dit op een volledig leerbare, single-pass manier.
• Robuustheid: Het model toont sterke robuustheid over een breed scala aan resoluties tijdens testtijd, en presteert beter dan vaste-resolutie baselines, zelfs bij resoluties buiten het trainingsbereik.

Betekenis en Claims
Het artikel claimt dat Ciliary-DETR een orthogonale richting biedt ten opzichte van traditionele architecturale optimalisatie door zich te richten op aanpassing op invoerniveau. Door biologische visuele accommodatie te emuleren, maakt het kader flexibele en efficiënte single-pass inferentie mogelijk die dynamisch aanpast aan de inhoud van elk beeld. De auteurs benadrukken dat deze aanpak de kloof overbrugt tussen augmentatie tijdens het trainen en aanpassing tijdens het testen, waardoor schaalbare implementatie mogelijk is zonder de modulariteit van moderne detectiepiplijnen te belemmeren. Het werk suggereert dat het behandelen van resolutie als een leerbare variabele een levensvatbare en effectieve strategie is om zowel de nauwkeurigheid als de efficiëntie van objectdetectiesystemen te verbeteren.