Technische Samenvatting: AnyDepth-DETR/-YOLO

Probleemstelling

Moderne objectdetectoren zijn doorgaans statische, vaste dieptenetwerken die zijn geoptimaliseerd voor één enkel operationeel punt. Deze rigiditeit vereist het trainen van afzonderlijke modellen voor verschillende implementatiescenario's (bijvoorbeeld variërende resourcebudgetten of latentie-eisen), waardoor het voor één enkel netwerk moeilijk is om aan heterogene eisen te voldoen. Hoewel adaptieve rekenmethoden zoals vroege exit en breedteadaptatie bewezen effectief zijn bij beeldclassificatie, vertalen ze zich slecht naar objectdetectie. In tegenstelling tot classifiers die één enkel globaal resultaat produceren, vertrouwen detectoren op een strak gekoppeld backbone-nek-head-pijplijn dat afhankelijk is van hiërarchische multi-schaal kenmerken. Het naïef overslaan van stadia of het wegnemen van kanalen breekt deze afhankelijkheden, wat leidt tot een verslechtering van de kenmerk kwaliteit en localisatie-accuratesse. Eerdere werken hebben geen dieptegestuurde berekening in objectdetectie bereikt terwijl de volledige hiërarchie van multi-schaal kenmerken, die vereist is voor robuuste detectie, behouden bleef.

Methodologie

De auteurs stellen AnyDepth voor, een raamwerk dat één enkel netwerk in staat stelt een continu bereik van afwegingen tussen nauwkeurigheid en efficiëntie te bestrijken door de netwerkdiepte tijdens de inferentie te controleren zonder opnieuw te trainen. Het kernontwerpprincipe is stadiumsgewijze modulariteit: ervoor zorgen dat de output van een lichter subnetwerk op elke stadia-grens uitwisselbaar is met die van een vollere subnetwerk.

1. Architecturale Decompositie

Elk stadium in zowel de backbone als de nek is verdeeld in twee paden:

• Essentieel Paden: Wordt altijd uitgevoerd en leert de kernkenmerkrepresentatie op de gegeven schaal.
• Verfijning Paden: Kan worden overgeslagen en biedt verdere verfijning wanneer extra berekening beschikbaar is.

Deze decompositie behoudt alle hiërarchische stadia bij elke diepteconfiguratie, in tegenstelling tot conventionele vroege exit waarbij volledige stadia worden weggegooid.

• Residuale Stadia (bijv. RT-DETR): Het verfijningspad is puur additief ($x_{full} = x_{ess} + \Delta$), waarbij tensorvormen worden gedeeld en architecturale conflicten worden vermeden.
• CSP-Stijl Stadia (bijv. YOLO): Aangezien de concatenatiebreedte afhankelijk is van het aantal uitgevoerde blokken, introduceren de auteurs een schakelbare aggregatielaag. Een dedicated gewichtsmatrix wordt gebruikt voor het essentiële pad wanneer het verfijningspad wordt overgeslagen, waardoor de gradiëntstroom daarvan volledig wordt ontkoppeld van de aggregator van het volledige pad om conflicterende gradiënten te voorkomen.
• Schakelbare Batch Normalisatie: Blokken van het essentiële pad maken gebruik van twee onafhankelijke BN-lagen (één voor uitvoering van het volledige pad, één voor alleen het essentiële pad) om de outputverdelingen op passende wijze aan te passen voor elke modus, waardoor compatibiliteit op stadia-grenzen wordt gewaarborgd.

2. Trainingsstrategie: Zelfdistillatie

Gelijktijdige optimalisatie van alle mogelijke subnetwerken introduceert conflicterende gradiëntsignalen. Om dit aan te pakken, traint het raamwerk slechts de twee uitersten:

• Super-net: Voert alle volledige paden uit.
• Basis-net: Voert alleen essentiële paden uit.

Deze worden gezamenlijk getraind via zelfdistillatie, waarbij het super-net fungeert als een online leraar voor het basis-net. De verliesfunctie combineert supervisie op grondwaarheid met distillatieverliezen:

• Alignering op Voorspellingniveau: KL-divergentie voor classificatielogits en IoU/randverlies voor regressieboxen.
• Alignering op Kenmerkniveau: Een expliciet verlies aligneert Global Average Pooled (GAP) kanaalbeschrijvers tussen het essentiële en het volledige pad op elke stadia-grens, waardoor wordt afgedwongen dat downstream-stadia compatibele inputs ontvangen ongeacht het gevolgde pad.

Oplossing voor Conflicten bij Toewijzing van Doelen:
Een kritieke uitdaging is dat het super-net en het basis-net verschillende ankers/queries kunnen toewijzen aan hetzelfde grondwaarheidsobject vanwege hun verschillende voorspellingen.

• Voor AnyDepth-DETR: De auteurs herschikken de voorgrondqueries van het super-net om te aligneren met de volgorde van de doeltoewijzing van het basis-net voordat Kennisdistillatie (KD) wordt toegepast.
• Voor AnyDepth-YOLO: Conflicterende anker-toewijzingen (waarbij hetzelfde anker door de twee netwerken aan verschillende GT-objecten wordt toegewezen) worden geïdentificeerd en uitgesloten van de distillatiestel, waardoor KD wordt beperkt tot eenduidige doelen.

Belangrijkste Bijdragen

1. Any-Depth Raamwerk: Een nieuw architectuur- en trainingsmethode die één enkel model in staat stelt de diepte dynamisch aan te passen tijdens de inferentie, waardoor een continu spectrum van nauwkeurigheid en efficiëntie wordt bestreken.
2. Stadiumsgewijze Modulariteit: Een ontwerpprincipe dat kenmerkcompatibiliteit over diepteconfiguraties garandeert, bereikt via decompositie in essentiële/verfijningspaden en specifieke architecturale aanpassingen (schakelbare aggregatie en BN).
3. Zelfdistillatie met Oplossing voor Conflicten: Een trainingsstrategie die alleen de extreme subnetwerken optimaliseert terwijl modulariteit wordt afgedwongen via alignering van kenmerken en voorspellingen, met name gericht op mismatches in doeltoewijzing die inherent zijn aan de DETR- en YOLO-families.
4. Eerste Toepassing op SOTA Real-time Detectoren: Het raamwerk wordt geïnstancierd op RT-DETR en YOLOv12, waarbij wordt aangetoond dat effectieve zelfdistillatie haalbaar is voor deze complexe architecturen.

Experimentele Resultaten

Geevalueerd op de COCO-benchmark:

• Prestaties bij Volledige Diepte: De configuraties van het super-net komen overeen met of overtreffen hun respectievelijke state-of-the-art (SOTA) baselines met verwaarloosbare parameter-overhead (bijv. <0,09% voor RT-DETR, ~3% voor YOLOv12).
• Efficiëntiewinst:
  • AnyDepth-DETR (R-101): Bereikt een 1,82× snelheidswinst ten koste van slechts 2,0 AP daling vergeleken met het volledige model.
  • AnyDepth-YOLO (L): Bereikt een 1,57× snelheidswinst met slechts een 1,8 AP daling.
• Generalisatie: Intermediaire subnetwerken (die essentiële en volledige paden mengen) generaliseren goed zonder directe supervisie, waardoor soepele afwegingen mogelijk zijn. Bijvoorbeeld: het verminderen van de encoderdiepte in AnyDepth-DETR wisselt 0,9 AP in voor een winst van 6% FPS, terwijl het routeren van alle backbone-stadia via het essentiële pad 2,0 AP kost voor een verbetering van 15% FPS.
• Pareto-grens: Eén enkel AnyDepth-model bestrijkt het bereik van nauwkeurigheid en efficiëntie dat eerder meerdere afzonderlijk getrainde statische modellen vereiste (bijvoorbeeld het bestrijken van het bereik van RT-DETR R-18 tot R-101 met één netwerk).

Betekenis en Beweringen

Het artikel beweert dat AnyDepth een praktische oplossing biedt voor het implementeren van detectoren onder dynamische resourcebeperkingen, waarbij de behoefte aan meerdere vaste grootte-detectoren wordt vervangen door één modulair netwerk. Door de volledige hiërarchie van multi-schaal kenmerken bij elke diepteconfiguratie te behouden, overwint de methode de beperkingen van eerdere adaptieve inferentietechnieken in detectietaken.

De auteurs benadrukken dat hun aanpak werkelijk adaptieve real-time objectdetectie mogelijk maakt, waarbij diepteconfiguraties tijdens runtime kunnen worden geselecteerd op basis van resourcebudgetten zonder opnieuw te trainen. Zij merken op dat het verfijningspad voornamelijk de localisatieprecisie verbetert in plaats van de detectiebereik, wat de modulariteit van het ontwerp valideert.

Erkende Beperkingen:

1. De zelfdistillatie-trainingsprocedure vereist twee sequentiële forward-backward passes per iteratie, wat de trainingstijd effectief verdubbelt ten opzichte van standaardmodellen.
2. Het huidige raamwerk selecteert de diepte op basis van een vast resourcebudget in plaats van aan te passen aan de moeilijkheidsgraad van de input; het integreren van een lichtgewicht routeringsmechanisme voor input-adaptieve selectie is geïdentificeerd als toekomstig werk.