Trajectory-Aware Adaptive Inference in Object Detection Models

Technische Samenvatting: Trajectbewuste Adaptieve Inferentie in Objectdetectiemodellen

Probleemstelling
De integratie van sensoren in autonome maritieme navigatie heeft grootschalige multimodale datasets gegenereerd, wat leidt tot een vraag naar efficiënte real-time waarneming. Hoewel objectdetectie en trajectwaarneming in dynamische omgevingen zoals de maritieme navigatie nauw met elkaar verbonden zijn, wordt de inferentie-efficiëntie van objectdetectiemodellen vaak over het hoofd gezien. Standaard detectoren, zoals de YOLO-familie, passen uniforme rekenkracht toe op alle invoer, ongeacht de moeilijkheidsgraad van de scène. Deze statische aanpak is suboptimaal voor omgevingen met beperkte middelen (bijvoorbeeld Autonome Oppervlakteschepen of ASV's), waar latentie en energie-efficiëntie kritiek zijn. Bestaande methoden voor adaptieve inferentie, zoals neurale netwerken met meerdere uitgangen, vertrouwen doorgaans op interne modelvertrouwenssignalen (bijvoorbeeld entropie of softmax-kans) in plaats van externe contextuele gegevens. Bijgevolg is er behoefte aan een inferentiestrategie die externe trajectgegevens benut om de rekenlast dynamisch aan te passen aan de complexiteit van de scène.

Methodologie
De auteurs stellen een Trajectbewust Adaptief Inferentiekader voor dat GPS-trajectgegevens integreert in het inferentieproces van een op YOLOv8 gebaseerde detector. De methodologie bestaat uit drie hoofdfasen:

1. Detectoradaptatie en Schaalbewuste Fijnafstelling:

   • Het basis YOLOv8-model wordt fijn afgestemd op een maritieme dataset.
   • Er wordt erkend dat YOLOv8 een impliciete structuur met meerdere uitgangen bezit via zijn drie detectiekoppen (P3, P4, P5) die op verschillende schalen werken; de auteurs behandelen deze koppen als potentiële uitgangspunten.
   • Er wordt een schaalbewuste leersnelheidsstrategie toegepast. Bounding boxes in de trainingsdata worden gecategoriseerd op grootte (klein, medium, groot). Leersnelheden worden toegewezen aan elke detectiekop op basis van de frequentie en moeilijkheidsgraad van de corresponderende objectgroottes in de dataset. Koppen die geassocieerd zijn met oververtegenwoordigde of uitdagende objectgroottes ontvangen hogere leersnelheden om adequate specialisatie te waarborgen.

2. Trajectgebaseerde Moeilijkheidsschatting:

   • In plaats van te vertrouwen op interne vertrouwen, maakt het systeem gebruik van externe bewegingsaanwijzingen afgeleid van gesynchroniseerde GPS-gegevens.
   • Twee belangrijke metrieken worden berekend voor elk frame (of een venster van één seconde):
     • Inter-scheepsafstand ($d_t$): Berekend met de Haversine-formule.
     • Sluitingssnelheid ($v_t$): De snelheid waarmee de afstand tussen bewegende objecten in de loop van de tijd afneemt.
   • Deze metrieken dienen als proxies voor "scènecomplexiteit". Scenario's met dicht op elkaar geplaatste schepen en hoge convergentiesnelheden worden als complex beschouwd, terwijl goed gescheiden, langzaam bewegende scenario's als eenvoudig worden beschouwd.

3. Adaptieve Inferentiebesturing (Vroegtijdig Uitgangsbeleid):

   • Een conditioneel beleid bepaalt welke detectiekoppen worden geactiveerd:
     • Lage Complexiteit: Als $d_t > \tau_1$ (bijvoorbeeld 30m) EN $v_t < \tau_2$ (bijvoorbeeld 0,5 m/s), wordt alleen de hoogresolutie P3-kop geactiveerd.
     • Hoge Complexiteit: Anders wordt het volledige model (P3-, P4- en P5-koppen) uitgevoerd.
   • Deze aanpak stelt het systeem in staat om rekenkundig kostbare delen van het netwerk te omzeilen wanneer de trajectgegevens een omgeving met laag risico en lage complexiteit aangeven.

Belangrijkste Bijdragen

• Multimodale Adaptieve Inferentie: De integratie van mobiliteitsdata (GPS-trajecten) met computervisie om de toewijzing van rekenmiddelen te sturen, verdergaand dan vertrouwen gebaseerd vroegtijdig uitgaan.
• Schaalbewuste Fijnafstelling: Een methodologie voor het moduleren van leersnelheden per detectiekop op basis van de geometrische verdeling van objectgroottes in het doeldomein, waardoor de koppen worden geoptimaliseerd voor onafhankelijke werking.
• Empirische Validatie: Een uitgebreide evaluatie van het voorgestelde YOLOv8-model, die inzichten biedt in de afweging tussen latentie en nauwkeurigheid per kop en de effectiviteit van trajectgestuurde inferentiebesturing aantoont.

Experimentele Resultaten
Het kader werd geëvalueerd met behulp van een dataset bestaande uit gesynchroniseerde video van aan boord van ASV's geplaatste camera's en GPS-trajectgegevens van dezelfde platformen (250 GPS-records, 3.686 videoframes).

• Kopprestaties: Onafhankelijke evaluatie van detectiekoppen onthulde dat de P4-kop (medium schaal) de detectietellingen domineert en de hoogste prestaties op zichzelf (mAP@50) bereikt over modelvarianten (Nano, Small, Medium). De P3-kop toonde een verhoogde gevoeligheid voor kleine objecten in grotere modellen.
• Rekenkundige Efficiëntie: Het activeren van individuele koppen leverde aanzienlijke FLOPs-besparingen op (variërend van ongeveer 18% tot ongeveer 33%, afhankelijk van de kop en de modelgrootte) en snelheidswinst (tot 1,61x voor P3 in het Nano-model).
• Prestaties van Adaptieve Strategie: In een realistisch maritiem scenario met drempelwaarden ingesteld op een afstand van 30m en een sluitingssnelheid van 0,5 m/s:
  • 3.027 van de 3.686 frames (ongeveer 82%) werden verwerkt met alleen de P3-kop.
  • De mediaan inferentielatentie daalde van 10,097 ms/frame (volledig model) naar 6,686 ms/frame (alleen P3).
  • De totale verwerkingstijd voor de videosequentie nam af van een projectie van 37,22 seconden naar 26,89 seconden.
  • De strategie behield een effectieve trackingprestatie, waarbij een evenwicht werd gevonden tussen verminderde latentie en aanvaardbare detectienauwkeurigheid.

Betekenis en Beweringen
Het artikel beweert dat het voorgestelde kader een flexibele afweging biedt tussen nauwkeurigheid en efficiëntie, waardoor het bijzonder geschikt is voor real-time toepassingen met beperkte middelen, zoals autonome maritieme navigatie. Door externe trajectaanwijzingen te benutten, bereikt het systeem invoeradaptieve berekening zonder complexe interne vertrouwensmodellering te vereisen. De auteurs merken op dat, hoewel de aanpak de verwerkingskosten en latentie aanzienlijk verlaagt, de voorspellende prestaties in dynamische omgevingen behouden blijven.

Toekomstig Werk
De auteurs suggereren toekomstige richtingen, waaronder:

• Generaliseren van de methode naar alternatieve architecturen (bijvoorbeeld DETR).
• Testen van robuustheid onder uitdagende omstandigheden (ongunstige weersomstandigheden, sensorgenot, lage zichtbaarheid).
• Het opnemen van expliciete koppelingen tussen GPS-coördinaten en beeldcoördinaten om de fusie van traject- en visuele informatie verder te verbeteren.