Technische Samenvatting: RELO - Versterkende Leer voor Lokalisatie voor Visuele Objectvolging

1. Probleemstelling

Visuele objectvolging heeft als doel de staat (voornamelijk locatie) van een doelwit te schatten gedurende een videosequentie, gegeven de initialisatie in het eerste frame. Hoewel moderne discriminatieve volgers, met name die gebaseerd op Siamese netwerken en Transformers, sterke empirische prestaties hebben bereikt, vertrouwen ze sterk op handgemaakte ruimtelijke priors voor lokalisatie.

Deze priors nemen doorgaans de vorm aan van op het centrum gebaseerde warmtekaarten of hoekgebaseerde waarschijnlijkheidsverdelingen. Het artikel identificeert een fundamenteel conceptueel beperking in deze aanpak:

• Surrogaat Supervisie: Het supervisie-signaal (bijvoorbeeld een Gaussische warmtekaart gecentreerd op het doelwit) staat slechts indirect in relatie tot het daadwerkelijke doel van volging.
• Metingen in Onbalans: Deze priors optimaliseren niet direct standaard evaluatiemetingen zoals Intersection over Union (IoU) of het Oppervlak onder de Succes-curve (AUC).
• Heuristische Aannames: Het ontwerp van deze priors introduceert extra aannames (bijvoorbeeld binaire maskers of Gaussische gladmaking) die niet inherent zijn aan de volgingstaak en kunnen leiden tot prestatie-afhankelijkheid van heuristische ontwerpkeuzes.

De kernvraag die de auteurs stellen, is of een volger kan leren doelwitten direct te lokaliseren op basis van taakgerichte feedback, zonder te vertrouwen op deze handmatig ontworpen ruimtelijke priors.

2. Methodologie: RELO

De auteurs introduceren RELO (REinforcement-learning-to-LOcalize), een methode die doelwittlokalisatie herformuleert als een Markov Beslissingsproces (MDP) over de ruimtelijke kenkenkaart van het zoekgebied.

2.1. MDP Formulering

• Staat: De ruimtelijke kenkenkaart $F^{(t)} \in \mathbb{R}^{H \times W \times C}$ die op tijdstip $t$ uit het zoekframe wordt gehaald via een één-stroom Transformer-encoder.
• Actieruimte: Elke ruimtelijke locatie $(i, j)$ op de kenkenkaart wordt behandeld als een kandidaat-actie $a_{ij}$.
• Beleid: Een lokalisatiebeleid $\pi$ leert veelbelovende acties te selecteren. Voor een gegeven staat geeft het beleid een categorische verdeling over ruimtelijke locaties uit.
• Regressiehoofd: Voor elke gesamplede actie voorspelt een regressiehoofd een bijbehorend omhullend vakje.
• Beloning: In plaats van te passen bij surrogaatlabels, wordt het beleid geoptimaliseerd met beloningen die rechtstreeks uit volgingsmetingen worden afgeleid. De beloning $r^{(t)}$ combineert:
  1. Frame-niveau IoU: Directe feedback over de nauwkeurigheid van de lokalisatie van het huidige frame.
  2. Sequentie-niveau AUC: Een evaluatie van de gesamplede trajectorie over een videoclip om langetermijnconsistentie te bevorderen.

2.2. Optimalisatiestrategie

RELO maakt gebruik van een Actor-Critic-kader om het lokalisatiebeleid te optimaliseren:

• Actor (Beleidshoofd): Geeft logits uit die de actieverdeling definiëren. Het wordt bijgewerkt om de verwachte beloning te maximaliseren met behulp van de voordeelfunctie.
• Critic (Waardehoofd): Voorspelt de verwachte toekomstige beloning (waarde) voor een gegeven staat om de variantie in de beleidsgradient-bijwerkingen te verminderen.
• Verliesfunctie: Het totale verlies combineert het beleidsverlies (gewogen met het voordeel) en het verlies van de waardenregressie.

2.3. Belangrijke Technische Componenten

Om stabiliteit en effectiviteit te waarborgen, integreert RELO twee specifieke mechanismen:

1. Warmup-fase voor Regressie:
   Directe RL-optimalisatie vanaf nul is onstabiel omdat een gesamplede ruimtelijke actie alleen nuttig is als de bijbehorende vakjevoorspelling betekenisvol is. De auteurs introduceren een warmup-fase waarin het model uitsluitend wordt gesuperviseerd op de grond-waarheid locatie met behulp van Generalized IoU en $\ell_1$-verliezen. Dit leert het model hoe een vakje te regresseren vanuit lokale kenmerken voordat het beleid leert waar het moet kijken. De hier geleerde gewichten worden tijdens de daaropvolgende RL-fase bevroren.

2. Laag-uitgelijnde Temporele Token-Propagatie:
   Om semantische consistentie over frames te behouden met minimale overhead, propageert RELO temporele tokens. In tegenstelling tot eerdere methoden die diepe-laag tokens van het vorige frame injecteren in ondiepe lagen van het huidige frame (wat leidt tot semantische mismatch), gebruikt RELO een laag-uitgelijnde strategie. Temporele tokens gegenereerd in laag $l$ in frame $t-1$ worden uitsluitend gepropageerd naar laag $l$ in frame $t$. Dit behoudt de hiërarchische structuur van de encoder terwijl het uitwisseling van informatie tussen frames mogelijk maakt.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Formulering: Doelwittlokalisatie in visuele volging wordt herformuleerd als een Markov Beslissingsproces en geïnstancierd in RELO, waardoor de noodzaak van handgemaakte ruimtelijke priors wordt weggenomen.
2. Trainingsstrategie: Een praktische trainingspijplijn wordt geïntroduceerd, met een regressiewarmup-fase voor stabiliteit en een laag-uitgelijnd mechanisme voor temporele token-propagatie voor semantische consistentie.
3. Validatie: Uitgebreide experimenten tonen aan dat directe optimalisatie van taakgerichte beloningen (IoU en AUC) via RL een sterk alternatief biedt voor conventionele prior-gedreven lokalisatie, met het behalen van state-of-the-art resultaten.

4. Experimentele Resultaten

RELO werd geëvalueerd op zeven standaard benchmarks (LaSOT, LaSOText, TrackingNet, GOT-10k, TNL2K, NFS, UAV123) tegen recente state-of-the-art volgers.

• Prestaties: RELO behaalde superieure resultaten op meerdere benchmarks.
  • LaSOT: RELO-L256 behaalde 75,1% AUC (zonder template-updates), en staat eerste onder volgers van grote omvang.
  • LaSOText: RELO behaalde 57,5% AUC, met een aanzienlijke marge ten opzichte van eerdere methoden. De auteurs merken op dat deze benchmark cross-categorie generalisatie test, wat suggereert dat RELO robuuster is tegen uiterlijke variaties en categorieverschuivingen.
  • Kortetermijnvolging: Op TrackingNet en GOT-10k behaalden RELO-varianten de eerste plaats in zowel de basisgrootte- als de grootte-categorieën, en presteerden ze beter dan methoden met complexe temporele ontwerpen.
• Efficiëntie: RELO behoudt real-time inferentiesnelheden op GPU's. Zo draait RELO-T256 op 91 FPS op een NVIDIA RTX 4090 terwijl het concurrerende nauwkeurigheid behaalt.
• Ablatiestudies:
  • Het vervangen van het RL-doelwit door prior-gedreven training (hoek, centrum of IoU-warmtekaarten) resulteerde in prestatiedalingen, wat de superioriteit van beloningsgedreven leren bevestigt.
  • Het verwijderen van de sequentie-niveau AUC-beloning veroorzaakte een aanzienlijke prestatiedaling, wat het belang van supervisie op lange horizon benadrukt.
  • De laag-uitgelijnde propagatiestrategie bood consistente verbeteringen ten opzichte van propagatie van diep naar ondiep zonder extra rekenkosten.

5. Betekenis en Claims

Het artikel claimt dat RELO beloningsgedreven lokalisatie valideert als een effectief alternatief voor prior-gedreven lokalisatie.

• Uitlijning van Training en Evaluatie: Door direct te optimaliseren voor IoU en AUC, brengt RELO het trainingsdoel in lijn met de evaluatiemetingen, waardoor de disconnectie veroorzaakt door surrogaat-supervisie wordt verwijderd.
• Generalisatie: De aanzienlijke winsten op LaSOText suggereren dat het geleerde beleid robuuster is tegen distributieverschuivingen en uiterlijke variaties dan methoden die vertrouwen op vaste ruimtelijke priors.
• Paradigmaverschuiving: De auteurs betogen dat de bottleneck in volging niet alleen betere backbones of temporele pretraining is, maar het supervisie-signaal dat wordt gebruikt om te leren waar te lokaliseren. RELO toont aan dat het verwijderen van handgemaakte priors ten gunste van taakgerichte exploratie consistente verbeteringen oplevert in zowel lang- als kortetermijnvolgingsscenario's.

De auteurs erkennen beperkingen, met name dat huidige beloningen (IoU/AUC) complexe scenario's zoals ernstige occlusie of verdwijning van doelwitten niet volledig vastleggen, en dat de huidige reikwijdte beperkt is tot enkelvoudige objecten en enkelvoudige camera-volging. Zij stellen echter dat het beloningsgedreven kader compatibel is met diverse volgingsparadigma's en in de toekomst kan worden uitgebreid naar multi-object instellingen en bredere systeemniveau besturingsbeslissingen.