Diffusion Policy with Bayesian Expert Selection for Active Multi-Target Tracking

Titel: Diffusiebeleid met Bayesiaanse Expertselectie voor Actieve Multi-Doeltracking

Auteurs: Haotian Xiang, Qin Lu (University of Georgia) en Yaakov Bar-Shalom (University of Connecticut).

---

1. Probleemstelling

Actieve multi-doeltracking (Active Multi-Target Tracking) vereist dat een mobiele robot autonoom navigeert om meerdere bewegende doelen te volgen binnen de beperkingen van zijn gezichtsveld (Field-of-View, FoV). De kernuitdaging is het exploratie-exploitatie-dilemma:

• Exploratie: Het verkennen van onbekende gebieden om nieuwe of verloren doelen te vinden.
• Exploitatie: Het volgen van reeds gedetecteerde doelen om de onzekerheid in de schatting van hun positie te verminderen.

Bestaande methoden, zoals die op Deep Reinforcement Learning of imitatielearning gebaseerd zijn, produceren vaak unimodale beleidsstrategieën (één dominant gedrag) of leiden tot "mode-averaging" (een gemiddeld gedrag dat in geen enkele situatie optimaal is). Hoewel Diffusion Policies (zoals MATT-Diff) succesvol zijn in het modelleren van multi-modale actie-distributies (d.w.z. het kunnen uitvoeren van verschillende gedragsmodi), missen ze een principieel mechanisme om wanneer welke modus moet worden uitgevoerd. In huidige diffusion-modellen wordt de selectie van het gedrag impliciet bepaald door stochastisch ruis in het denoising-proces, zonder kwantificering van de onzekerheid over welke strategie het beste is voor de huidige toestand.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat de selectie van experts ontkoppelt van de generatie van acties, met behulp van een offline contextueel bandit-probleem en Bayesiaanse inferentie.

A. Probleemformulering als Offline Contextueel Bandit

Het selecteren van de juiste expert (strategie) wordt geformuleerd als een offline bandit-probleem:

• Context: De huidige waarneming en de geschiedenis van de robot (gecodeerd als een feature vector).
• Arms (Armen): Een set van vooraf getrainde expert-planners met verschillende gedragsmodi (bijv. puur exploratie, hybride tracking/exploratie, tijd-gebaseerd).
• Beloning: De verwachte tracking-prestatie (negatieve log-likelihood van de doeltoestand) voorspeld voor elke expert op basis van de huidige context.

Omdat het model offline wordt getraind op gedemonstreerde data en tijdens de inzet geen nieuwe feedback kan verzamelen, hanteren de auteurs het pessimisme-principe: men moet conservatief zijn bij experts waarvan de voorspelling onzeker is.

B. Bayesiaanse Expertselectie (VBLL + LCB)

Om onzekerheid te kwantificeren en pessimistische selectie mogelijk te maken, gebruiken de auteurs:

1. Multi-head Variational Bayesian Last Layer (VBLL):

   • In plaats van een standaard regressor, wordt voor elke expert een aparte "head" gebruikt die de laatste laag van het neurale netwerk is.
   • Deze laag wordt behandeld als een Bayesiaanse regressor met een Gaussische prior.
   • Dit resulteert in een voorspellende verdeling voor elke expert: een gemiddelde (verwachte beloning) en een variantie (onzekerheid).
   • Het voordeel is dat dit in één doorloop (single forward pass) gebeurt, wat essentieel is voor real-time robotbesturing.

2. Lower Confidence Bound (LCB) Criterium:

   • De geselecteerde expert is niet degene met de hoogste voorspelde beloning, maar degene met de hoogste LCB-score:
     $$LCB_k = \hat{r}_k - \lambda \cdot \sigma_k$$
     Waarbij $\hat{r}_k$ de voorspelde beloning is, $\sigma_k$ de voorspelde onzekerheid (standaardafwijking), en $\lambda$ een pessimisme-coëfficiënt.
   • Experts met hoge onzekerheid (hoge $\sigma_k$) krijgen een straf, waardoor het systeem voorkomt dat het zich vastlegt op experts met onbetrouwbare voorspellingen in gebieden waar ze weinig trainingsdata hebben.

C. Actiegeneratie

De geselecteerde expert konditieert een Diffusion Policy. De diffusion-policy genereert vervolgens een reeks acties (traject) op basis van de gekozen strategie. Dit zorgt ervoor dat de robot dynamisch kan schakelen tussen exploratie, tracking en herwerving van doelen naarmate de situatie verandert.

3. Belangrijkste Bijdragen

1. Identificatie van een beperking: De auteurs tonen aan dat diffusion policies voor multi-modale taken afhankelijk zijn van stochastische sampling voor modusselectie, wat leidt tot gebrek aan onzekerheidsbewuste aanpassing.
2. Nieuw raamwerk: Ze formuleren expertselectie als een offline contextueel bandit-probleem, wat een brug slaat tussen de literatuur over offline bandits en diffusion policies.
3. Praktisch algoritme: Ze ontwikkelen een algoritme dat VBLL combineert met een LCB-criterium voor pessimistische selectie.
4. Resultaten: Experimenten tonen aan dat deze aanpak superieur is aan zowel de basis diffusion policy (MATT-Diff) als standaard gating-methoden (zoals Mixture-of-Experts met softmax).

4. Experimenten en Resultaten

De methode werd getest in gesimuleerde indoor-trackingscenario's met meerdere doelen.

• Vergelijkingen: De methode (VBLL) werd vergeleken met:

  • MATT-Diff: Impliciete modusselectie via ruis.
  • DDPM-MoE: Deterministische gating (softmax).
  • DDPM-MLP Regression: Deterministische regressie zonder onzekerheid.
  • MC Dropout & Neuralbandit: Alternatieve onzekerheidsmethoden.
  • Rule-based experts: Handgemaakte planners als referentie.

• Kernbevindingen:

  • Superieure prestaties: De VBLL-methode behaalde de beste resultaten op alle metrieken (RMSE, Negatieve Log-Likelihood, Entropie), wat aangeeft dat de tracking nauwkeuriger en beter gekalibreerd is.
  • Onzekerheid is cruciaal: Deterministische methoden (MoE, MLP) presteerden slechts marginaal beter dan de basislijn. Dit bevestigt dat het kwantificeren van onzekerheid essentieel is voor effectieve routing.
  • Pessimisme werkt: Het gebruik van LCB (pessimisme) presteerde beter dan greedy selectie (alleen het gemiddelde) of andere onzekerheidsmethoden zoals MC Dropout (die trager is door multiple forward passes).
  • Efficiëntie: De VBLL-methode voegt slechts een verwaarloosbare rekentijd toe ten opzichte van de basis diffusion policy, terwijl het de prestaties aanzienlijk verbetert.

5. Betekenis en Conclusie

Dit werk biedt een principieel oplossing voor het probleem van "wanneer welke strategie kiezen" in complexe robotica-taken. Door expertselectie te behandelen als een offline bandit-probleem met Bayesiaanse onzekerheidskwantificering, vermijdt het systeem het over-committeren aan onbetrouwbare strategieën.

De studie demonstreert dat het ontkoppelen van strategie-selectie en actie-generatie een krachtige benadering is. Waar eerdere diffusion policies probeerden alles in één model te leren, laat deze aanpak zien dat het expliciet en onzekerheidsbewust selecteren van de juiste "expert" leidt tot robuustere en efficiëntere tracking. Dit is een belangrijke stap vooruit voor autonome systemen die moeten opereren in onzekere en dynamische omgevingen.