⚡ electrical engineering

Occlusion-Aware Multi-Object Tracking via Expected Probability of Detection

Dit artikel introduceert een geavanceerde methode voor het volgen van meerdere objecten die rekening houdt met onderlinge obstructie door de verwachte detectiekans van elk object te berekenen op basis van de gereduceerde Palm-dichtheid, wat resulteert in een robuustere trackingprestatie vergeleken met bestaande technieken.

Oorspronkelijke auteurs: Jan Krejčí, Oliver Kost, Yuxuan Xia, Lennart Svensson, Ondřej Straka

Gepubliceerd 2026-03-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jan Krejčí, Oliver Kost, Yuxuan Xia, Lennart Svensson, Ondřej Straka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Verborgen Spel: Hoe een Camera Slimmer Kijkt door Mensen

Stel je voor dat je door een drukke winkelstraat loopt en je probeert tien vrienden tegelijk te volgen met je camera. Het probleem? Ze lopen soms achter elkaar, blokkeren elkaar en verdwijnen even uit beeld. Dit noemen we occlusie (verduistering).

Vroeger waren de computers die dit proberen te volgen (zoals in zelfrijdende auto's of beveiligingscamera's) een beetje dom. Als ze een vriend even niet zagen omdat die achter een ander liep, dachten ze vaak: "Die vriend is verdwenen!" en hielden ze op met zoeken. Zodra de vriend weer tevoorschijn kwam, begonnen ze weer van nul af aan, wat leidt tot verwarring en fouten.

Dit paper komt met een slimme nieuwe manier om dit op te lossen. Het is alsof we de computer een voorspellend vermogen geven, gebaseerd op wiskunde, in plaats van alleen maar te kijken wat er nu te zien is.

1. Het oude probleem: De "Gokker" vs. De "Wiskundige"

De oude methoden (die de auteurs "ad-hoc" noemen) werken vaak als een gokker. Ze zeggen: "Oh, ik zie iemand niet meer? Dan is hij weg. Maar wacht, daar is hij weer! Nieuwe persoon!"
Soms proberen ze dit te fixen door een simpele regel toe te voegen: "Als iemand voor iemand anders staat, is de kans kleiner dat we hem zien." Maar ze doen dit vaak op een willekeurige manier, zonder echt te begrijpen hoe de kansverdeling werkt. Het is alsof je een kaartspel speelt en je gooit kaarten weg die je niet ziet, zonder te weten welke kaarten je misschien nog wel hebt.

2. De nieuwe oplossing: De "Gedachtenkracht" van de Computer

De auteurs van dit paper zeggen: "Nee, we moeten de kans berekenen dat iemand zichtbaar is, rekening houdend met ALLE andere mensen die er zijn."

Ze gebruiken een wiskundig concept dat klinkt als magie, maar eigenlijk gewoon logisch is: De "Verwachte Kans op Detectie".

Stel je voor dat je een vriend (laten we hem Bob noemen) probeert te volgen.

Oude manier: De computer kijkt naar Bob. Ziet hij Bob? Ja/Nee. Als Nee, dan is Bob weg.
Nieuwe manier (PRO-methode): De computer denkt: "Bob is misschien wel daar, maar hij staat nu precies achter Alice. Hoe groot is de kans dat Bob zichtbaar is, gegeven dat Alice daar staat? En wat als Charlie ook nog in de buurt is?"

De computer berekent niet één vast getal, maar een gemiddelde kans over alle mogelijke situaties. Hij vraagt zich af: "Als ik alle mogelijke posities van Alice en Charlie in overweging neem, hoe groot is de kans dat Bob dan nog steeds te zien is?"

3. De Creatieve Analogie: Het Dichte Bos

Stel je voor dat je in een dicht bos loopt en je probeert een vogel te horen.

Oude methode: Als je de vogel niet hoort, denk je: "De vogel is weg."
Nieuwe methode: Je luistert naar de wind en de bomen. Je weet dat als er een grote boom (een ander object) tussen jou en de vogel staat, het geluid gedempt wordt. De nieuwe methode berekent: "Gezien de positie van die boom, is de kans dat ik de vogel hoor 30%."
- Zelfs als je de vogel niet hoort, houdt de computer die 30% kans in gedachten. Hij zegt niet: "Hij is weg." Hij zegt: "Hij is waarschijnlijk daar, maar verstopt."

Dit voorkomt dat de computer de vogel (of de voetganger) verliest zodra hij even uit beeld is.

4. Hoe werkt het in de praktijk? (De "PRO" strategie)

De auteurs hebben een algoritme bedacht dat ze PRO noemen (een acroniem voor hun stappen, maar ook "Professioneel").

P (Palm): Ze kijken naar de situatie alsof ze zeker weten dat een object (bijv. Bob) er is.
R (Reduce): Ze berekenen de gemiddelde kans dat Bob zichtbaar is, rekening houdend met alle andere mensen in de buurt.
O (Obey): Ze gebruiken deze slimme berekende kans om de tracking te verbeteren.

In plaats van te zeggen "Bob is verdwenen", zegt het systeem: "Bob heeft een lage kans om gezien te worden, maar hij is nog steeds in het systeem." Zodra Bob weer vrij komt, herkent het systeem hem direct omdat het hem niet "kwijt" is geraakt.

5. Wat zeggen de resultaten?

De auteurs hebben dit getest op echte video's met voetgangers (een populaire dataset genaamd MOT-17).

Resultaat: Hun nieuwe methode (MBM-PRO) deed het beter dan de oude methoden.
Waarom? Het miste minder mensen. Als iemand even achter een ander liep, bleef de computer die persoon volgen in plaats van te stoppen.
De prijs: Het systeem is iets zwaarder voor de computer (het kost meer rekenkracht), maar dat is de moeite waard voor de nauwkeurigheid.

Conclusie: Waarom is dit belangrijk?

Voor zelfrijdende auto's is dit levensbelangrijk. Als een auto een fietser "verliest" omdat die even achter een bus loopt, en denkt dat de fietser verdwenen is, kan dat leiden tot een ongeluk als de fietser plotseling weer de weg op stapt.

Met deze nieuwe methode "weet" de auto dat de fietser er waarschijnlijk nog is, zelfs als hij even niet zichtbaar is. Het is alsof de computer een onverbrekelijke denkband heeft met de objecten die hij volgt, in plaats van alleen te vertrouwen op wat zijn ogen op dit exacte moment zien.

Kort samengevat:
Deze paper maakt computers slimmer in het volgen van mensen in drukke situaties. In plaats van te denken "Ik zie je niet, dus je bent weg", denken ze: "Ik zie je niet, maar gezien de situatie is de kans groot dat je er nog bent, dus ik blijf je volgen."

Titel: Occlusie-bewuste Multi-Object Tracking via de Verwachte Detectiekans

Auteurs: Jan Krejčí, Oliver Kost, Yuxuan Xia, Lennart Svensson, en Ondřej Straka.
Publicatie: IEEE Transactions on Aerospace and Electronic Systems.

1. Het Probleem

Multi-Object Tracking (MOT) is de taak om het aantal en de locaties van meerdere bewegende objecten te schatten op basis van ruisachtige detecties. Een van de grootste uitdagingen in dit domein is occlusie: wanneer objecten elkaar blokkeren ten opzichte van de sensor (bijvoorbeeld een camera of LiDAR).

Beperking van bestaande methoden: Standaard modellen voor detectie-gebaseerde sensoren (zoals het Standard Point-Object of SPO-model) gaan er vaak van uit dat de detectiekans ( $P_D$ ) van een object alleen afhangt van de staat van dat specifieke object. In werkelijkheid hangt $P_D$ echter af van de aanwezigheid en positie van alle andere objecten (occlusie).
Huidige oplossingen: Bestaande methoden omgaan met occlusie vaak via:
1. Ad-hoc strategieën: Heuristische regels of re-identificatie (re-ID) features die niet consistent zijn met een probabilistische benadering.
2. Onvolledige model-benaderingen: Methoden die wel een model gebruiken, maar de onzekerheid over de posities van andere objecten negeren door alleen de geschatte (gemiddelde) posities te gebruiken. Dit leidt tot een onjuiste schatting van de detectiekans.
De kernuitdaging: Er ontbreekt een volledig model-gebaseerde (probabilistische) methode die occlusie consistent behandelt, rekening houdend met de ruimtelijke en existentiële onzekerheid van alle objecten, terwijl het algoritme toch berekenbaar (tractable) blijft.

2. Methodologie

De auteurs stellen een nieuwe, principieel onderbouwde benadering voor die de detectiekans aanpast op basis van de verwachte aanwezigheid van andere objecten.

A. Het SPO-D Model (SPO met Dependency)

Het standaard SPO-model wordt uitgebreid naar SPO-D, waarbij de detectiekans $P_D(x_k, X_k \setminus \{x_k\})$ expliciet afhangt van het object $x_k$ én de set van alle andere objecten $X_k$ . Dit maakt de posterior-verdeling echter onberekenbaar (intractable) vanwege de complexe interacties tussen objecten.

B. De Kerninnovatie: Verwachte Detectiekans (EPoD)

Om het probleem oplosbaar te maken, stellen de auteurs een benadering voor waarbij de complexe $P_D$ -functie wordt vervangen door een Verwachte Detectiekans (Expected Probability of Detection - EPoD).

In plaats van te kijken naar een specifieke schatting van andere objecten, wordt de verwachting genomen over de verminderde Palm-dichtheid (Reduced Palm Density - RPD).
De RPD beschrijft de verdeling van de andere objecten, gegeven dat een specifiek object $x$ zeker bestaat.
De formule voor de optimale EPoD voor een object $x_k$ is:
$P^*(x_k) = \mathbb{E}_{\Theta_k|x_k} [ P_D(x_k, \Theta_k) ]$
waarbij de verwachting wordt genomen over de RPD $\Theta_k = X_k \setminus \{x_k\}$ .

C. Implementatie met Marked Multi-Bernoulli Mixtures (MBM)

Om dit in de praktijk toe te passen, gebruiken de auteurs een Multi-Bernoulli Mixture (MBM) filter met "marks" (labels).

Hulpvariabelen (Marks): Elke Bernoulli-component (een mogelijk object) krijgt een uniek label. Dit vereenvoudigt de berekening van de RPD en maakt het mogelijk om de EPoD te berekenen per label in plaats van per complexe staat.
PRO-strategie: De auteurs introduceren de PRO-strategie (Palm-conditioning, Reduction, Obey):
1. P: Palm-conditioning van de prior-verdeling.
2. R: Reductie van de afhankelijkheid in het SPO-D model door de EPoD te berekenen.
3. O: Gebruik maken van het standaard SPO-model, maar geparametriseerd met de berekende EPoD, om een tractabele recursie te behouden.
Efficiëntie: Omdat het exact berekenen van de EPoD over alle combinaties van objecten exponentieel complex is, stellen ze een efficiënte benadering voor. Ze negeren objecten met een lage existentie-kans en gebruiken Monte Carlo-integratie voor de resterende, waarschijnlijke occluders.

3. Belangrijkste Bijdragen

Principiële Benadering: De eerste volledig model-gebaseerde methode die occlusie consistent behandelt binnen een Bayesiaanse MOT-raamwerk, zonder heuristische aannames over de posities van andere objecten.
EPoD via RPD: De afleiding van de EPoD als een conditionele verwachting over de verminderde Palm-dichtheid, wat de ruimtelijke onzekerheid correct meeneemt.
Analytische Afleiding: Het analytisch afleiden van de RPD voor veelgebruikte MOT-dichtheden (Bernoulli, Poisson, Multi-Bernoulli).
Tractabele Implementatie: Een praktische implementatie voor MBM-filters met labels, inclusief een efficiënte benadering voor de berekening van de EPoD.
Validatie: Toepassing op visuele tracking (pedestriane tracking) met bewijs van superioriteit ten opzichte van bestaande methoden.

4. Resultaten

De methode (MBM-PRO) is getest op de MOT-17 dataset (video's van voetgangers) en vergeleken met:

Een standaard MBM-filter met constante $P_D$ .
De bestaande ESO-strategie (Estimate, Substitute, Obey), die een veelgebruikte ad-hoc benadering is.
State-of-the-art computer vision algoritmen zoals SORT en FastTracker.

Belangrijkste bevindingen:

Superieure Performance: MBM-PRO presteert beter dan de standaard MBM en de ESO-strategie op alle geteste video's, gemeten met de TGOSPA-metriek (een robuuste metriek voor trajecten).
Minder False Negatives: MBM-PRO mist minder voetgangers (zowel zichtbare als verduisterde) dan de concurrenten.
Omgaan met Occlusie: Het filter behoudt tracks van verduisterde objecten beter dan ESO, omdat het de onzekerheid over de positie van de occluder correct meeneemt in de berekening van de detectiekans.
Kosten: De berekening van de EPoD is complexer dan bij ESO, maar de auteurs tonen aan dat dit beheersbaar is door de voorgestelde benaderingen (reductie van onbelangrijke objecten).
Vergelijking met Ad-hoc: Hoewel FastTracker (een diep-learning gebaseerde methode) de hoogste scores haalt op traditionele CV-metrics (zoals MOTA), presteert MBM-PRO beter dan SORT en biedt het het voordeel van een probabilistisch model dat fouten kan kwantificeren (cruciaal voor veiligheidskritische toepassingen).

5. Significatie

Dit artikel is significant omdat het een brug slaat tussen theoretische probabilistische tracking en praktische occlusie-handling.

Theoretische Zuiverheid: Het lost het probleem op dat eerdere methoden vaak "ad-hoc" werkten bij het integreren van occlusie in Bayesiaanse filters. De methode is wiskundig onderbouwd en consistent.
Veiligheid: Voor toepassingen zoals autonoom rijden of beveiliging is het belangrijk om niet alleen een schatting te hebben, maar ook de onzekerheid daarvan te kennen. De probabilistische aard van MBM-PRO maakt dit mogelijk, in tegenstelling tot veel heuristische computer-vision methoden.
Toekomstperspectief: De methode is sensor-onafhankelijk en kan worden toegepast op camera's, LiDAR, en radar, zolang de data kan worden geklonsterd tot objecten.

Kortom, de paper introduceert een nieuwe standaard voor hoe occlusie probabilistisch moet worden gemodelleerd in multi-object tracking, wat leidt tot robuustere en betrouwbaardere trackers in complexe scenario's.