Multi-Camera Trajectory Forecasting with Trajectory Tensors
Dieses Paper führt ein Multi-Kamera-Trajektorienprognose-Framework ein, das neuartige „Trajektorien-Tensoren“ und einen „Welches-Wann-Wo“-Ansatz nutzt, um Objektbewegungen über mehrere Kamerablickwinkel hinweg vorherzusagen, wobei es eine überlegene Leistung gegenüber bestehenden Einzelkamera-Methoden auf einem groß angelegten Multi-View-Datensatz demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten einen belebten Stadtplatz durch eine einzige Sicherheitskamera. Sie sehen eine Person, die zügig auf den Rand Ihres Bildschirms zuläuft. In der Welt des Computer Vision ist dies ein klassisches Rätsel: „Wohin wird sie als Nächstes gehen?“ Wissenschaftler versuchen seit Jahren, Computern beizubringen, dies zu erraten, aber normalerweise betrachten sie nur eine Kamera zur Zeit. Es ist, als würde man versuchen, den Weg eines Freundes durch ein Labyrinth vorherzusagen, während man ihn nur durch ein winziges Schlüsselloch sieht; sobald er aus dem Sichtfeld tritt, rät man im Dunkeln. Diese Einschränkung macht es schwierig, Menschen über lange Zeiträume oder über große Flächen hinweg zu verfolgen. Um dies zu lösen, versuchen Forscher nun, die Punkte zwischen vielen Kameras zu verbinden und so eine „Super-Vision“ zu schaffen, die das gesamte Bild auf einmal sieht. Das Ziel ist es, ein System zu bauen, das nicht nur beobachtet, was gerade passiert, sondern auch vorhersagt, wo eine Person als Nächstes auftauchen wird, in welchem Raum und zu welcher Zeit, selbst wenn sie sich zwischen verschiedenen Kamera-Zonen bewegt.
Dieses Paper stellt einen neuen Weg vor, um dieses Rätsel zu lösen, genannt Multi-Camera Trajectory Forecasting (MCTF). Die Autoren Olly Styles, Tanaya Guha und Victor Sanchez argumentieren, dass die alte Denkweise über Bewegung – die Verwendung einfacher X- und Y-Koordinaten wie bei einer GPS-Nadel – für eine Welt mit vielen Kameras zu starr ist. Sie schlagen ein neues, flexibleres Werkzeug vor, das „Trajektorien-Tensoren“ genannt wird. Denken Sie an eine Koordinate als einen einzelnen Punkt auf einer Karte, während ein Trajektorien-Tensor wie eine leuchtende, neblige Lichtwolke ist, die ein ganzes Gitter abdeckt. Diese Wolke kann genau zeigen, wo eine Person ist, wie groß sie ist und sogar wie wahrscheinlich es ist, dass sie sich an einem bestimmten Ort befindet, während sie gleichzeitig damit umgeht, dass sie aus einer Kamera verschwinden und in einer anderen wieder auftauchen kann.
Die Forscher testeten ihre Idee anhand eines massiven Datensatzes, den sie selbst erstellt haben: dem Warwick-NTU Multi-camera Forecasting (WNMF) Datensatz. Dies ist nicht nur ein paar Sekunden Videomaterial; es sind 600 Stunden Filmmaterial, das von 15 verschiedenen Kameras in einem Universitätsgebäude aufgenommen wurde und Menschen verfolgt, während sie sich durch die Flure bewegen. Sie stellten eine Herausforderung auf: Mit nur 2 Sekunden der vergangenen Bewegung einer Person sollte der Computer vorhersagen, wo sie in den nächsten 12 Sekunden sein würde. Sie brachen dies in drei Fragen herunter: „In welcher Kamera wird sie erscheinen?“ (das Welche), „Wann wird sie dort ankommen?“ (das Wann) und „Genau wo in der Ansicht dieser Kamera wird sie sich befinden?“ (das Wo).
Die Ergebnisse legen nahe, dass ihr neuer „Tensor“-Ansatz den alten Methoden überlegen ist. Während traditionelle Modelle, die einfache Koordinaten verwenden, Schwierigkeiten hatten, die Komplexität mehrerer Kameras zu bewältigen, schnitten die Trajektorien-Tensor-Modelle – insbesondere eines, das eine 3D-CNN-Architektur verwendet – am besten ab. Sie waren besser darin, die richtige Kamera, die richtige Zeit und den richtigen Ort zu erraten. Die Autoren fanden heraus, dass, indem sie das Kameranetzwerk als ein einziges, einheitliches Gitter statt als eine Sammlung separater Schlüssellöcher behandelten, der Computer Muster viel effektiver lernen konnte. Beispielsweise zeigten sie, dass das Beobachten einer Person in mehreren Kameras gleichzeitig (Multi-View) dem Modell einen signifikanten Genauigkeitsschub gab im Vergleich zum Blick in nur eine Kamera.
Das Paper ist jedoch vorsichtig damit, dies als ein perfektes, gelöstes Problem darzustellen. Die Autoren merken an, dass ihre Modelle zwar bestehende Baselines übertreffen, die Aufgabe aber immer noch unglaublich schwierig ist, insbesondere wenn es darum geht, den exakten Standort (Wo) anstatt nur den allgemeinen Bereich vorherzusagen. Sie weisen auch darauf hin, dass ihr System derzeit am besten funktioniert, wenn das Kameranetzwerk zwischen Training und Test gleich bleibt; wenn man plötzlich Kameras hinzufügt oder entfernt, könnte das Modell verwirrt werden. Darüber hinaus haben sie erfolgreich demonstriert, dass dies auf einem Datensatz von 119 Multi-Personen-Szenarien funktioniert, mahnen jedoch zur Vorsicht bei der Interpretation dieser Ergebnisse aufgrund der geringen Stichprobengröße im Vergleich zum vollständigen Datensatz.
Im Wesentlichen legt dieses Paper nahe, dass wir, um menschliche Bewegungen in einer komplexen Multi-Kamera-Welt wirklich vorherzusagen, aufhören müssen, in einzelnen Punkten zu denken, und anfangen müssen, in leuchtenden, mehrdimensionalen Wolken zu denken. Durch die Verwendung dieser „Trajektorien-Tensoren“ können Computer antizipieren, wo eine Person als Nächstes sein wird, mit größerer Zuversicht, was potenziell dazu beitragen kann, Überwachungssysteme intelligenter, effizienter und in der Lage zu machen, Menschen über längere Distanzen zu verfolgen, ohne sie in den Lücken zwischen den Kameras zu verlieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.