Designing Multi-Robot Ground Video Sensemaking with Public Safety Professionals

In Zusammenarbeit mit sechs Polizeibehörden entwickelten die Autoren ein Testfeld und das Tool MRVS, um die praktische Integration von Multi-Robot-Videos in den öffentlichen Sicherheitsbereich zu untersuchen, wobei die Teilnehmer zwar eine Entlastung durch KI-gestützte Erklärungen feststellten, aber auch Bedenken hinsichtlich Fehlalarmen und Datenschutz äußerten.

Das Wesentliche

🤖 Der neue Wachhund: Roboter, die nicht nur schauen, sondern verstehen

Stellen Sie sich vor, Sie sind ein Polizeibeamter. Ihre Aufgabe ist es, die Sicherheit in einer Stadt zu gewährleisten. Aber Sie sind nicht nur einer – Sie haben ein ganzes Team von kleinen, fahrbaren Robotern, die wie moderne Streifenwagen durch die Straßen patrouillieren. Jeder dieser Roboter hat eine Kamera.

Das Problem? Wenn 10 Roboter gleichzeitig fahren, haben Sie 10 Videostreams gleichzeitig auf Ihren Bildschirmen. Das ist wie wenn Sie versuchen, 10 verschiedene Filme gleichzeitig anzusehen, während Sie versuchen, ein Puzzle zu lösen. Es ist unmöglich, alles zu sehen, und Sie würden vor lauter Arbeit zusammenbrechen.

Diese Forscher haben sich gefragt: Wie können wir diesen Robotern helfen, uns nicht nur Videos zu schicken, sondern uns auch zu sagen, was wirklich wichtig ist?

Hier ist, was sie getan haben, Schritt für Schritt:

1. Das Gespräch mit den Experten (Die "Rezept"-Phase)

Bevor sie irgendetwas gebaut haben, haben die Forscher mit echten Polizisten gesprochen. Sie wollten wissen: "Was ist euch eigentlich wichtig?"

• Die Erkenntnis: Ein geparktes Auto ist normal. Aber ein geparktes Auto, das nachts mit offenem Kofferraum steht und jemand drin hockt? Das ist verdächtig.
• Die Metapher: Die Forscher haben mit den Polizisten ein "Kochrezept" für Verdacht entwickelt. Sie haben 38 verschiedene Szenarien definiert (wie "Jemand rennt weg", "Ein Auto fährt falsch herum", "Jemand liegt auf der Straße"). Ohne dieses Rezept wären die Roboter nur dumme Kameras, die alles aufzeichnen, aber nichts verstehen.

2. Der große Testlauf (Das "Trainingslager")

Um zu testen, ob ihre Ideen funktionieren, haben sie einen riesigen Übungsbereich geschaffen.

• Was passierte: Sie haben einen Campus (eine Art Mini-Stadt) mit einem Roboter abgefahren. 22 Schauspieler haben verschiedene Szenen nachgestellt: Von harmlosen Dingen (jemand raucht eine Zigarette) bis zu gefährlichen Dingen (jemand wird angegriffen).
• Das Ergebnis: Sie haben einen riesigen Datensatz mit 20 Videos erstellt (Tag und Nacht), der wie ein "Lehrbuch" für die Roboter-KI dient.

3. Der Bau des Super-Assistenten: MRVS

Dann bauten sie ein System namens MRVS (Multi-Robot Video Sensemaking System). Stellen Sie sich das wie einen intelligenten Butler vor, der für Sie arbeitet.

• Der Butler (Die KI): Der Butler schaut sich die 10 Videostreams der Roboter an. Anstatt Ihnen nur ein rotes "Alarm!"-Signal zu geben, sagt er: "Hey, auf Kamera 3, bei der Ecke, hat jemand etwas Verdächtiges getan. Es sieht aus wie ein Diebstahl. Hier ist ein Foto davon und ich bin zu 80% sicher."
• Die Karte (Das Dashboard): Statt 10 Videos nebeneinander zu haben, zeigt das System eine große Karte. Auf der Karte leuchten kleine Punkte auf, wo etwas passiert ist. Wenn Sie auf einen Punkt klicken, springt das Video genau zu diesem Moment.
• Die Suche: Wenn ein Zeuge sagt: "Der Täter trug eine rote Jacke und blaue Jeans", können Sie das System fragen. Es durchsucht alle Roboter-Videos und zeigt Ihnen nur die Personen, die so aussehen. Kein manuelles Durchsuchen mehr!

4. Das Testen mit echten Polizisten

Die Forscher gaben das System echten Polizisten zum Ausprobieren.

• Was sie sagten: "Wow, das spart uns Stunden!" Sie konnten viel schneller entscheiden, was wichtig ist. Sie hatten mehr Vertrauen, weil die KI erklärte, warum sie etwas als verdächtig eingestuft hat.
• Die Sorge: Die Polizisten waren auch vorsichtig. Sie sagten: "Die KI kann sich irren. Wir müssen immer noch selbst nachschauen, bevor wir jemanden verhaften." Sie wollten keine Maschine, die entscheidet, sondern einen Assistenten, der ihnen hilft, die Entscheidung selbst zu treffen.

🌟 Die große Lektion

Die Forscher haben gezeigt, dass Roboter in der Polizeiarbeit nicht nur "coole Gadgets" sind, sondern echte Helfer sein können – wenn man sie richtig baut.

• Das Problem: Zu viele Daten, zu wenig Zeit.
• Die Lösung: Eine KI, die wie ein erfahrener Polizist denkt, verdächtige Momente zusammenfasst und auf einer Karte anzeigt.
• Das Ziel: Nicht, die Polizisten zu ersetzen, sondern ihnen die schwere Last des "Video-Schauens" abzunehmen, damit sie sich auf das Wesentliche konzentrieren können: die Sicherheit der Menschen.

Zusammengefasst: Es ist wie der Unterschied zwischen einem Stapel von 1000 unsortierten Briefen und einem Postboten, der Ihnen nur die 5 wichtigen Briefe bringt, die Sie sofort öffnen müssen. Das ist die Zukunft der öffentlichen Sicherheit.

Technische Zusammenfassung

1. Problemstellung

Öffentliche Sicherheitsbehörden sind oft unterbesetzt und durch persönliche Einsätze unverhältnismäßig stark Verletzungen ausgesetzt. Roboterschwärme (Ground Robots) bieten das Potenzial, die situative Awareness zu skalieren und die Arbeitslast zu verringern. Bisherige Ansätze scheiterten jedoch oft an einer mangelnden Passung zwischen der Technologie und den operativen Realitäten der Sicherheitskräfte.
Die zentralen Herausforderungen sind:

• Mangel an praxisnahen Daten: Es gibt keine Datensätze, die speziell auf die Bedürfnisse von Sicherheitsbehörden zugeschnittene Ereignisse aus der Perspektive mobiler Bodendrohnen abbilden.
• Komplexität der Videoanalyse: Die manuelle Durchsicht mehrerer simultaner Videostreams ist kognitiv extrem belastend und zeitaufwendig.
• Fehlende Integration: Bestehende Systeme berücksichtigen oft nicht die spezifischen Arbeitsabläufe, die Notwendigkeit von Erklärbarkeit (Explainability) und die rechtlichen/ethischen Rahmenbedingungen der Polizeiarbeit.

2. Methodik

Die Forschung verfolgt einen zweistufigen, nutzerzentrierten Designansatz in enger Zusammenarbeit mit sechs Polizeibehörden in den USA.

Studie 1: Formative Studie & Testbed-Erstellung

• Ziel: Identifikation relevanter Ereignisse und Ableitung von Design-Anforderungen (Design Requirements, DRs).
• Prozess:
  1. Datenanalyse: Auswertung von 13.234 Kriminalitätsaufzeichnungen und 10 öffentlichen Anomalie-Datensätzen.
  2. Experteneinbindung: Befragung und Interviews mit fünf erfahrenen Sicherheitsprofessionals (Polizisten, Ermittler, Vorgesetzte).
  3. Ergebnis: Definition einer Taxonomie aus 38 „Events of Interest" (EoIs), kategorisiert in vier Prioritätsstufen (Notfall, Dringend, Moderat, Beratung).
  4. Design-Anforderungen: Ableitung von 6 DRs, die Systeme wie MRVS leiten (z. B. kontextsensitive Erklärungen, automatisierte Detektion, räumlich-zeitliche Übersicht).
• Datensatz-Erstellung: Erstellung eines einzigartigen Multi-Robot-Video-Datensatzes.
  • 20 Patrouillen-Videos (10 Tag/Nacht-Paare), jeweils ca. 30 Minuten lang.
  • Aufnahme durch einen „Frodo Zero"-Bodenroboter mit GoPro Hero 11.
  • 38 scripted Ereignisse mit 22 Schauspielern in einem Campus-Umfeld, um reale Bedingungen (Verkehr, Licht, Verdeckungen) zu simulieren.
  • Vollständige Anonymisierung (Gesichter und Kennzeichen) für den Forschungsgebrauch.

Studie 2: Summative Studie & Systemevaluation (MRVS)

• Systementwicklung: Entwicklung von MRVS (Multi-Robot Video Sensemaking), einem System, das ein multimodales LLM-Backend mit einer menschenzentrierten Frontend-Oberfläche verbindet.
• Evaluation:
  1. Algorithmische Benchmarking: Vergleich des MRVS-Backends mit State-of-the-Art-Modellen (HolmesVAD und Gemini 2.0) hinsichtlich Präzision, Recall und F1-Score.
  2. Expert Review: Evaluierung der Frontend-Funktionalität durch 9 Sicherheitsprofessionals in realistischen Szenarien (z. B. Vorfallverifikation, Suchlauf nach Verdächtigen).

3. Schlüsselbeiträge

A. Testbed-Umgebung

• Einführung des ersten Testbeds für Multi-Robot-Video-Sensemaking.
• Bereitstellung einer Taxonomie von 38 EoIs, die operativ relevant sind.
• Öffentlicher Zugang zu einem annotierten, bodenrobotergestützten Video-Datensatz.
• Definition von 6 Design-Anforderungen, die als Leitlinie für zukünftige Systeme dienen.

B. Das MRVS-System

• Backend (MLLM-basiert):
  • Nutzung eines „Surveillance Persona"-Prompts für Large Language Models (LLM), die auf Gemini 2.0 basieren.
  • Kombination von Multi-Object-Tracking (BoxMOT/YOLO) mit multimodaler Reasoning-Fähigkeit.
  • Generierung strukturierter Ereigniskarten mit Typ, Beschreibung, Begründung (Rationale), Konfidenzlevel und Keyframes.
  • Unterstützung von Deskriptor-basierter Suche (z. B. nach Kleidungsfarbe oder Fahrzeugtyp) statt nur Gesichts- oder Kennzeichenerkennung.
• Frontend (Interaktive Oberfläche):
  • Video Debrief: Strukturierte Zusammenfassung von Ereignissen innerhalb eines einzelnen Videos.
  • Situational Overview: Aggregation von Ereignissen über mehrere Roboter/Streams hinweg mit Priorisierung.
  • Unified Spatio-Temporal Awareness: Synchronisierte Timeline und Kartenansicht zur Verfolgung von Ereignissen über Raum und Zeit.
  • Deskriptor-Suche: Filterung nach visuellen Attributen.
  • Team Collaboration: Gemeinsamer Workspace für Annotationen, Statusupdates und Aufgabenverteilung.

4. Ergebnisse

Algorithmische Leistung

• Vergleich: MRVS übertraf sowohl das spezialisierte Anomalie-Detektionsmodell HolmesVAD als auch das allgemeine Multimodal-Modell Gemini 2.0 signifikant.
• Metriken:
  • Gesamt-F1-Score: MRVS erreichte 0,519 (vs. 0,453 bei Gemini 2.0 und 0,018 bei HolmesVAD).
  • Nachtszenarien: Der Vorteil war am größten; MRVS erreichte einen Recall von 0,792 (vs. 0,368 bei Gemini 2.0 und 0,012 bei HolmesVAD).
  • Trade-off: MRVS hat eine etwas niedrigere Präzision als Gemini 2.0, was als bewusste Designentscheidung erklärt wird: In sicherheitskritischen Umgebungen ist es wichtiger, keine Vorfälle zu übersehen (hoher Recall), auch wenn dies mehr manuelle Verifizierung von Fehlalarmen bedeutet.

Menschliche Evaluation (Expert Review)

• Akzeptanz & Nutzen: Die Teilnehmer berichteten von einer signifikanten Reduzierung der manuellen Arbeitslast und einer höheren Zuversicht bei der Entscheidungsfindung.
• Vertrauen: Die Erklärbarkeit (Rationale und Konfidenzlevel) durch das LLM wurde als entscheidend für das Vertrauen in das System angesehen. Die Experten betonten, dass die KI als Entscheidungsunterstützung dient, aber die finale Verantwortung beim Menschen bleibt.
• Herausforderungen: Bedenken hinsichtlich falscher Alarme (False Positives) und Datenschutz wurden geäußert. Die Teilnehmer wünschten sich mehr Anpassungsmöglichkeiten (z. B. anpassbare Schwellenwerte) und eine bessere Integration in bestehende Arbeitsabläufe.
• Kollaboration: Der gemeinsame Workspace wurde als wertvoll für die Übergabe von Schichten und die Zusammenarbeit zwischen Teams bewertet.

5. Bedeutung und Implikationen

• Skalierbarkeit: Das System demonstriert, wie ein einzelner Operator effektiv mehrere Roboter überwachen kann, was angesichts chronischer Personalknappheit in Sicherheitsbehörden kritisch ist.
• Brückenschlag: Die Arbeit verbindet Fortschritte in Computer Vision und Robotik mit den operativen Notwendigkeiten der öffentlichen Sicherheit. Sie zeigt, dass reine Automatisierung nicht ausreicht; menschenzentrierte Designs mit Erklärbarkeit sind essenziell.
• Ethische und gesellschaftliche Aspekte: Die Studie hebt die Notwendigkeit hervor, Überwachungstechnologien transparent zu gestalten, um das Vertrauen der Gemeinschaft zu wahren und eine übermäßige Überwachung marginalisierter Gruppen zu vermeiden.
• Zukünftige Richtungen: Die Autoren schlagen vor, MRVS-ähnliche Systeme für spezialisierte Einsätze (z. B. Vermisstensuche, Katastrophenhilfe) zu erweitern und die Robustheit der Computer-Vision-Modelle gegenüber schwierigen Lichtverhältnissen und Randereignissen zu verbessern.

Zusammenfassend liefert dieses Paper einen fundamentalen Baustein für die Integration von Robotik und KI in die öffentliche Sicherheit, indem es nicht nur ein technisches System, sondern auch den notwendigen datengetriebenen und ethischen Rahmen für dessen erfolgreichen Einsatz bereitstellt.