Designing Multi-Robot Ground Video Sensemaking with Public Safety Professionals

Este artículo presenta un marco de trabajo y una herramienta llamada MRVS, desarrollados en colaboración con seis agencias policiales, para integrar videos de flotas de robots terrestres en los flujos de trabajo de seguridad pública, demostrando mediante dos estudios que el uso de modelos de comprensión de video potenciados por IA reduce la carga laboral y aumenta la confianza de los profesionales, aunque persisten preocupaciones sobre falsas alarmas y privacidad.

Lo esencial

Imagina que la policía es como un equipo de bomberos, pero en lugar de apagar incendios, intentan prevenirlos y resolver crímenes. El problema es que están muy ocupados, tienen pocos personal y a veces tienen que arriesgar su vida para obtener información.

Este paper (documento de investigación) cuenta la historia de cómo los investigadores crearon un "súper asistente" basado en robots y inteligencia artificial para ayudar a la policía a ver lo que sucede en la ciudad sin tener que estar físicamente allí.

Aquí te lo explico como si fuera una película de ciencia ficción hecha realidad:

1. El Problema: "Mirar una aguja en un pajar"

Imagina que tienes que revisar 20 horas de video de cámaras de seguridad para encontrar un solo momento donde alguien robó una bicicleta. Tendrías que estar mirando la pantalla sin parpadear durante horas. Si te distraes un segundo, el ladrón desaparece. Además, la policía a veces tiene que usar robots terrestres (como pequeños coches autónomos) para vigilar zonas peligrosas, pero estos robots generan demasiado video. Ningún humano puede ver todo eso a la vez.

2. La Solución: El "Cerebro" y los "Ojos" (MRVS)

Los investigadores crearon un sistema llamado MRVS. Piensa en él como un director de orquesta digital que coordina a varios robots.

• Los Robots (Los Ojos): Son como pequeños exploradores que caminan por la ciudad grabando todo.
• La Inteligencia Artificial (El Cerebro): Es un "detective digital" muy rápido que mira los videos de los robots y dice: "¡Oye! En este momento, en esta esquina, alguien está actuando raro".
• La Interfaz (El Panel de Control): Es la pantalla donde el policía ve todo. En lugar de ver 10 videos a la vez y volverse loco, ve un mapa con iconos de colores. Si hay un problema, el mapa brilla y le dice exactamente dónde mirar.

3. ¿Cómo lo diseñaron? (La parte humana)

Lo más interesante es que no diseñaron esto en un laboratorio aislado. Los investigadores fueron a las comisarías y preguntaron a los policías: "¿Qué es lo que realmente necesitan?".

Fue como si un arquitecto le preguntara a un cocinero qué necesita su cocina antes de construir el horno. Descubrieron cosas importantes:

• No quieren solo una alarma: Quieren saber por qué la alarma sonó. (Ej: "No es solo que haya una persona, es que esa persona está escondiendo algo detrás de su espalda").
• Necesitan buscar cosas específicas: Si un testigo dice "el ladrón llevaba una chaqueta roja y zapatos azules", el sistema debe poder buscar eso en horas de video, no solo buscar por cara (que a veces no se ve bien).
• Trabajo en equipo: Si un policía encuentra algo, debe poder compartirlo fácilmente con su compañero que está de guardia mañana, sin perder el hilo de la investigación.

4. El "Campo de Entrenamiento" (El Testbed)

Para probar si su sistema funcionaba, crearon un parque de atracciones para robots.

• Contrataron a actores para simular situaciones reales (alguien robando, alguien cayendo, un coche chocando) en un campus universitario.
• Grabaron todo con robots, tanto de día como de noche.
• Esto les dio un "libro de ejercicios" perfecto para entrenar a la Inteligencia Artificial y ver si realmente podía detectar los problemas sin confundirse.

5. Los Resultados: ¿Funcionó?

Cuando mostraron el sistema a los policías reales:

• Les encantó: Decían que les ahorraba horas de trabajo aburrido. Podían saltar directamente al momento importante del video en lugar de revisar todo.
• Confianza con cuidado: Les gustaba que la IA les dijera "Estoy 80% seguro de que esto es un robo", pero insistían en que el humano siempre debe tomar la decisión final. La IA es el copiloto, no el piloto.
• Preocupaciones: Tuvieron dudas sobre la privacidad (no queremos que los robots espíen a la gente inocente) y sobre falsas alarmas (que el robot grite "¡Ladrón!" cuando solo es un gato).

En resumen

Este paper es como un manual de instrucciones para construir un superpoder para la policía. No se trata de que los robots reemplacen a los humanos, sino de darles superpoderes de visión para que puedan proteger mejor a la comunidad sin quemarse de trabajo.

Es como si antes la policía tuviera que buscar una aguja en un pajar a ciegas, y ahora, gracias a este sistema, tienen una linterna mágica que les señala exactamente dónde está la aguja, permitiéndoles concentrarse en resolver el misterio en lugar de perder tiempo buscando.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Designing Multi-Robot Ground Video Sensemaking with Public Safety Professionals", estructurado según los componentes solicitados.

1. Planteamiento del Problema

Los profesionales de la seguridad pública (policía, agentes de emergencia) enfrentan una escasez crónica de personal y están desproporcionadamente expuestos a riesgos físicos durante operaciones presenciales. Aunque las flotas de robots terrestres ofrecen una promesa de escalabilidad para la conciencia situacional, su integración en los flujos de trabajo actuales es limitada.

• Brecha de Diseño: Existe una falta de investigación sobre cómo diseñar e integrar videos de múltiples robots en entornos operativos reales. Los sistemas actuales de video (cámaras fijas, drones, cuerpos) suelen requerir un análisis manual intensivo, lo que genera fatiga cognitiva y carga de trabajo excesiva.
• Desalineación Operativa: Los despliegues tempranos de robots (como el K5 de la NYPD) han fallado debido a una falta de alineación con las necesidades prácticas, las restricciones de tiempo y los procesos de toma de decisiones de los agentes.
• Limitaciones Técnicas: Los modelos de visión por computadora existentes se centran en cámaras fijas y no han sido validados con profesionales para definir qué eventos son realmente relevantes ("Eventos de Interés" o EoIs) en contextos policiales dinámicos.

2. Metodología

El estudio se desarrolló en dos fases principales (Estudio 1 y Estudio 2) en colaboración con seis agencias de seguridad pública y cinco profesionales clave.

Estudio 1: Estudio Formativo y Construcción del Testbed

• Objetivo: Identificar eventos relevantes y requisitos de diseño.
• Proceso:
  1. Análisis de Datos: Se revisaron 13,234 registros de delitos de tres campus universitarios y 10 conjuntos de datos de video de anomalías existentes.
  2. Entrevistas y Encuestas: Con cinco profesionales de la seguridad pública, se identificaron 38 Eventos de Interés (EoIs) relevantes, categorizados en cuatro niveles de prioridad operativa: Emergencia, Urgente, Moderado y de Asesoría.
  3. Requisitos de Diseño (DRs): Se derivaron 6 requisitos clave para sistemas futuros, enfocados en explicabilidad contextual, detección automatizada, visión general situacional, conciencia espacio-temporal unificada, búsqueda basada en descriptores y colaboración en equipo.
  4. Creación del Dataset: Se grabó un conjunto de datos único de 20 videos de patrulla (10 pares día/noche) utilizando un robot terrestre (Frodo Zero) con una cámara GoPro. Los videos incluyen 38 eventos simulados por actores en un entorno de campus real, con anotaciones de "ground truth" (etiquetas de tiempo, tipo de evento, GPS).

Estudio 2: Evaluación Sumativa del Sistema MRVS

• Sistema MRVS (Multi-Robot Video Sensemaking): Se construyó una herramienta interactiva que integra un backend de IA y una interfaz de usuario.
  • Backend: Utiliza un Modelo de Lenguaje Grande Multimodal (MLLM) basado en Gemini 2.0, ajustado con prompt engineering y una taxonomía de EoIs específica. El modelo procesa el video en segmentos, detecta anomalías, genera descripciones, racionales y niveles de confianza.
  • Frontend: Ofrece funciones como "Video Wall" (muro de video), "Video Debrief" (resumen de video), línea de tiempo unificada, mapa de trayectoria, búsqueda por descriptores (ropa, color de vehículo) y espacio de trabajo colaborativo.
• Evaluación Técnica: Comparación de rendimiento del modelo de MRVS frente a HolmesVAD (modelo de detección de anomalías) y Gemini 2.0 estándar.
• Evaluación Humana: Entrevistas con 9 profesionales de la seguridad pública que realizaron tareas simuladas (respuesta a incidentes, revisión de patrullas, búsqueda de sospechosos) y evaluaron la utilidad del sistema.

3. Contribuciones Clave

1. Entorno de Prueba (Testbed) de Video Multi-Robot:
   • Primera taxonomía de 38 EoIs validada por expertos para robots terrestres.
   • Primer conjunto de datos público de videos de patrulla de robots terrestres con etiquetas de ground truth y contexto operativo.
   • Seis requisitos de diseño derivados empíricamente para herramientas de sentido común en video.
2. Sistema MRVS:
   • El primer sistema interactivo que operacionaliza el sentido común de video multi-robot para la seguridad pública, alineando un backend de MLLM con una interfaz centrada en el humano.
   • Capacidad de un solo operador para supervisar múltiples robots mediante resúmenes automatizados y navegación espacial-temporal.
3. Evaluación Integral:
   • Resultados técnicos que demuestran la superioridad del enfoque basado en MLLM sobre modelos tradicionales en escenarios de iluminación variable (día/noche).
   • Hallazgos cualitativos sobre la aceptación, confianza y preocupaciones éticas (falsas alarmas, privacidad) por parte de los usuarios finales.

4. Resultados

Resultados Técnicos (Backend)

El modelo de MRVS superó significativamente a los modelos base en la detección de anomalías en los 20 videos (470 minutos):

• Desempeño General: Logró un puntaje F1 de 0.519, superando a Gemini 2.0 (0.453) y a HolmesVAD (0.018).
• Rendimiento Nocturno: La mejora fue más notable de noche, donde MRVS alcanzó un F1 de 0.540 (vs. 0.438 de Gemini y 0.021 de HolmesVAD), demostrando robustez en condiciones de baja iluminación.
• Compromiso Precisión-Recall: MRVS priorizó la Recall (0.663 global) sobre la Precisión (0.473). Esto fue un diseño intencional para minimizar los falsos negativos (eventos perdidos) en un contexto de seguridad crítica, aceptando que los agentes deben verificar las alertas.

Resultados de la Evaluación Humana (Frontend)

Los profesionales reportaron:

• Reducción de Carga: Disminución significativa del esfuerzo manual en la revisión de video y aumento de la velocidad de investigación.
• Confianza y Control: Valoraron la explicabilidad de la IA (racionales y niveles de confianza), lo que les permitió validar rápidamente las alertas. Sin embargo, insistieron en que la IA es una herramienta de apoyo y no debe reemplazar el juicio humano ni ser utilizada como evidencia directa en tribunales sin verificación.
• Colaboración: La función de espacio de trabajo compartido facilitó la continuidad entre turnos y equipos, reduciendo la duplicación de esfuerzos.
• Preocupaciones: Se expresaron inquietudes sobre las falsas alarmas, la privacidad de la comunidad y la necesidad de transparencia en los algoritmos para evitar el sobre-vigilancia de grupos marginados.

5. Significado e Implicaciones

Este trabajo marca un avance significativo en la intersección de la Computación Centrada en el Humano (HCI), la Visión por Computadora y la Robótica:

• Validación de Enfoque Centrado en el Usuario: Demuestra que los sistemas de IA para seguridad pública deben co-diseñarse con los profesionales operativos para ser adoptados. La tecnología no puede imponerse; debe adaptarse a los flujos de trabajo existentes.
• Escalabilidad Operativa: MRVS demuestra que es posible que un solo operador supervise efectivamente una flota de robots, una capacidad crítica para agencias con escasez de personal.
• Nuevos Paradigmas de Detección: Sugiere que los modelos de lenguaje multimodal (MLLM) son superiores a los modelos de visión tradicionales para la comprensión semántica de eventos complejos en video móvil, especialmente cuando se combinan con prompts de dominio específico.
• Consideraciones Éticas: El estudio destaca la necesidad de equilibrar la eficiencia operativa con la privacidad y la equidad, abogando por sistemas transparentes, auditables y configurables para evitar sesgos en la vigilancia predictiva.

En conclusión, el paper proporciona tanto la infraestructura de datos (testbed) como el sistema funcional (MRVS) necesarios para avanzar en la investigación y el despliegue de robots terrestres autónomos en operaciones de seguridad pública, estableciendo un estándar para futuros sistemas de sentido común de video.