Empirical Evaluation of Multi-Modal Touch Detection in Over-the-Shoulder Video Surveillance

Resumen Técnico: Evaluación Empírica de la Detección de Toque Multimodal en Videovigilancia Sobre el Hombro

Planteamiento del Problema
El artículo aborda la viabilidad del "registro de pulsaciones virtual" (virtual keylogging): decodificar las pulsaciones de teclas de un usuario en dispositivos móviles a partir de videovigilancia sobre el hombro sin acceso directo a la pantalla. Mientras que la Inteligencia de Video para la Vigilancia (VIDINT) busca decodificar interacciones humano-computadora de grano fino, esta tarea se ve históricamente obstaculizada por distorsiones de perspectiva, desenfoque de movimiento, oclusiones parciales de la mano y ruido ambiental. Los enfoques existentes suelen depender del aprendizaje supervisado que requiere grandes conjuntos de datos anotados o una calibración específica, lo que limita su aplicabilidad en escenarios de vigilancia oportunistas y no controlados. Este estudio evalúa si un flujo de procesamiento de filtros multimodales sin entrenamiento puede reconstruir con éxito secuencias de tecleo a partir de dicho metraje.

Metodología
Los autores evalúan el marco BEHINT (Inteligencia Conductual), un sistema sin entrenamiento diseñado para detectar eventos de toque y mapearlos a un diseño de teclado de referencia. El flujo de procesamiento opera en dos etapas:

1. Detección Multimodal: Cuatro detectores paralelos procesan fotogramas de video para identificar contactos de dedos candidatos:

   • Puntos de Referencia Anatómicos de MediaPipe: Configurado con umbrales de confianza bajos (0.3) para capturar esqueletos de manos parciales (21 puntos de referencia) incluso bajo oclusión.
   • Filtrado de Piel por HSV: Segmenta el color de la piel en el espacio HSV ($H \in [0, 20], S \in [20, 255], V \in [70, 255]$) con limpieza morfológica.
   • Diferenciación de Fotogramas Temporales: Detecta el movimiento computando las diferencias absolas de píxeles entre fotogramas consecutivos.
   • Detección de Bordes Guiada por Forma: Utiliza la detección de bordes Canny para encontrar los límites de los dedos, filtrando contornos por área y relación de aspecto.
   • Los resultados se fusionan mediante agrupamiento espacial (DBSCAN) y se mapean a un diseño de cuadrícula estándar de 4×3.

2. Estrategia de Evaluación:

   • Evaluación Escalonada: Un video en primera persona de 120 fotogramas con la entrada de un código de 4 claves conocido ('2'→'5'→'8'→'#') sirve como verdad de campo (ground truth) para calcular la Precisión, el Recall, la puntuación F1 y la Similitud de Secuencia.
   • Ablación y Sensibilidad: El sistema se somete a estudios de ablación, análisis de degradación de resolución (reducción de escala al 25%), inyección de ruido (Gaussiano $\sigma \in [0, 30]$) y ajuste de umbral de proximidad.
   • Generalización en el Mundo Real: El flujo de procesamiento se prueba en cinco videos no controlados de terceros (por ejemplo, marcadores, pantallas en blanco, pantallas verdes) sin etiquetas de verdad de campo. En su lugar, los autores miden el "volumen de detección" (puntos de toque por fotograma) para identificar mecanismos de fallo.

Contribuciones Clave

• Referencia Reproducible: Un video escalonado de 120 fotogramas con verdad de campo conocida y un flujo de detección de cuatro modalidades para la inferencia de pulsaciones de teclas sobre el hombro.
• Caracterización del Entorno Operativo: Un análisis de ablación y sensibilidad que demuestra que el rendimiento del sistema no está limitado por la resolución, sino por fallos inherentes en la lógica de detección.
• Auditoría de Generalización: Una auditoría sin etiquetas en metraje del mundo real que revela que el sistema sobre-reporta contactos entre 1 y 3 órdenes de magnitud, fallando al distinguir entre la presencia de la mano y el contacto real de la punta del dedo.

Resultos

• Rendimiento Escalonado: En el clip controlado de 120 fotogramas, el sistema multimodal combinado logró una puntuación F1 del 16.7% y una similitud de secuencia del 3.0%.
  • Las modalidades individuales funcionaron deficientemente: MediaPipe y la Detección de Piel fallaron totalmente (F1 = 0%) debido a la oclusión y el ruido. Los sistemas de Solo Movimiento y Solo Bordes lograron puntuaciones F1 ligeramente superiores (18.5% y 18.2%, respectivamente).
  • Los cambios de resolución tuvieron un impacto insignificante en el rendimiento, indicando que el fallo no se debe al detalle de la imagen.
  • La sensibilidad al ruido fue significativa, con la F1 cayendo al 10.7% en $\sigma=20$.
  • El ajuste del umbral de proximidad no produjo variación en el rendimiento, lo que sugiere que el detector emite una nube densa y espacialmente difusa de falsos positivos que no puede filtrarse mediante una fusión simple.
• Fallo en el Mundo Real: En cinco videos del mundo real, el detector emitió una mediana de 57 puntos de toque por fotograma (alcanzando picos de 205), mientras que una sesión de tecleo real genera aproximadamente 0.2 toques por fotograma.
  • El Filtro de Piel HSV fue la principal fuente de error, siendo responsable de hasta el 100% de las detecciones en algunos clips. Reaccionaba a toda la mano visible en lugar de al contacto específico de la punta del dedo.
  • El sistema no logró generalizar; sin regiones de dispositivos ajustadas manualmente y diseños conocidos para descartar el enorme volumen de datos espurios, no se pudo recuperar ninguna secuencia de pulsaciones.

Significancia y Reivindicaciones
El artículo concluye que un flujo de filtros multimodales sin entrenamiento y de componentes comerciales no logra una reconstrucción de pulsaciones de teclas fiable desde la videovigilancia sobre el hombro fuera de un entorno estrictamente calibrado y escalonado.

• Los autores declaran explícitamente que su trabajo no es un nuevo ataque, sino una evaluación empírica de si un sistema que un adversario oportunista pudiera ensamblar a partir de componentes gratuitos realmente funciona.
• Los hallazgos sugieren que el mecanismo de "filtro de piel" es fundamentalmente defectuoso para esta tarea porque detecta el área de la piel en lugar del contacto.
• El artículo argumenta que un registro de pulsaciones virtual fiable requeriría clasificadores de contacto de la punta del dedo aprendidos y detección automática de la región del dispositivo, en lugar de los filtros clásicos evaluados aquí.
• Los autores identifican la necesidad de un conjunto de datos etiquetado a gran escala, con anotaciones de toque a nivel de fotograma, como el siguiente paso necesario para la investigación futura, en lugar de afirmar que los métodos actuales son viables.