Empirical Evaluation of Multi-Modal Touch Detection in Over-the-Shoulder Video Surveillance

Resumo Técnico: Avaliação Empírica de Detecção de Toque Multimodal em Vigilância de Vídeo Sobre o Ombro

Definição do Problema
O artigo aborda a viabilidade do "registro de teclas virtual" (virtual keylogging) — decodificar as teclas digitadas pelo usuário em dispositivos móveis a partir de vigilância de vídeo sobre o ombro, sem acesso direto à tela. Embora a Inteligência de Vídeo de Vigilância (VIDINT) vise decodificar interações humano-computador detalhadas, essa tarefa é historicamente dificultada por distorções de perspectiva, desfoque de movimento, oclusões parciais da mão e ruído ambiente. As abordagens existentes dependem frequentemente de aprendizado supervisionado que exige grandes conjuntos de dados anotados ou calibração específica, o que limita sua aplicabilidade em cenários de vigilância oportunistas e não controlados. Este estudo avalia se um pipeline de filtro multimodal livre de treinamento pode reconstruir com sucesso sequências de digitação a partir de tais filmagens.

Metodologia
Os autores avaliam o framework BEHINT (Inteligência Comportamental), um sistema livre de treinamento projetado para detectar eventos de toque e mapeá-los a um layout de teclado de referência. O pipeline opera em duas etapas:

1. Detecção Multimodal: Quatro detectores paralelos processam quadros de vídeo para identificar candidatos a contatos de dedos:

   • Landmarks Anatômicos MediaPipe: Configurados com limiares de confiança baixos (0,3) para capturar esqueletos de mãos parciais (21 landmarks) mesmo sob oclusão.
   • Filtragem de Pele HSV: Segmenta a cor da pele no espaço HSV ($H \in [0, 20], S \in [20, 255], V \in [70, 255]$) com limpeza morfológica.
   • Diferenciação de Quadros Temporais: Detecta movimento computando diferenças absolutas de pixels entre quadros consecutivos.
   • Detecção de Bordas Guiada por Forma: Utiliza detecção de bordas Canny para encontrar limites de dedos, filtrando contornos por área e razão de aspecto.
   • As saídas são fundidas via agrupamento espacial (DBSCAN) e mapeadas para um layout de grade padrão de 4×3.

2. Estratégia de Avaliação:

   • Avaliação em Estágios: Um vídeo de primeira pessoa de 120 quadros de uma entrada de senha de 4 teclas conhecida ('2'→'5'→'8'→'#') serve como a verdade fundamental (ground truth) para calcular Precisão, Recall, F1-score e Similaridade de Sequência.
   • Ablação e Sensibilidade: O sistema passa por estudos de ablação, análise de decaimento de resolução (redução para 25%), injeção de ruído (Gaussiano $\sigma \in [0, 30]$) e ajuste de limiar de proximidade.
   • Generalização para o Mundo Real: O pipeline é testado em cinco vídeos não controlados de terceiros (ex: discadores, telas vazias, telas verdes) sem rótulos de verdade fundamental. Em vez disso, os autores medem o "volume de detecção" (pontos de toque por quadro) para identificar mecanismos de falha.

Principais Contribuições

• Benchmark Reproduzível: Um vídeo em estágios de 120 quadros com verdade fundamental conhecida e um pipeline de detecção de quatro modalidades para inferência de digitação sobre o ombro.
• Caracterização do Envelope Operacional: Uma análise de ablação e sensibilidade demonstrando que o desempenho do sistema não é limitado pela resolução, mas pelos defeitos inerentes à lógica de detecção.
• Auditoria de Generalização: Uma auditoria sem rótulos em filmagens do mundo real revelando que o sistema super-reporta contatos em 1 a 3 ordens de magnitude, falhando em distinguir entre a presença da mão e o contato real da ponta do dedo.

Resultos

• Desempenho em Estágios: No clipe controlado de 120 quadros, o sistema multimodal combinado alcançou um F1-score de 16,7% e uma similaridade de sequência de 3,0%.
  • As modalidades individuais tiveram desempenho insatisfatório: MediaPipe e Detecção de Pele falharam totalmente (F1 = 0%) devido a oclusão e ruído. Somente-Movimento e Somente-Borda alcançaram F1-scores ligeiramente superiores (18,5% e 18,2%, respectivamente).
  • Mudanças de resolução tiveram impacto negligenciável no desempenho, indicando que a falha não se deve ao detalhe da imagem.
  • A sensibilidade ao ruído foi significativa, com o F1 caindo para 10,7% em $\sigma=20$.
  • O ajuste do limiar de proximidade não gerou variação de desempenho, sugerindo que o detector emite uma nuvem densa e espacialmente difusa de falsos positivos que não pode ser filtrada por uma fusão simples.
• Falha no Mundo Real: Em cinco vídeos do mundo real, o detector emitiu uma mediana de 57 pontos de toque por quadro (atingindo o pico de 205), enquanto uma sessão de digitação real gera aproximadamente 0,2 toques por quadro.
  • O Filtro de Pele HSV foi a principal fonte de erro, sendo responsável por até 100% das detecções em alguns clipes. Ele respondeu a toda a área visível da mão em vez de ao contato específico da ponta do dedo.
  • O sistema falhou em generalizar; sem regiões de dispositivo ajustadas manualmente e layouts conhecidos para descartar o enorme volume de dados espúrios, nenhuma sequência de digitação pôde ser recuperada.

Significância e Alegações
O artigo conclui que um pipeline de filtro multimodal, livre de treinamento e baseado em componentes prontos, não alcança a reconstrução confiável de teclas digitadas a partir de vídeo sobre o ombro fora de um cenário estritamente calibrado e em estágios.

• Os autores declaram explicitamente que seu trabalho não é um novo ataque, mas uma avaliação empírica de se um sistema que um adversário oportunista pudesse montar a partir de componentes gratuitos realmente funciona.
• Os achados sugerem que o mecanismo de "filtro de pele" é fundamentalmente falho para esta tarefa porque detecta a área da pele em vez do contato.
• O artigo argumenta que o registro de teclas virtual confiável através desta abordagem exigiria classificadores de contato de ponta de dedo aprendidos e detecção automática de região do dispositivo, em vez dos filtros clássicos avaliados aqui.
• Os autores identificam a necessidade de um conjunto de dados rotulado em larga escala, com anotações de toque por quadro, como o próximo passo necessário para pesquisas futuras, em vez de alegar que os métodos atuais são viáveis.