From Offline to Periodic Adaptation for Pose-Based Shoplifting Detection in Real-world Retail Security

Este artigo apresenta um framework de adaptação periódica para detecção de furtos em lojas baseada em pose, utilizando o novo conjunto de dados RetailS e otimizado para implantação em dispositivos IoT de borda, demonstrando superioridade sobre métodos offline em cenários de varejo real.

O essencial

Imagine que você é o dono de uma grande loja de departamentos. Você tem dezenas de câmeras de segurança apontando para todos os corredores, mas há um problema: ninguém consegue assistir a todas as câmeras o tempo todo. Se você tentar contratar guardas para vigiar cada tela, vai gastar uma fortuna e, ainda assim, eles vão se distrair ou ficar cansados.

A solução? Um "robô de segurança" inteligente. Mas criar esse robô para lojas reais é difícil porque as lojas mudam: a iluminação varia, as pessoas se movem de formas diferentes e os ladrões inventam novos truques para esconder produtos.

Este artigo da IEEE Internet of Things Journal apresenta uma solução inteligente para esse problema, chamada RetailS. Vamos descomplicar como funciona, usando algumas analogias do dia a dia.

1. O Robô que não "vê" rostos, mas "vê" movimentos (Privacidade e Eficiência)

A maioria dos sistemas de segurança tenta analisar a imagem completa (cores, roupas, rostos). Isso é como tentar achar uma agulha no palheiro olhando para a cor do palha. Além disso, isso levanta questões de privacidade (ninguém quer que uma câmera grave seu rosto o tempo todo).

A Solução: Os autores criaram um sistema que ignora a imagem e foca apenas nos ossos (o esqueleto) das pessoas.

• Analogia: Imagine que o sistema não vê a pessoa vestindo uma jaqueta vermelha ou um chapéu azul. Ele vê apenas um "boneco de palito" (stick figure) se movendo.
• Por que é bom? É muito mais rápido para o computador processar (como ler um desenho simples em vez de uma pintura complexa) e protege a privacidade, pois não importa quem é a pessoa, apenas como ela se move. Se alguém está escondendo algo no bolso de forma estranha, o "boneco de palito" mostra um movimento suspeito, mesmo que você não saiba quem é a pessoa.

2. O Problema do "Treinamento Estático" (A Lição da Escola Velha)

Antes, os sistemas de IA eram treinados uma única vez em um laboratório, como um aluno que estuda para uma prova e nunca mais abre um livro.

• O Problema: Quando esse "aluno" vai para a loja real, ele se confunde. A loja mudou de layout, a luz mudou, ou os ladrões aprenderam novos truques. O sistema fica confuso e começa a dar muitos alarmes falsos (gritar "ladrão!" quando é apenas um cliente normal) ou deixa de ver os ladrões reais.

3. A Solução: "Aprendizado Periódico" (O Sistema de Atualização Automática)

A grande inovação deste artigo é transformar o sistema de segurança em um aluno que estuda todos os dias.

• Como funciona: O sistema não para de vigiar a loja. Enquanto vigia, ele coleta dados de "comportamentos normais" (clientes comprando normalmente) e os envia para um "cérebro central" (na nuvem ou em um servidor).
• A Atualização: A cada 12 ou 24 horas (dependendo da configuração), o sistema pega esses novos dados, atualiza seu "manual de instruções" e baixa a nova versão para as câmeras.
• Analogia: É como se o GPS do seu carro recebesse um update diário sobre novos buracos na estrada ou novos atalhos. O carro não precisa parar para aprender; ele apenas atualiza o mapa e continua dirigindo, agora sabendo onde estão os perigos hoje, não os de ontem.

4. O Novo "Campo de Treino" (O Dataset RetailS)

Para treinar esse robô, os pesquisadores precisavam de dados reais, não de filmes de ficção. Eles criaram o RetailS.

• O que é: Um banco de dados gigante com vídeos reais de uma loja americana.
• A parte especial: Eles gravaram dois tipos de situações:
  1. Clientes normais: Milhares de horas de pessoas comprando tranquilamente.
  2. Ladrões "de verdade" (e encenados): Pesquisadores autorizados entraram na loja e praticaram truques de furto (esconder na calça, no casaco, na bolsa) em diferentes corredores e sob diferentes ângulos de câmera.
• Por que importa? Antes, os sistemas eram treinados com dados "limpos" de laboratório. Agora, eles são treinados com a bagunça do mundo real: pessoas se escondendo atrás de outros, luzes piscando e ângulos estranhos. É como treinar um jogador de futebol na areia e na chuva, não apenas em um campo gramado perfeito.

5. O Filtro Inteligente (Não gritar "Fogo!" a cada faísca)

Um dos maiores problemas de segurança é o "alarme falso". Se o sistema gritar "ladrão!" toda vez que alguém pega um chocolate, os funcionários vão ignorar o sistema.

• A Solução: O sistema usa uma régua matemática chamada HPRS (uma média que pune erros). Ele é treinado para ser muito cuidadoso: só aciona o alarme se tiver quase certeza.
• Resultado: O sistema aprende a distinguir entre "alguém pegando um item para ver" e "alguém escondendo o item rapidamente".

Resumo da Ópera

Este artigo mostra como usar a tecnologia da "Internet das Coisas" (IoT) para criar sistemas de segurança de loja que:

1. Respeitam a privacidade (olham apenas para o esqueleto, não para o rosto).
2. Aprendem sozinhos (atualizam-se periodicamente para não ficar obsoletos).
3. Funcionam em tempo real em computadores pequenos nas próprias câmeras (edge computing).
4. São testados em um cenário real (com dados reais de uma loja, não de laboratório).

É como ter um guarda de segurança que nunca dorme, nunca se distrai, nunca esquece os novos truques dos ladrões e, o mais importante, sabe exatamente quando gritar e quando ficar calmo.

Resumo técnico

1. O Problema

O furto em lojas (shoplifting) representa um desafio operacional e econômico crescente para o varejo, com perdas projetadas para ultrapassar 53 bilhões de dólares até 2027. Apesar da extensa vigilância por vídeo, a detecção humana contínua é inviável devido ao volume de dados, resultando em uma taxa de apreensão de apenas cerca de 2% dos casos.

As soluções atuais de detecção de anomalias em vídeo (VAD) enfrentam três limitações principais ao serem aplicadas em ambientes de Internet das Coisas (IoT) reais:

1. Dependência de Dados Offline: A maioria dos modelos é treinada e validada em condições de laboratório estáticas, falhando ao lidar com a deriva de dados (data drift) causada por mudanças na iluminação, layout da loja ou comportamento dos clientes ao longo do tempo.
2. Privacidade e Recursos: Abordagens baseadas em pixels (imagens brutas) levantam preocupações de privacidade e exigem alto poder computacional, tornando-as inadequadas para dispositivos de borda (edge devices) com recursos limitados.
3. Falta de Adaptação Contínua: Sistemas existentes geralmente usam limiares de decisão fixos e não se adaptam periodicamente a novos padrões de comportamento ou condições ambientais, levando a altas taxas de falsos positivos.

2. Metodologia

Os autores propõem um framework de detecção de anomalias não supervisionada baseada em pose com adaptação periódica, projetado especificamente para implantação em dispositivos de borda em redes de câmeras distribuídas.

A. Representação Baseada em Pose

Em vez de processar pixels brutos, o sistema utiliza sequências de esqueletos humanos (pontos-chave de pose).

• Vantagens: Preserva a privacidade (não armazena aparências), é robusto a ruídos visuais e variações de iluminação, e reduz significativamente a carga computacional e de memória, sendo ideal para IoT.
• Pipeline: Detecção de pessoas (YOLOv8) + Rastreamento (ByteTrack) + Estimativa de Pose (HRNet) para gerar sequências de 17 pontos-chave (formato COCO).

B. Pipeline de Adaptação Periódica

O sistema opera em um ciclo contínuo de três etapas (ilustrado na Fig. 2 do artigo):

1. Filtragem (Edge): Um modelo pré-treinado avalia o fluxo de vídeo em tempo real. Frames com baixas pontuações de anomalia (considerados normais) são filtrados.
   • Seleção de Limiar: Utiliza-se uma métrica composta chamada HPRS (Média Harmônica de Precisão, Recall e Especificidade) em vez do tradicional F1-score. O HPRS é crucial em IoT para controlar ativamente a taxa de falsos positivos (especificidade), evitando sobrecarregar o pessoal da loja com alertas desnecessários.
2. Coleta (Buffer): Frames filtrados são agregados em um buffer de dados pseudo-rotulados. Para evitar viés de câmeras de alto tráfego, a coleta é feita de forma cruzada entre todas as câmeras em janelas de tempo (meio-dia ou dia inteiro).
3. Treinamento (Back-end/Edge): Quando o buffer atinge um tamanho pré-definido, o modelo é ajustado (fine-tuned) com os novos dados. Os pesos atualizados são empurrados de volta para os dispositivos de borda.
   • Estratégia de Controle: Para garantir estabilidade, os limiares de decisão são fixados durante a calibração offline e não alterados durante a inferência. Apenas os pesos do modelo são atualizados periodicamente, desacoplando a inferência estável na borda da adaptação no back-end.

3. Contribuições Principais

1. Novo Framework de Adaptação: Introdução de um pipeline de detecção de anomalias baseado em pose com adaptação periódica, projetado para operar em condições de IoT reais (fluxo contínuo, recursos limitados, privacidade).
2. Dataset RetailS: Criação de um novo dataset de grande escala e realista, coletado em uma loja de varejo real por 10 dias com 6 câmeras.
   • Contém ~20 milhões de frames de comportamento normal.
   • Inclui dois conjuntos de teste: Real-world (53 incidentes reais de 2 anos) e Staged (898 incidentes encenados com 5 estratégias de ocultação diferentes).
   • Foca em privacidade, fornecendo apenas sequências de pose anonimizadas.
3. Benchmarks e Análise de Desempenho: Avaliação abrangente de três modelos state-of-the-art (STG-NF, SPARTA, TSGAD) comparando cenários offline vs. adaptação periódica, incluindo análise de eficiência temporal e robustez a deriva de domínio.

4. Resultados

• Superioridade da Adaptação Periódica: O framework de adaptação periódica superou os baselines offline em 91,6% das avaliações (métricas AUC-ROC e AUC-PR). Isso demonstra que a atualização contínua do modelo é essencial para lidar com a deriva de dados em ambientes reais.
• Eficiência em Hardware de Borda: Cada ciclo de atualização de treinamento foi concluído em menos de 30 minutos em hardware de nível de borda.
  • Modelos leves (SPARTA, STG-NF) completaram atualizações em 2–7 minutos.
  • Modelos mais pesados (TSGAD) levaram até 27 minutos (janela de meio-dia), ainda dentro de limites viáveis para atualizações diárias.
• Impacto da Métrica HPRS: O uso do limiar HPRS resultou em melhor controle de falsos positivos em comparação ao F1-score em 9 de 12 casos, validando sua importância para operações de varejo.
• Frequência de Atualização: Atualizações semidias (a cada 12 horas) superaram as atualizações diárias, capturando melhor a deriva local do domínio, embora atualizações diárias sejam viáveis sob restrições de recursos mais severas.
• Desempenho por Câmera e Evento: A análise mostrou que a visão da câmera e o tipo de ocultação (ex: esconder em bolsa vs. jaqueta) impactam o desempenho, reforçando a necessidade de adaptação contínua e treinamento multi-câmera.

5. Significado e Conclusão

Este trabalho preenche uma lacuna crítica entre a pesquisa acadêmica de detecção de anomalias (geralmente offline e baseada em laboratório) e a implantação prática em sistemas de varejo inteligentes.

• Viabilidade de IoT: Demonstra que é possível executar detecção de anomalias complexas em dispositivos de borda com baixa latência e privacidade preservada.
• Resiliência Operacional: A estratégia de "limiares fixos na borda + atualização periódica de pesos" oferece um equilíbrio ideal entre estabilidade operacional e capacidade de adaptação a mudanças no ambiente.
• Padrão de Referência: O dataset RetailS estabelece um novo padrão para avaliação de sistemas de segurança de varejo, fornecendo dados realistas, multi-câmera e focados em privacidade que faltavam na literatura anterior.

Em suma, o estudo prova que a transição de modelos estáticos para sistemas de aprendizado contínuo e adaptativo é não apenas possível, mas essencial para a eficácia de longo prazo da segurança baseada em IA no varejo moderno.