Train, Test, Re-evaluate: Schedule-Sensitive Evaluation of Generative Data for Hand Detection

Resumo Técnico: Avaliação Sensível ao Cronograma de Dados Generativos para Detecção de Mãos

Definição do Problema
No monitoramento da segurança ocupacional, a detecção robusta de mãos é crítica para garantir a conformidade com os protocolos de segurança. No entanto, os conjuntos de dados públicos para detecção de mãos são predominantemente compostos por mãos nuas, falhando em representar a variação visual introduzida por equipamentos de proteção individual (EPIs), como luvas, bandagens, tatuagens e joias. Isso cria um desvio de distribuição significativo entre os dados de treinamento e os cenários de implantação no mundo real, particularmente em contextos críticos de segurança onde a detecção de mãos com acessórios é essencial. Embora a geração de dados sintéticos para preencher essa lacuna seja uma solução promissora, os métodos existentes frequentemente lutam contra o hiato "simulação-para-real", e a utilidade de dados sintéticos para tarefas centradas em objetos permanece uma questão científica em aberto.

Metodologia
Os autores propõem um framework para avaliar se a inpainting generativa — editar a região da mão em fotografias reais para adicionar acessórios enquanto preserva o fundo — pode efetivamente fechar este desvio de distribuição.

1. Construção do Conjunto de Dados:

   • Dados Reais: Um conjunto de dados de 6.507 imagens RGB de treinamento, 2.085 de validação e 3.591 de teste com anotações no formato YOLO.
   • Dados Sintéticos: Usando a ferramenta de código aberto SemProbe, os autores geraram imagens sintéticas pareadas. O pipeline segmenta a região da mão (via GroundingDINO e SAM2) e utiliza um transformer de fluxo retificado (FLUTX.2) para realizar a inpainting de acessórios (luvas, joias, tatuagens) baseando-se em prompts de texto. O fundo permanece pixel-idêntico ao original.
   • Avaliação de Qualidade: Cinco métricas de imagens pareadas foram computadas para validar os dados sintéticos:
     • Pixel/Estrutural: PSNR, SSIM e LPIPS (computados em imagens completas e recortes da mão).
     • Anatômica: Taxa de detecção do MediaPipe Hands, confiança e desvio de landmarks.
     • Limiar (Boundary): Razão de gradiente de borda para detectar costuras visíveis entre a mão inpainted e o fundo original.

2. Design Experimental:
   O estudo treinou detectores YOLOv8n sob seis regimes (Experimentos A–F), cada um repetido com três sementes aleatórias para análise estatística:

   • Exp A (Baseline): Treinar em dados reais, testar em dados reais.
   • Exp B (Sonda de Robustez): Avaliar modelos do Exp A em conjuntos de teste de luvas-sintéticas e luvas-reais (sem retreinamento).
   • Exp C (Aumento de Dois Estágios): Treinar em Real $\cup$ Sintético, então fazer fine-tuning em apenas Real com uma taxa de aprendizado menor.
   • Exp D (Apenas Sintético): Treinar exclusivamente em dados sintéticos.
   • Exp E (Currículo de Três Estágios): Treinar em Real $\to$ Real $\cup$ Sintético $\to$ Real-Luvas, com taxas de aprendizado progressivamente decrescentes.
   • Exp F (Meta-Análise): Agrega resultados para calcular métricas de gap assinado.

Resultos Principais

• Qualidade da Imagem: Métricas de imagem completa (PSNR/SSIM) sugeriram alta similaridade, mas métricas da região da mão revelaram diferenças significativas, confirmando que a inpainting alterou com sucesso a região alvo. A análise de gradiente de borda mostrou uma razão média de 1,088, indicando majoritariamente costuras invisíveis com uma minoria de artefatos visíveis.
• Desempenho de Detecção (mAP@0.5):
  • Exp C (Dois Estágios) alcançou o maior mAP@0.5 tanto no conjunto de teste real padrão (0,954) quanto no conjunto fora de distribuição (OOD) de luvas-reais (0,921), superando o baseline de apenas real em +8,7 pontos no conjunto real e fechando o gap OOD em +18,1 pontos.
  • Exp E (Três Estágios) alcançou o maior mAP@0.5:0.95 (0,628 no real, 0,374 em luvas), demonstrando superioridade na precisão da caixa (box-tightness), embora com um leve trade-off no mAP@0.5 em comparação ao Exp C.
  • Exp D (Apenas Sintético) atingiu 71,5% do mAP@0.5 do baseline, provando que dados sintéticos sozinhos são insuficientes, mas viáveis como suplemento.
• Significância Estatística: Testes t pareados (n=3) e análise de Cohen's d indicaram que a melhoria do Exp C sobre o baseline no mAP@0.5 foi um efeito de grande magnitude (d=2,06), embora o p-valor (0,071) não tenha atingido estritamente o limiar de 0,05 devido ao pequeno tamanho da amostra. O Exp E superou significativamente o Exp C no mAP@0.5:0.95 (p=0,012, d=5,29).

Significância e Alegações
O artigo afirma que a utilidade dos dados sintéticos para a detecção de mãos em segurança crítica é determinada pelo procedimento de treinamento, e não apenas pelos dados em si.

• Sensibilidade ao Cronograma: Cronogramas de treinamento multi-estágios simples (especificamente "aumento seguido de fine-tuning" e "aprendizado de currículo") extraem benefícios substanciais de implantação real a partir de dados de acessórios inpainted.
• Fechamento de Gap: Esses métodos reduzem significativamente o desvio de distribuição entre dados de treinamento de mãos nuas e cenários de implantação de mãos com acessórios.
• Limitações: Apesar das melhorias, um gap "obstinado" permanece no desempenho de IoU estrito (mAP@0.5:0.95) para mãos reais com luvas. Os autores atribuem isso à dificuldade de manter a precisão da caixa em mãos com acessórios, sugerindo que melhorias futuras podem exigir o refinamento do próprio pipeline de geração de dados, em vez de apenas ajustar os cronogramas de treinamento.

O estudo conclui que, embora a inpainting generativa introduza assinaturas detectáveis por máquinas, ela é uma estratégia viável para aumento de dados em segurança ocupacional, desde que integrada via regimes de treinamento multi-estágios cuidadosamente desenhados.