Frozen Vision Transformers for Dense Prediction on Small Datasets: A Case Study in Arrow Localization

Resumo Técnico: Vision Transformers Congelados para Predição Densa em Pequenos Conjuntos de Dados

1. Problema e Contexto

O artigo aborda o desafio de automatizar a detecção, localização e pontuação de flechas em alvos de tiro com arco indoor (40 cm), conforme as regulamentações da World Archery.

• Limitações da Pontuação Manual: Os métodos atuais registram apenas um valor escalar (pontos), descartando informações espaciais cruciais para o desenvolvimento do atleta, como a precisão do agrupamento (tightness), viés sistemático de mira e tendências de desempenho ao longo do tempo.
• Desafios Técnicos Específicos:
  1. Conjunto de Dados Pequeno: Apenas cerca de 48 imagens de treinamento, o que é insuficiente para redes profundas supervisionadas tradicionais (que exigem milhares de imagens).
  2. Distorção de Perspectiva: As fotos são tiradas em ângulos variados, transformando os anéis circulares do alvo em elipses.
  3. Desequilíbrio de Classes Extremo: Os furos das flechas são minúsculos em relação ao tamanho total do alvo.
  4. Furos Compostos: Múltiplas flechas atingindo locais próximos criam rasgos sobrepostos difíceis de separar.

2. Metodologia

A solução proposta combina visão computacional clássica com aprendizado de transferência moderno, utilizando uma arquitetura de três estágios:

A. Pipeline de Retificação Canônica (Pré-processamento)
Antes de qualquer aprendizado, uma etapa clássica de visão computacional transforma a imagem distorcida em um sistema de coordenadas padronizado.

• Mecanismo: Utiliza a estrutura de cores conhecida do alvo (amarelo-vermelho, vermelho-azul, azul-preto, preto-branco) no espaço de cor CIELAB para identificar limites.
• Processo: Cria máscaras binárias, ajusta elipses aos contornos e aplica uma deformação radial (radial warp).
• Resultado: Gera uma imagem de saída de 2048x2048 onde o alvo está centralizado, os anéis são círculos concêntricos perfeitos e a escala é uniforme (~0,195 mm/pixel). Isso elimina a necessidade de o modelo aprender invariância a perspectiva.

B. Arquitetura do Modelo
O modelo utiliza um Vision Transformer (ViT) congelado como extrator de características, evitando o overfitting em dados escassos.

1. Extração de Características (Frozen): Utiliza o DINOv3 ViT-L/16 (pré-treinado com aprendizado auto-supervisionado). A imagem retificada é redimensionada para 512x512, produzindo uma grade de 32x32. O backbone é totalmente congelado durante o treinamento.
2. Upsampling Guiado: Como a grade 32x32 é muito grosseira para localização sub-milimétrica, utiliza-se o AnyUp. Esta técnica usa a imagem de alta resolução (1024x1024) como "guia" para interpolar as características de baixa resolução, preservando o conteúdo semântico e recuperando a precisão espacial. O AnyUp também é congelado.
3. Heads de Detecção (Leves): Apenas as camadas finais são treináveis (3,8 milhões de parâmetros sobre um total de 308 milhões).
   • Head de Mapa de Calor (Heatmap): Prediz a probabilidade do centro da flecha (baseado em CenterNet).
   • Head de Offset (Sub-pixel): Prediz deslocamentos sub-pixel para refinar a localização (embora, como visto nos resultados, tenha sido menos eficaz neste caso específico).

C. Funções de Perda e Treinamento

• Perda de Focal Gaussian: Adaptada do CenterNet para o mapa de calor, com penalidades para exemplos difíceis e negativos fáceis.
• Perda Smooth L1: Aplicada apenas na região próxima ao centro da flecha para o head de offset.
• Otimização: AdamW com cosine annealing. Otimização de hiperparâmetros realizada via Optuna (busca bi-level) para ajustar taxas de aprendizado, pesos de perda e parâmetros do decodificador.

3. Contribuições Chave

1. Validação de ViTs Congelados em Dados Escassos: Demonstra que um backbone massivo (DINOv3) congelado, combinado com cabeças leves, é superior a redes supervisionadas treinadas do zero para conjuntos de dados com apenas dezenas de imagens.
2. Pipeline de Retificação Baseado em Cor: Uma solução robusta para corrigir distorção de perspectiva em alvos de arco, eliminando variabilidade geométrica antes do treinamento da rede neural.
3. Análise de Upsampling Guiado: Mostra que o uso de AnyUp permite alta precisão espacial sem a necessidade de treinar o encoder, contornando o problema de granularidade fina dos tokens do ViT.
4. Descoberta sobre o "Paradoxo do Head de Offset": Em cenários de dados muito pequenos com upsampling guiado de alta qualidade, o head de regressão de offset pode introduzir ruído em vez de refinar a precisão, sugerindo que o mapa de calor puro é suficiente.

4. Resultados

O modelo foi avaliado usando validação cruzada de 3 dobras em 48 imagens (5.084 furos anotados).

• Desempenho de Detecção:
  • F1 Score Médio: 0,893 ± 0,011.
  • Precisão: 95,1%.
  • Recall: 84,1%.
• Precisão de Localização:
  • Erro Médio: 1,41 ± 0,06 mm.
  • Este resultado supera ou é comparável a trabalhos anteriores (ex: Kim et al., 1,77 mm), apesar de usar menos dados e uma abordagem diferente (alvos indoor vs. outdoor).
• Métricas de Tiro com Arco:
  • O erro na pontuação média por imagem foi de apenas 2,6% (mediana de 1,8%).
  • O erro no centróide do grupo (viés de mira) foi de 4,90 mm, bem dentro da largura de um anel (20 mm), permitindo identificar viés sistemático.
• Ablação: A remoção do offset head manteve o F1 inalterado, mas reduziu o erro de localização de 1,56 mm para 1,41 mm, indicando que o head de offset era prejudicial neste contexto específico.

5. Significado e Conclusão

O trabalho estabelece um novo paradigma para tarefas de predição densa em cenários de poucos dados (small-data regimes).

• Eficiência: O sistema alcança alta precisão utilizando apenas 3,8 milhões de parâmetros treináveis, enquanto aproveita a capacidade representacional de 303 milhões de parâmetros de um modelo fundacional congelado.
• Aplicabilidade Prática: Permite a extração automática de estatísticas espaciais valiosas para atletas, algo que a pontuação manual não fornece.
• Limitações: O estudo foi limitado a um único local e tipo de alvo. A generalização para alvos externos ou condições de iluminação drasticamente diferentes exigiria validação adicional. Além disso, falhas ocorrem principalmente em furos compostos (flechas sobrepostas) e alvos muito desgastados.

Em suma, o artigo prova que a combinação de pré-processamento geométrico clássico com modelos fundacionais congelados é uma estratégia altamente eficaz para resolver problemas de visão computacional complexos quando os dados de treinamento são limitados.