Frozen Vision Transformers for Dense Prediction on Small Datasets: A Case Study in Arrow Localization

Titolo

Vision Transformers Congelati per la Predizione Densa su Piccoli Dataset: Uno Studio di Caso sulla Localizzazione delle Frecce

1. Problema e Contesto

Il paper affronta la sfida di automatizzare il rilevamento, la localizzazione e la classificazione dei punteggi delle frecce in foto di bersagli da tiro con l'arco indoor (diametro 40 cm).

• Contesto: Nel tiro con l'arco competitivo, il punteggio è determinato da quale anello concentrico viene colpito. Se la punta della freccia tocca una linea di confine, viene assegnato il punteggio più alto (regola del "taglio della linea").
• Limitazioni attuali: Lo scoring manuale registra solo un valore scalare (punti), perdendo le informazioni spaziali cruciali per lo sviluppo dell'atleta (es. precisione del raggruppamento, bias sistematico di mira, trend temporali).
• Sfide Tecniche:
  1. Dataset ridotto: Solo 48 immagini ad alta risoluzione (dozzine invece di migliaia tipiche del deep learning supervisionato).
  2. Distorsione prospettica: Le foto sono scattate da angoli imperfetti, trasformando gli anelli circolari in ellissi.
  3. Squilibrio di classe estremo: I buchi delle frecce sono molto piccoli rispetto all'area totale del bersaglio.
  4. Punzioni composte: Frecce multiple che colpiscono quasi lo stesso punto creano strappi sovrapposti difficili da risolvere.

2. Metodologia

L'approccio proposto combina una pipeline classica di visione artificiale per la correzione geometrica con un'architettura moderna di transfer learning basata su Transformer.

A. Pipeline di Rettificazione Canonica

Prima di qualsiasi apprendimento, le immagini vengono trasformate in un sistema di coordinate standardizzato:

• Sfrutta la struttura cromatica nota del bersaglio (confini giallo-rosso, rosso-blu, ecc.) nello spazio colore CIELAB per robustezza all'illuminazione.
• Identifica i confini attraverso maschere binarie e adatta ellissi ai contorni.
• Applica una warpage radiale per mappare l'immagine distorta in un output canonico di 2048x2048 pixel, dove gli anelli sono cerchi concentrici perfetti e la scala è uniforme (~0.195 mm/pixel). Questo elimina la variabilità geometrica che il modello dovrebbe altrimenti imparare.

B. Architettura del Modello

Il sistema utilizza un approccio "frozen backbone" (backbone congelato) per evitare l'overfitting:

1. Estrazione delle Caratteristiche (Frozen): Utilizza DINOv3 (ViT-L/16), un Vision Transformer pre-addestrato in modo auto-supervisionato. L'immagine rettificata viene ridimensionata a 512x512, producendo una griglia di feature 32x32. Il backbone è completamente congelato (303M parametri non addestrabili).
2. Upsampling Guidato (Frozen): Per colmare il divario tra la bassa risoluzione delle feature del Transformer (32x32) e la necessità di localizzazione sub-millimetrica, viene utilizzato AnyUp. Questo modulo esegue un upsampling guidato dalle feature ad alta risoluzione dell'immagine stessa, producendo mappe di feature 512x512. Anche questo modulo è congelato.
3. Teste di Rilevamento (Trainable): Solo le ultime fasi sono addestrabili (3.8M parametri totali):
   • Una proiezione 1x1 riduce i canali a 256.
   • Testa Heatmap: Prevede una mappa di probabilità per il centro delle frecce (basata su CenterNet).
   • Testa Offset: Prevede offset sub-pixel (dx, dy) per rifinare la posizione (sebbene, come vedremo, sia stata trovata poco utile).

C. Addestramento e Ottimizzazione

• Loss Function: Focal Loss adattato per la heatmap (per gestire lo squilibrio classe) e Smooth L1 Loss per l'offset (solo all'interno di una maschera di 24px).
• Data Augmentation: Aggressiva (rotazione 360°, shear, jitter di colore, rumore, sfocatura) per simulare variabilità reale e prevenire overfitting su 48 immagini.
• Ottimizzazione Iperparametri: Utilizzo di Optuna per tuning congiunto di parametri di training e del decoder.

3. Risultati

Il modello è stato valutato tramite cross-validazione a tre pieghe su un dataset di 48 immagini.

• Prestazioni di Rilevamento:
  • F1 Score: 0.893 ± 0.011.
  • Precisione: 0.951.
  • Recall: 0.841.
• Accuratezza di Localizzazione:
  • Errore medio di localizzazione: 1.41 ± 0.06 mm.
  • Questo risultato è competitivo rispetto a lavori precedenti (es. Kim et al. con errore di 1.77 mm su bersagli outdoor), pur utilizzando un dataset molto più piccolo e senza addestrare il backbone da zero.
• Metriche di Scoring:
  • Errore mediano nel punteggio medio per immagine: 1.8%.
  • Errore nel baricentro del gruppo (centroide): 4.90 mm (sufficiente per identificare bias di mira).

Studio Ablativo: La Testa di Offset

Uno studio interessante ha confrontato l'uso della testa di offset rispetto all'uso della sola heatmap:

• L'aggiunta della testa di offset ha portato un miglioramento F1 trascurabile (< 0.001).
• Ha peggiorato l'accuratezza di localizzazione (da 1.41 mm a 1.56 mm).
• Conclusione: L'upsampling guidato (AnyUp) recupera già sufficientemente la precisione spaziale persa dal tokenizzazione del Transformer. Su dataset piccoli, la regressione dell'offset introduce rumore invece di raffinare il segnale. Si raccomanda l'uso della sola heatmap.

4. Contributi Chiave

1. Validazione dei Foundation Model Congelati: Dimostra che i modelli Vision Transformer pre-addestrati in modo auto-supervisionato (DINOv3), quando tenuti congelati e combinati con teste leggere, sono ideali per compiti di predizione densa su dataset molto piccoli (48 immagini).
2. Pipeline di Rettificazione Canonica: Un metodo robusto basato sul colore per correggere la distorsione prospettica prima dell'addestramento, semplificando drasticamente il compito di apprendimento per la rete neurale.
3. Efficienza dei Parametri: Il sistema addestra solo 3.8 milioni di parametri su un modello totale di 308 milioni, rendendolo efficiente e riducendo il rischio di overfitting.
4. Studio di Caso Pratico: Fornisce un sistema completo per l'analisi tecnica del tiro con l'arco, andando oltre il semplice punteggio per fornire metriche spaziali utili agli atleti.

5. Significato e Limitazioni

• Significato: Il lavoro dimostra che non è necessario addestrare modelli massicci da zero per compiti di visione artificiale su dati limitati. L'uso di feature estratte da modelli foundation congelati, unite a un preprocessing geometrico intelligente, offre un paradigma pratico ed efficace.
• Limitazioni:
  • Il dataset proviene da un singolo arciere e un singolo luogo, limitando la generalizzazione a diverse condizioni di luce o usura dei bersagli.
  • Mancanza di un set di test completamente tenuto da parte (held-out) non visto durante la selezione del modello.
  • Il sistema è validato solo su bersagli indoor da 40 cm; l'estensione ad altri formati richiederebbe modifiche alla pipeline di rettificazione.
  • Difficoltà nel gestire "punizioni composte" (frecce sovrapposte) che causano falsi negativi.

In sintesi, il paper presenta una soluzione elegante ed efficiente per un problema di visione artificiale complesso in condizioni di scarsità di dati, combinando tecniche classiche di elaborazione immagini con lo stato dell'arte dei Transformer moderni.