Frozen Vision Transformers for Dense Prediction on Small Datasets: A Case Study in Arrow Localization

Resumen Técnico: Localización de Flechas con Vision Transformers Congelados

1. Problema y Contexto

El artículo aborda el desafío de la puntuación automática y la localización de flechas en dianas de tiro con arco indoor de 40 cm (regulación World Archery).

• Limitaciones actuales: La puntuación manual solo registra un valor escalar (puntos), perdiendo información espacial crítica para el desarrollo del atleta, como la agrupación de flechas (precisión), el sesgo de apuntado (centroide del grupo) y tendencias de rendimiento.
• Desafíos técnicos:
  • Conjunto de datos pequeño: Solo 48 imágenes de alta resolución (decenas de ejemplos, no miles).
  • Distorsión de perspectiva: Las fotos tomadas con ángulos imperfectos convierten los anillos circulares en elípticos.
  • Desequilibrio de clases: Las perforaciones de las flechas son muy pequeñas en comparación con el fondo de la diana.
  • Perforaciones compuestas: Múltiples flechas que golpean casi el mismo lugar crean rasgaduras superpuestas difíciles de separar.

2. Metodología

El sistema propuesto combina una tubería de visión clásica con una arquitectura moderna de aprendizaje por transferencia, diseñada específicamente para funcionar con pocos datos.

A. Tubería de Rectificación Canónica (Pre-procesamiento)
Antes de que la red neuronal procese la imagen, se aplica una etapa de rectificación geométrica basada en el color:

• Espacio de color: Se utiliza el espacio CIELAB para robustez ante variaciones de iluminación.
• Detección de límites: Se identifican cuatro límites de color diagnósticos (amarillo-rojo, rojo-azul, azul-negro, negro-blanco) para estimar los anillos.
• Transformación: Se ajustan elipses a las máscaras de región y se aplica una deformación radial para transformar la imagen distorsionada en un sistema de coordenadas canónico de 2048 × 2048 píxeles, donde los anillos son círculos concéntricos perfectos y la escala es uniforme (~0.195 mm/píxel).

B. Arquitectura del Modelo
El modelo utiliza un enfoque de aprendizaje por transferencia con un backbone congelado:

1. Extracción de Características (Frozen Backbone): Se utiliza DINOv3 (ViT-L/16), un Vision Transformer pre-entrenado de forma auto-supervisada.
   • La imagen rectificada se redimensiona a 512×512.
   • El backbone está completamente congelado (no se entrenan sus 303 millones de parámetros), evitando el sobreajuste en el pequeño conjunto de datos.
2. Aumento Guiado (Guided Upsampling):
   • Se emplea AnyUp para superar la baja resolución de los parches del Transformer (32×32).
   • AnyUp utiliza la imagen rectificada de alta resolución (1024×1024) como "guía" para generar mapas de características de alta resolución (512×512), preservando el contenido semántico y la precisión espacial.
3. Cabezas de Detección (Trainable Heads):
   • Solo 3.8 millones de parámetros son entrenables (proyección y cabezas de detección).
   • Head de Mapa de Calor: Predice la ubicación de los centros de las flechas (similar a CenterNet).
   • Head de Offset: Predice desplazamientos sub-píxel para refinar la ubicación (aunque los resultados mostraron que esta parte no es crítica en este caso).

C. Funciones de Pérdida y Entrenamiento

• Pérdida de Calor: Focal Loss adaptada de CenterNet, con blobs gaussianos para los objetivos.
• Pérdida de Offset: Smooth L1 Loss aplicada solo dentro de un radio cercano al centro de la flecha.
• Optimización: Se utilizó una estrategia de optimización de hiperparámetros (Optuna) para ajustar la tasa de aprendizaje, pesos de focal loss y parámetros del decodificador.

3. Resultados Clave

El modelo fue evaluado mediante validación cruzada de tres pliegues en un conjunto de 48 imágenes.

• Rendimiento de Detección:
  • Puntuación F1 media: 0.893 ± 0.011.
  • Precisión: 95.1%.
  • Recall: 84.1%.
• Precisión de Localización:
  • Error medio de localización: 1.41 ± 0.06 mm.
  • Esto supera a trabajos anteriores (como Kim et al., 1.77 mm) que utilizaban redes convolucionales totalmente supervisadas entrenadas desde cero, a pesar de usar menos datos y un backbone congelado.
• Métricas de Tiro con Arco:
  • El sistema recupera el promedio de puntuación con un error sesgado casi nulo (-0.001 puntos).
  • El error del centroide del grupo es de ~4.9 mm, suficiente para identificar sesgos de apuntado sistemáticos (dentro del ancho de un anillo de 20 mm).

4. Contribuciones y Hallazgos Significativos

1. Eficacia de los Backbones Congelados en Datos Pequeños:
   El estudio demuestra que un Vision Transformer auto-supervisado congelado (DINOv3), combinado con cabezas ligeras, es una solución superior para tareas de predicción densa con conjuntos de datos diminutos (48 imágenes), eliminando el riesgo de sobreajuste.

2. Valor de la Pre-procesamiento Geométrico:
   La tubería de rectificación basada en color es esencial. Al eliminar la distorsión de perspectiva antes del aprendizaje, se simplifica drásticamente la tarea para la red, permitiendo que el modelo aprenda características intrínsecas en lugar de invariancias geométricas complejas.

3. La Paradoja del "Offset Head":
   Un hallazgo crucial es que el head de regresión de offset (desplazamiento) no mejoró significativamente el rendimiento y, de hecho, aumentó ligeramente el error de localización.

   • Causa: El método de aumento guiado (AnyUp) ya recupera la precisión espacial perdida por la tokenización del backbone. En conjuntos de datos pequeños, la regresión de offset añade ruido en lugar de refinamiento útil. Se recomienda usar solo el mapa de calor para la implementación.

4. Eficiencia Computacional:
   El modelo completo cabe en una GPU de consumo (RTX 3080) y se entrena en ~30 minutos en una H200, utilizando solo 3.8M parámetros entrenables de un total de 308M.

5. Limitaciones y Trabajo Futuro

• Generalización: El conjunto de datos proviene de un solo arquero y una sola ubicación. La generalización a diferentes condiciones de iluminación, equipos de cámara o patrones de desgaste de la diana no está garantizada.
• Tipos de Diana: El sistema está validado solo para dianas indoor de 40 cm. Se requerirían modificaciones en la tubería de rectificación para otros tamaños o dianas outdoor.
• Fallos: El sistema tiene dificultades con perforaciones compuestas extremadamente cercanas (donde las flechas se superponen) y en dianas muy desgastadas donde el daño del papel se confunde con perforaciones.

Conclusión

El artículo presenta un paradigma práctico para la predicción densa en escenarios de "pocos datos" (small-data regimes). Al combinar la rectificación geométrica clásica con modelos fundacionales congelados y técnicas de aumento guiado, es posible lograr una localización sub-milimétrica y puntuación automática precisa sin necesidad de grandes volúmenes de datos de entrenamiento o arquitecturas pesadas totalmente supervisadas.