Multi-Scale ViT Inference with Habitat-Fit Priors and kNN Retrieval for Multi-Species Plant Identification

Resumen Técnico: Inferencia de ViT Multiescala con Priores de Ajuste de Hábitat y Recuperación kNN para la Identificación de Plantas Multiespecie

Declaración del Problema
Este artículo aborda el desafío PlantCLEF 2026, una tarea de identificación de plantas multiespecie que requiere sistemas capaces de predecir cada especie presente en fotografías cenitales de alta resolución (≈3000×3000 píxeles) de cuadrantes de vegetación de 0.5×0.5 m. La tarea presenta dos dificultades primordiales:

1. Desplazamiento de Dominio Severo de Etiqueta Única a Multi-etiqueta: Los datos de entrenamiento consisten en ~1.4 millones de imágenes de etiqueta única de especímenes de plantas aislados (a menudo primeros planos de órganos específicos), mientras que los datos de prueba comprenden escenas de cobertura terrestre multiespecie y desordenadas, con diversas escalas y etapas fenológicas.
2. Restricciones de Resolución: Las imágenes de prueba son demasiado grandes para las entradas estándar de Vision Transformer (ViT) (típicamente 518×518), lo que requiere estrategias de teselado (tiling) y agregación que no pierdan pistas de especies de grano fino.

La métrica de evaluación es un puntaje $F_1$ macro-promediado por muestra, promediado a través de transectos para mitigar el sesgo de los sitios sobre-muestreados.

Metodología
El pipeline propuesto, desarrollado por el equipo DS@GT ARC, es un enfoque impulsado por la inferencia centrado en un backbone DINOv2 ViT-L/14 ajustado (fine-tuned). El sistema procesa los datos a través de las siguientes etapas:

1. Agregación de Teselas Multiescala:

   • Cada imagen del cuadrante se recorta centrífugamente y se redimensiona a múltiples escalas ($s \in \{3, 4, 5, 6\}$), generando 86 teselas no superpuestas de 518×518 por imagen.
   • Un clasificador ViT-L/14 ajustado (entrenado con el conjunto de datos PlantCLEF) procesa cada tesela, produciendo una distribución softmax de 7,806 dimensiones.
   • Las predicciones por imagen se agregan mediante max pooling a través de todas las teselas y escalas, preservando la evidencia local más fuerte para cada especie.

2. Ensamble de Recuperación FAISS kNN:

   • Para complementar al clasificador, se construye un recuperador de k-Vecinos Más Cercanos (kNN) utilizando FAISS.
   • Los embeddings se generan utilizando el backbone ViT-L aumentado con un adaptador LoRA entrenado con un objetivo ArcFace para agrupar los embeddings de la misma especie.
   • Para cada tesela, se recuperan los 20 vecinos más cercanos de una base de datos de ~860,000 embeddings de entrenamiento. Sus similitudes se convierten en una distribución de clase suave y se mezclan con la salida del clasificador.
   • Los pesos de mezcla son conscientes de la visita: $\beta=0.70$ para cuadrantes de múltiples visitas y $\beta=1.00$ (kNN desactivado) para cuadrantes de una sola visita para evitar el ruido de recuperaciones no fiables.

3. Fusión Temporal Consciente de la Fuente:

   • Aprovechando la estructura de múltiples visitas del conjunto de datos de prueba, las predicciones para cuadrantes que comparten el mismo identificador de ubicación se fusionan.
   • Las estrategias de agregación varían según la fuente de datos: se utiliza max pooling para la mayoría de las fuentes, mientras que se aplica una agregación ponderada por similitud a la fuente RNNB (dunas de arena costeras) para manejar la alta variabilidad temporal (por ejemplo, cambios estacionales) sin predicciones excesivamente confiadas.

4. Democión de Ajuste de Hábitat y Máscara Geográfica:

   • Ajuste de Hábitat (Habitat-Fit): Un paso de post-procesamiento que reescala las probabilidades basándose en priores geográficos y de altitud derivados de los datos de entrenamiento. Un "factor de ajuste" penaliza a las especies cuya distribución conocida (centroide de latitud/longitud y banda de elevación) no coincide con el régimen ecológico de la fuente específica.
   • Máscara Geográfica: Una máscara global elimina ~3,000 especies cuyos centroides de entrenamiento caen fuera del suroeste de Europa (Francia, España, Italia, Suiza).
   • Regla de Admisión: Un proceso de umbralización de dos etapas retiene las clases de alta probabilidad y aplica un recuento mínimo de predicciones para fuentes específicas donde el modelo tiende a sub-predecir.

Direcciones Exploratorias (Resultados Nulos)
El artículo reporta explícitamente tres direcciones complementarias que no produjeron mejoras en el rendimiento:

• TileQ-Decoder: Un decodificador transformer de tipo "etiqueta como consulta" (label-as-query) entrenado en pseudo-cuadrantes sintéticos en el espacio de embedding CLS no logró superar la agregación simple, sufriendo de "falta de confianza por sub-muestreo de FAISS".
• Transformer Trans-Regional: Un enfoque de destilación de estudiante ruidoso utilizando el conjunto de datos no etiquetado LUCAS falló debido al desajuste de distribución entre las pseudo-etiquetas del profesor y el dominio objetivo.
• Aumento de Instancia-Crop con SAM: El uso de Segment Anything Model (SAM 3) para generar recortes conscientes de instancias no mejoró el rendimiento, probablemente debido a un desajuste de distribución entre los recortes segmentados y las teselas de la cuadrícula utilizadas para la calibración.

Resultados

• Rendimiento: La entrega final seleccionada logró un macro-$F_1$ en el leaderboard privado de 0.43902, situándose en tercer lugar general. Una configuración no seleccionada del mismo pipeline alcanzó un puntaje privado superior de 0.45777.
• Estudios de Ablación:
  • Democión de Ajuste de Hábitat: El mayor contribuyente individual al rendimiento (+0.04075 $F_1$), resaltando el valor de los priores ecológicos.
  • Agregación Multiescala: La combinación de las escalas 3, 4, 5 y 6 superó a los conjuntos de una sola escala o de escalas mayores (por ejemplo, hasta 8), sugiriendo un equilibrio entre la captura de detalle y la reducción de ruido.
  • Escalado del Backbone: El backbone ViT-L/14 superó consistentemente al ViT-B/14 en un +0.022 a +0.052 $F_1$ en todas las configuraciones.
  • Recuperación kNN: Proporcionó un aumento significativo (+0.01256 $F_1$) cuando se mezcló adecuadamente.
  • Fusión Temporal: Proporcionó una ganancia modesta pero consistente (+0.00367 $F_1$), altamente dependiente del ajuste específico de la fuente.

Significado y Reivindicaciones
El artículo sostiene que para el reconocimiento multiespecie a gran escala bajo severos desplazamientos de dominio, las estrategias de tiempo de inferencia y los priores conscientes del conjunto de datos pueden superar a los pipelines complejos centrados en el entrenamiento.

• Estructura del Conjunto de Datos sobre Complejidad del Modelo: Las ganancias más significativas se lograron no aumentando el tamaño o la complejidad del modelo, sino codificando explícitamente la estructura del conjunto de datos (patrones temporales de múltiples visitas, distribuciones geográficas/de altitud y regímenes ecológicos específicos de la fuente).
• Limitaciones de los Datos Externos: Los resultados nulos de la destilación LUCAS y el aumento SAM sugieren que la incorporación ingenua de datos externos o aumentos puede degradar el rendimiento si introducen un desajuste de distribución respecto al dominio objetivo.
• Agregación vs. Decodificación: El fracaso del TileQ-Decoder refuerza que, para esta tarea específica, preservar y agregar las probabilidades por tesela almacenadas en caché es más efectivo que volver a procesar las características a través de un decodificador multi-etiqueta aprendido.

El trabajo demuestra que un pipeline de inferencia cuidadosamente ajustado, que aprovecha la tesela multiescala, el ensamble basado en recuperación y los priores ecológicos, es una solución robusta para automatizar la evaluación de la biodiversidad en cuadrantes de vegetación.