Million-scale multimodal pollen microscopy with expert-guided foundation models

Resumen Técnico: Atlas de Polen Multimodal a Escala de Millones con Modelos de Fundamento Guiados por Expertos

Planteamiento del Problema
La identificación automatizada de polen mediante microscopía sigue siendo un cuello de botella crítico en la aero-biología, la paleoecología y el monitoreo de la biodiversidad. Los sistemas escalables existentes luchan por generalizar ante las variaciones en la preparación de las muestras, la configuración de los escáneres y los orígenes geográficos, manteniendo al mismo tiempo la interpretabilidad palinológica. Los recursos públicos actuales suelen estar limitados por una amplitud taxonómica, recuentos de muestras o modalidades de imagen restringidos, y la mayoría carece de registros morfológicos estructurados en lenguaje natural emparejados a nivel de grano. Además, el entrenamiento de detectores supervisados tradicionales es frágil cuando se despliega en taxones o condiciones que difieren del régimen de entrenamiento etiquetado. Existe una falta de un recurso a gran escala, diverso en su adquisición y fundamentado por expertos, que paree cultivos de polen de campo claro individuales con descripciones estructuradas en lenguaje natural.

Metodología
Los autores presentan el Pollen AI Atlas, un recurso multimodal a escala de millones construido a partir de imágenes de campo claro de especies puras de portaobjetos completos. El flujo de trabajo se basa en la "supervisión débil" utilizando portaobjetos de especies puras, donde las etiquetas taxonómicas a nivel de portaobjetos sirven como contexto sin requerir una anotación exhaustiva por grano. El proceso consta de cinco etapas:

1. Inicialización de un solo paso (One-Shot): Para cada portaobjetos de origen, un único ejemplar de grano de polen seleccionado manualmente inicia el proceso. Este ejemplar se utiliza con OWL-ViT para generar cajas delimitadoras candidatas iniciales mediante detección guiada por imagen.
2. Minería de nivel de token: En lugar de entrenar un detector específico para la tarea, el sistema mina representaciones visuales densas directamente. Un ejemplar seleccionado manualmente inicia una búsqueda en el espacio de características de un backbone LVD-ViT-S basado en DINOv2 ajustado. El sistema construye una representación de consulta en el espacio de tokens, la coteja con los tokens del portaobjetos completo mediante similitud de coseno e extrae iterativamente objetos candidatos.
3. Filtrado de calidad: Un flujo de filtrado de cuatro etapas elimina detritos y duplicados:
   • Re-incrustación basada en atención: Los candidatos se vuelven a incrustar mediante agrupación de atención cruzada para crear representaciones uniformes.
   • Reclasificación basada en prototipos: El cálculo iterativo de la mediano refina un prototipo a nivel de portaobjetos para reducir el sesgo del ejemplar.
   • Supresión de no máximo (NMS): Las superposiciones espaciales se eliminan con un umbral bajo de IoU (0.10).
   • Puerta de clasificación (Classifier gating): Un clasificador LVD-ViT-S ajustado actúa como una puerta semántica para rechazar el fondo y las detecciones de baja confianza.
4. Subtitulado de Visión-Lenguaje: Las detecciones filtradas son procesadas por cinco modelos de visión-lenguaje (VLM) de pesos abiertos: Qwen2.5-VL, Qwen3-VL, Qwen3.5, Qwen3.6 y Gemma4. La generación es guiada por anclajes palinológicos verificados por expertos (derivados principalmente de Beug's Leitfaden der Pollenbestimmung y PalDat). Los prompts prohíben explícitamente la filtración del nombre del taxón y las medidas numéricas brutas, imponiendo descripciones estructuradas de los sistemas de apertura, la ornamentación de la pared, la forma y el tamaño.
5. Verdad de Campo de Expertos: Un subconjunto de regiones (TS2) fue curado manualmente por expertos para evaluar la precisión de la detección y servir como punto de referencia para tareas posteriores.

Contribuciones Clave

• Escala y Diversidad del Conjunto de Datos: El lanzamiento comprende 1,511,390 detecciones de granos de polen filtradas de 80 imágenes de portaobjetos completos, que abarcan cuatro orígenes geográficos (Francia, Hungría, Mediterráneo, Suecia), cuatro configuraciones de escáner y 46 etiquetas de taxones dentro de 31 familias botánicas.
• Alineación Multimodal: Cada detección está emparejada con subtítulos morfológicos generados por máquina y anclados por expertos, creando el primer recurso de micrografía de imagen-subtítulo a escala de millones para el polen.
• Supervisión Débil a Escala: El estudio demuestra que un solo ejemplar seleccionado manualmente por portaobjetos, combinado con la minería de características densas y el filtrado, puede producir un corpus de alta precisión sin necesidad de una anotación manual exhaustiva.
• Suite de Evaluación Comparativa (Benchmarking): El lanzamiento incluye datos, anotaciones, subtítulos, divisiones, código y pesos, estableciendo puntos de referencia para el reconocimiento de polen, la adaptación de dominio trans-regional y el aprendizaje multimodal específico de dominio.

Resultados

• Calidad de la Detección: El flujo de trabajo logró una precisión del 99.6% (20 falsos positivos de 4,506 verdaderos positivos en regiones de prueba curadas por expertos) con una recuperación (recall) del 43.6%. La precisión superó el 99% en todos los subconjuntos regionales, confirmando el punto de operación de "prioridad de precisión" adecuado para corpus de referencia.
• Diagnóstico de Subtitulado: Entre los cinco modelos evaluados, Gemma4 proporcionó la salida más controlada, con un 0% de filtración del nombre del taxón, una filtración numérica de tamaño mínima y el mejor rendimiento de recuperación de texto; produjo subtítulos con una longitud media de 70.6 palabras, adhiriéndose estrictamente a la restricción de 60–80 palabras.
• Clasificación: Una sonda lineal sobre características visuales congeladas logró un 88.16% de precisión Top-1 en el conjunto de prueba de origen combinado. El entrenamiento de un solo origen resultó en una precisión menor (66.16%–74.92%), resaltando el desafío de la generalización trans-regional. La normalización de la tinción (Macenko) mejoró el rendimiento para el subconjunto húngaro (+10.7%) pero degradó el modelo combinado (-21.2%), indicando que los cambios de adquisición no son uniformes.
• Recuperación Trans-Regional: Este fue el hallazgo multimodal más significativo. En una prueba de "dejar el origen fuera" (CROSS-REG), el rendimiento de la recuperación basada solo en imagen cayó significativamente (mAP@20 de 0.917 a 0.262). Por el contrario, la recuperación basada en texto utilizando los subtítulos de Gemma4 se mantuvo robusta (mAP@20 de 0.811), demostrando que las incrustaciones de texto enfocadas en la morfología son más invariantes a los cambios de escáner y preparación que las características de imagen puras.

Significancia y Reivindicaciones
El artículo afirma que el Pollen AI Atlas sirve como un recurso de referencia de especie pura, de alta precisión y guiado por expertos, en lugar de un detector exhaustivo para muestras ambientales mixtas arbitrarias. Los autores sostienen que el atlas demuestra cómo la limitada intervención experta (selección de ejemplares, curación de anclajes, muestreo de validación) puede combinarse con modelos de fundamento para crear recursos escalables y reutilizables para el aprendizaje multimodal de la microscopía.

El trabajo destaca que el texto enfocado en la morfología es más robusto ante los cambios de dominio que la similitud de imagen por sí sola, reflejando la práctica palinológica experta donde la identificación depende de las características morfológicas en lugar de las claves específicas de adquisición. Los autores posicionan el atlas no como una solución final para la detección operativa de cero disparos (zero-shot), sino como una infraestructura esencial para futuros modelos de visión-lenguaje adaptados al polen y para el análisis guiado por expertos. El estudio extiende los flujos de trabajo previos centrados en detectores hacia un paradigma de recuperación, sugiriendo que las características visuales densas combinadas con la generación de texto anclado en expertos ofrecen un camino viable para escalar los conjuntos de datos de microscopía más allá de los límites de la anotación manual.