Fine-tuned Vision Language Model for Localization of Parasitic Eggs in Microscopic Images

Resumen Técnico: Modelo de Visión y Lenguaje Ajustado para la Localización de Huevos Parasitarios en Imágenes Microscópicas

1. Planteamiento del Problema

Las infecciones por helmintos transmitidos por el suelo (STH) afectan a más de 1.5 mil millones de personas a nivel global, especialmente en regiones tropicales y subtropicales con acceso limitado a servicios de salud. El diagnóstico actual se basa en el "estándar de oro" de la microscopía manual de muestras fecales, un proceso que presenta deficiencias críticas:

• Ineficiencia y Carga Laboral: Un técnico experto tarda aproximadamente 30 minutos en analizar una sola muestra.
• Errores Humanos: La fatiga del personal y la similitud morfológica entre diferentes tipos de huevos parasitarios, sumado a impurezas en las muestras, aumentan la probabilidad de diagnósticos erróneos.
• Escalabilidad: La falta de personal calificado dificulta la implementación de diagnósticos rápidos y precisos a gran escala, lo que es crucial para romper el ciclo de transmisión de enfermedades.

2. Metodología

El estudio propone un enfoque basado en un Modelo de Visión y Lenguaje (VLM) para automatizar la localización de huevos parasitarios.

• Modelo Base: Se utiliza Florence-2, un modelo unificado de visión y lenguaje de Microsoft. A diferencia de los modelos tradicionales restringidos a una sola tarea, Florence-2 utiliza instrucciones basadas en texto (prompts) para realizar múltiples tareas (desde descripción hasta detección de objetos y segmentación).
  • Se seleccionó la versión Florence-2 Large (0.77B de parámetros), preentrenada en el conjunto de datos FLD-5B (5.4 mil millones de anotaciones visuales).
• Dataset: Se empleó el conjunto de datos Chula-ParasiteEgg-11 (desafiado en ICIP 2022), que contiene 11,000 imágenes microscópicas de 11 especies de huevos parasitarios. Las imágenes presentan variaciones significativas en resolución, iluminación, enfoque y ruido, capturadas con diversos dispositivos (cámaras DSLR, teléfonos móviles y microscopios), lo que aumenta la robustez del modelo.
• Proceso de Ajuste Fino (Fine-Tuning):
  • Se realizó un ajuste fino del modelo Florence-2 utilizando el conjunto de datos de huevos parasitarios.
  • Configuración de Entrenamiento: Se utilizó PyTorch en una GPU NVIDIA RTX2000 Ada. Las imágenes se redimensionaron a 768x768. Se entrenó durante 3 épocas con una tasa de aprendizaje de 0.00005, tamaño de lote (batch size) de 1 y 8 pasos de acumulación de gradiente.
  • Adaptación Eficiente: Se utilizó la técnica LoRA (Low-Rank Adaptation) con un rango (rank) de 8 para ajustar el modelo de manera eficiente.
  • Flujo de Trabajo: La imagen microscópica se procesa (redimensionar, normalizar, rellenar) y se introduce junto con un prompt de instrucción de detección de objetos en el VLM, que devuelve las coordenadas de los cuadros delimitadores (bounding boxes).

3. Contribuciones Clave

1. Evaluación de VLMs en Parasitología: Se evaluó por primera vez el rendimiento del modelo base Florence-2 para la localización de huevos parasitarios, demostrando su incapacidad inicial para esta tarea específica sin adaptación.
2. Ajuste Fino Especializado: Se logró un ajuste fino exitoso de Florence-2 utilizando el dataset ICIP22, transformando un modelo de propósito general en una herramienta especializada para la detección de huevos parasitarios.
3. Comparativa de Rendimiento: Se estableció una comparación cuantitativa y cualitativa entre el modelo ajustado, el modelo base y otros métodos de detección de objetos tradicionales (como EfficientDet), demostrando la superioridad del enfoque VLM.

4. Resultados

• Rendimiento del Modelo Base: El modelo Florence-2 sin ajustar mostró un rendimiento pobre, con una distribución de IoU (Intersección sobre Unión) concentrada en 0, indicando que no podía localizar los huevos debido a la falta de exposición a este tipo de datos durante su preentrenamiento.
• Rendimiento del Modelo Ajustado: Tras el fine-tuning, el modelo alcanzó un mIoU (Intersección sobre Unión Media) de 0.94.
  • La distribución de IoU mostró una alta frecuencia de superposiciones casi perfectas y muy pocos valores bajos (outliers).
  • El modelo demostró una gran capacidad para manejar condiciones adversas (desenfoque, ruido, diferentes resoluciones).
• Comparación con EfficientDet: Al comparar con EfficientDet (propuesto en trabajos anteriores), el modelo Florence-2 ajustado mostró una mayor consistencia y precisión. Mientras que EfficientDet presentaba una dispersión más amplia en el rango de 0.80–0.95, Florence-2 mantuvo una distribución más estrecha y superior, indicando una regresión de cuadros delimitadores más estable y precisa.

5. Significado e Impacto

Este trabajo demuestra el potencial de los Modelos de Visión y Lenguaje (VLM) como componentes centrales en sistemas de diagnóstico automatizado para parasitología.

• Solución Escalable: Ofrece una solución de ingeniería escalable que puede reducir la dependencia de expertos humanos, mitigar la fatiga y minimizar errores diagnósticos.
• Precisión Superior: La capacidad del modelo ajustado para lograr un mIoU de 0.94 supera a los métodos de detección de objetos convencionales, sugiriendo que los VLMs, cuando se ajustan adecuadamente, pueden superar a arquitecturas especializadas tradicionales en tareas de localización complejas.
• Futuro: El estudio sienta las bases para el desarrollo de marcos de trabajo automatizados completos que no solo localicen, sino que también clasifiquen y generen informes sobre las infecciones parasitarias, mejorando la salud pública global.