Fine-tuned Vision Language Model for Localization of Parasitic Eggs in Microscopic Images

Título: Modelo de Visão e Linguagem Ajustado para Localização de Ovos Parasitas em Imagens Microscópicas

1. Problema e Contexto

As infecções por helmintos transmitidos pelo solo (STH) afetam mais de 1,5 bilhão de pessoas globalmente, especialmente em regiões tropicais e subtropicais com acesso limitado a saneamento e saúde. O diagnóstico padrão-ouro atual baseia-se na exame microscópico manual de amostras de fezes. No entanto, este método apresenta limitações críticas:

• Intensidade Laboral e Tempo: Um técnico experiente leva cerca de 30 minutos para analisar uma única amostra.
• Erros Humanos: A fadiga, a escassez de pessoal qualificado e a similaridade morfológica entre os ovos (além de impurezas nas amostras) levam a diagnósticos imprecisos.
• Escalabilidade: A necessidade de especialistas torna difícil a triagem em massa e o diagnóstico precoce, essencial para interromper o ciclo de transmissão.

O objetivo do artigo é desenvolver um sistema automatizado que utilize Modelos de Visão e Linguagem (VLM) para localizar e identificar ovos parasitas em imagens microscópicas com maior precisão e eficiência.

2. Metodologia

A abordagem proposta centra-se no uso e ajuste fino (fine-tuning) do modelo Florence-2, uma arquitetura unificada de visão e linguagem.

• Conjunto de Dados: Foi utilizado o conjunto de dados Chula-ParasiteEgg-11 (desafio ICIP 2022), que contém 11.000 imagens microscópicas com 11 categorias de ovos parasitas (ex: Ascaris lumbricoides, Hookworm, Taenia spp.). As imagens variam em resolução, iluminação e qualidade (algumas desfocadas ou com ruído), capturadas por diversos dispositivos (câmeras DSLR, smartphones, microscópios), o que aumenta a robustez do modelo.
• Arquitetura do Modelo:
  • Utilizou-se o Florence-2 Large (0.77B), um modelo pré-treinado no conjunto de dados FLD-5B (5,4 bilhões de anotações visuais).
  • O modelo segue uma estrutura sequence-to-sequence, com um codificador de imagem (DaVit) e um codificador-decodificador multimodal.
  • Diferente de modelos tradicionais de detecção de objetos, o Florence-2 utiliza prompts de texto como instruções de tarefa.
• Processo de Ajuste Fino (Fine-Tuning):
  • O modelo foi ajustado especificamente para a tarefa de localização (detecção de objetos) usando o conjunto de dados de ovos parasitas.
  • Configuração Experimental: Treinamento realizado no PyTorch com GPU NVIDIA RTX2000 Ada. As imagens foram redimensionadas para 768x768.
  • Hiperparâmetros: 3 épocas, taxa de aprendizado de 0,00005, batch size de 1 com 8 passos de acumulação de gradiente.
  • Técnica: Utilização de adaptadores LoRA (Low-Rank Adaptation) com rank 8 para eficiência no ajuste.
  • Divisão dos Dados: 60% para treino, 20% para validação e 20% para teste.

3. Contribuições Principais

1. Avaliação de VLMs em Parasitologia: Foi a primeira avaliação da capacidade do modelo base Florence-2 para a tarefa de localização de ovos parasitas em imagens microscópicas.
2. Ajuste Fino Específico: Implementação bem-sucedida do ajuste fino do Florence-2 no conjunto de dados ICIP22, demonstrando como um modelo de linguagem visual geral pode ser adaptado para um domínio médico altamente especializado.
3. Comparação de Desempenho: Uma análise comparativa rigorosa entre o Florence-2 ajustado e métodos tradicionais de detecção de objetos, especificamente o EfficientDet.

4. Resultados

• Desempenho do Modelo Base: O Florence-2 não ajustado (base) falhou em localizar os ovos com precisão (muitas detecções com IoU próximo de 0), indicando que o modelo pré-treinado não possui conhecimento intrínseco sobre a morfologia específica desses ovos em microscopia.
• Desempenho do Modelo Ajustado: Após o fine-tuning, o modelo alcançou um mIoU (média de Interseção sobre União) de 0,94, demonstrando uma capacidade excepcional de alinhar as caixas delimitadoras (bounding boxes) com os ovos reais.
• Comparação com EfficientDet:
  • O EfficientDet (método anterior de referência) apresentou bom desempenho, mas com maior variância na distribuição de IoU (espalhamento entre 0,80 e 0,95).
  • O Florence-2 ajustado mostrou uma distribuição mais concentrada em valores de IoU próximos a 1, indicando maior precisão e consistência na regressão das caixas delimitadoras, com menos outliers de baixa qualidade.
• Qualidade Visual: As imagens de teste confirmaram que o modelo consegue identificar ovos sob condições variadas de foco, ruído e iluminação.

5. Significado e Conclusão

O estudo demonstra que os Modelos de Visão e Linguagem (VLMs), quando devidamente ajustados, superam as arquiteturas tradicionais de detecção de objetos (como CNNs baseadas em EfficientDet) em tarefas de localização médica complexa.

• Impacto Clínico: A proposta oferece uma solução de engenharia escalável para o diagnóstico parasitológico inteligente, potencialmente reduzindo o tempo de análise de 30 minutos para segundos e minimizando erros humanos.
• Futuro: O modelo pode servir como componente central de um framework automatizado completo, capaz não apenas de localizar, mas também de classificar e gerar relatórios descritivos sobre as infecções, facilitando a triagem em massa em regiões com poucos especialistas.