BeetleFlow: An Integrative Deep Learning Pipeline for Beetle Image Processing

Título: BeetleFlow: Um Pipeline Integrado de Deep Learning para Processamento de Imagens de Besouros

1. Problema

Na pesquisa em entomologia e ecologia, biólogos frequentemente coletam grandes quantidades de insetos, sendo os besouros (Coleoptera) uma das espécies mais comuns e importantes para estudos de biodiversidade e evolução. O processo padrão de organização envolve montar espécimes em bandejas (trays) e fotografá-las. Com milhares de bandejas geradas, surge o desafio de processar manualmente esses dados em larga escala para pesquisas futuras. A necessidade é de um pipeline automatizado capaz de:

• Detectar todos os besouros em uma imagem de bandeja.
• Recortar e organizar as imagens individuais de cada besouro.
• Realizar segmentação morfológica fina (divisão do corpo em partes específicas) para análise quantitativa.

2. Metodologia

O BeetleFlow é um pipeline de três estágios que integra múltiplos métodos de aprendizado profundo, especializado para imagens de besouros:

• Estágio 1: Detecção Iterativa de Besouros

  • Modelo de Detecção: Utiliza o Grounding DINO (um detector de objetos de vocabulário aberto baseado em transformers) com o prompt de texto "a beetle" (um besouro).
  • Processo Iterativo: O pipeline opera em iterações. Após a detecção inicial, máscaras brancas são aplicadas sobre os besouros detectados na imagem original. A imagem modificada é reenviada ao detector para encontrar os besouros restantes que não foram detectados na iteração anterior. O processo para quando nenhuma nova detecção é reportada.
  • Verificação Final: A imagem final modificada é enviada ao modelo de linguagem-vídeo LLaVA-NeXT com o prompt "Você vê besouros nesta imagem?". O modelo é restrito a responder "SIM" ou "NÃO". Se a resposta for "SIM", o sistema alerta o usuário para verificação manual; se "NÃO", a detecção é considerada concluída com sucesso.

• Estágio 2: Recorte e Ordenação (Cropping)

  • Com base nas coordenadas das caixas delimitadoras (bounding boxes) finais, o pipeline recorta cada besouro da imagem da bandeja.
  • Ordenação e Metadados: Os besouros são ordenados com base nas coordenadas da caixa delimitadora superior-esquerda (simulando a leitura de linhas e colunas, da esquerda para a direita e de cima para baixo). Isso permite o emparelhamento automático com metadados biológicos (disponíveis em CSV) fornecidos pelos pesquisadores.

• Estágio 3: Segmentação Morfológica de Alta Granularidade

  • Modelo: Utiliza o Mask2Former (baseado em transformers) para segmentação semântica.
  • Variações: Foram ajustados dois modelos com diferentes níveis de granularidade:
    1. 5 classes: Cabeça, pronoto, élitros, pernas e antenas.
    2. 9 classes: Adicionando olhos, peças bucais, cauda e o pino de montagem.
  • Treinamento: Os modelos foram fine-tuned em um conjunto de dados rotulados manualmente (670 besouros no total) utilizando a arquitetura Swin-Large como backbone.

3. Principais Contribuições

• Pipeline Automatizado Integrado: Desenvolvimento de um fluxo de trabalho completo que vai da imagem da bandeja bruta até a segmentação morfológica detalhada, eliminando a necessidade de intervenção humana massiva.
• Abordagem Iterativa com Verificação VLM: A combinação de detecção iterativa (Grounding DINO) com verificação de "caixa preta" usando um Modelo de Linguagem-Vídeo (LLaVA-NeXT) para garantir a ausência de falsos negativos.
• Segmentação de Alta Precisão: Criação de modelos capazes de separar partes morfológicas complexas e pequenas (como pernas e antenas) com alta acurácia, algo desafiador em imagens biológicas.
• Generalização: O padrão "detectar-segmentar" proposto pode ser generalizado para outros organismos (células, plantas), servindo como exemplo para o processamento de dados biológicos em larga escala.

4. Resultados

Os experimentos foram conduzidos em dados do National Ecological Observatory Network (NEON) contendo 1.506 imagens de bandejas.

• Desempenho na Detecção:
  • Acurácia: 97,81% de correspondência exata entre o número de besouros detectados e o número real (ground truth) nas 1.506 bandejas.
  • Análise de Erros: A maioria dos erros (32 de 33 casos) ocorreu quando o modelo detectou cabeças de besouros caídas como besouros separados, resultando em supercontagem. Apenas um caso teve subcontagem.
• Desempenho na Segmentação:
  • mIOU (Interseção sobre União Média):
    • 85,11% para a segmentação de 5 classes.
    • 77,38% para a segmentação de 9 classes.
  • Análise por Classe: O modelo obteve pontuações muito altas em partes grandes (pronoto: 91%, élitros: ~94%), enquanto partes menores (pernas e antenas) tiveram pontuações menores (65-85%), devido à sensibilidade da métrica IoU a pequenos desvios em objetos de baixa resolução.
• Qualidade Visual: Resultados qualitativos (Figura 2 do artigo) demonstram máscaras de segmentação precisas e sobreposições claras para verificação.

5. Significado e Impacto

O BeetleFlow representa um avanço significativo na Imageomics (descoberta de conhecimento biológico a partir de imagens usando IA).

• Eficiência: Acelera drasticamente o processamento de dados biológicos em larga escala, permitindo que pesquisadores analisem milhares de espécimes que antes exigiriam meses de trabalho manual.
• Reprodutibilidade e Dados: Gera dados estruturados (imagens recortadas, metadados associados e máscaras de segmentação) prontos para análise estatística e estudos evolutivos.
• Futuro: O pipeline inclui funcionalidades para detectar barras de escala e tabelas de cores, permitindo futuras medições automáticas de tamanho e calibração de cor, expandindo sua utilidade para morfometria precisa.

Em resumo, o trabalho estabelece um novo padrão para o processamento de imagens de insetos, demonstrando como a integração de detectores de vocabulário aberto, modelos de linguagem multimodal e segmentação baseada em transformers pode resolver problemas complexos de biologia.