VisText-Mosquito: A Unified Multimodal Dataset for Visual Detection, Segmentation, and Textual Explanation on Mosquito Breeding Sites

O artigo apresenta o VisText-Mosquito, um conjunto de dados multimodal que integra imagens e textos para permitir a detecção, segmentação e explicação automática de locais de reprodução de mosquitos, visando a prevenção proativa de doenças transmitidas por vetores.

O essencial

Imagine que os mosquitos são como pequenos "vilões" que precisam de água parada para criar seus "vilarejos" (onde nascem seus filhotes). Se conseguirmos encontrar e destruir esses vilarejos antes que os mosquitos cresçam, podemos evitar doenças terríveis como dengue e malária.

Este artigo apresenta uma nova ferramenta chamada VISTEXT-MOSQUITO. Pense nela como um "Super Detetive Multimodal" criado por cientistas para ajudar a combater esses vilões.

Aqui está como funciona, explicado de forma simples:

1. O que é este "Super Detetive"?

Geralmente, os computadores são bons em duas coisas separadas:

• Olhar: Eles conseguem ver uma imagem e dizer "Isso é uma garrafa" ou "Isso é um pneu".
• Falar: Eles conseguem escrever textos.

O problema é que, até agora, eles raramente faziam as duas coisas juntas de forma inteligente. O VISTEXT-MOSQUITO é como um detetive que não apenas vê o problema, mas também explica por que é um problema.

Ele foi treinado com um "livro de receitas" gigante (um conjunto de dados) que contém:

• 1.828 fotos de lugares onde mosquitos podem nascer (como pneus velhos, vasos de flores, garrafas, cascas de coco e ralos).
• Marcas precisas mostrando exatamente onde está a água parada nesses objetos.
• Explicações escritas que dizem: "Sim, isso é perigoso porque tem água parada no pneu, o que é perfeito para os mosquitos."

2. Como eles ensinaram o computador? (A Escola do Detetive)

Os pesquisadores pegaram esse "livro de receitas" e ensinaram três tipos de inteligência artificial:

• O Caçador (Detecção): Eles usaram modelos como o YOLOv9. Imagine um caçador muito rápido que aponta para uma foto e grita: "Ali! Tem um pneu! Ali! Tem um vaso!". Ele é muito preciso, acertando quase 93% das vezes.
• O Pintor (Segmentação): Eles usaram modelos como o YOLOv11n-Seg. Imagine um pintor que não apenas aponta para o pneu, mas pinta exatamente a área da água dentro dele, pixel por pixel. Isso ajuda a saber quanto de água está acumulada.
• O Tradutor (Explicação): Aqui está a parte mágica. Eles pegaram um modelo de linguagem gigante (como o LLaMA) e o treinaram para agir como um médico explicando um diagnóstico.
  • Entrada: Uma foto de um pneu com água.
  • Saída do modelo: "Sim, isso é um local de reprodução de mosquitos. O pneu descartado coletou água da chuva, criando um lago perfeito para as larvas se desenvolverem."

3. O Resultado: "Prevenção é Melhor que Cura"

O grande diferencial deste trabalho é que ele não apenas diz "tem um mosquito aqui", mas explica o porquê.

• Sem treino (Zero-shot): Se você mostrar uma foto nova para um computador comum, ele pode chutar.
• Com treino (Fine-tuning): O modelo deles, chamado Mosquito-LLaMA3-8B, foi treinado especificamente para esse trabalho. Ele ficou tão bom que suas explicações soam quase humanas, com uma qualidade de texto muito alta.

Por que isso é importante?

Imagine que você é um agente de saúde pública. Em vez de apenas receber um mapa com pontos vermelhos dizendo "perigo", você recebe uma mensagem que diz: "Atenção: Há um vaso de flores com água parada na rua X. Isso é perigoso porque..."

Isso torna a tecnologia mais confiável e fácil de entender para as pessoas comuns e para os governos. Em vez de apenas confiar em uma "caixa preta" que aponta erros, temos um assistente que raciocina e explica.

Em resumo:
Os criadores criaram um banco de dados de fotos e textos sobre onde os mosquitos nascem, ensinaram computadores a verem esses locais com precisão cirúrgica e a escreverem explicações claras sobre o perigo. É como dar aos computadores "olhos" para ver e "boca" para alertar a população, tudo com o objetivo de prevenir doenças antes que elas aconteçam.

Resumo técnico

Título: VISTEXT-MOSQUITO: Um Conjunto de Dados Multimodal Unificado para Detecção Visual, Segmentação e Explicação Textual em Locais de Criação de Mosquitos

1. Problema e Motivação

As doenças transmitidas por mosquitos representam uma ameaça global à saúde, causando milhões de mortes anualmente e sobrecarregando economias, especialmente em países de baixa e média renda. O controle tradicional de vetores depende de inspeções manuais para identificar e eliminar locais de criação (água parada em recipientes), um processo que é intensivo em mão de obra, demorado e muitas vezes inviável em áreas extensas ou de difícil acesso.

Embora a visão computacional tenha avançado, existem lacunas críticas:

• A maioria dos conjuntos de dados existentes é unimodal (focada apenas em imagens), carecendo de explicações contextuais que auxiliem na tomada de decisão humana.
• Modelos atuais muitas vezes falham na generalização para ambientes urbanos complexos e não oferecem explicabilidade (o "porquê" de uma detecção), o que é crucial para a saúde pública.
• Não há um benchmark unificado que integre detecção de objetos, segmentação de superfícies de água e geração de explicações textuais para este domínio específico.

2. Metodologia

Os autores propõem uma abordagem multimodal completa, dividida em três pilares principais:

A. Construção do Conjunto de Dados (VISTEXT-MOSQUITO)
O dataset é o primeiro benchmark multimodal para análise de locais de criação de mosquitos, contendo:

• Detecção de Objetos: 1.828 imagens com 3.752 caixas delimitadoras (bounding boxes) cobrindo 5 classes de recipientes: casca de coco, vaso, pneu, entrada de dreno e garrafa.
• Segmentação de Superfície de Água: 142 imagens de alta resolução com 253 máscaras de nível de pixel focadas em "vaso com água" e "pneu com água".
• Explicação Textual: Para cada imagem, há um par de dados textuais gerados e validados por humanos:
  • Pergunta: Binária ("O local é um criadouro?").
  • Resposta: "Sim" ou "Não".
  • Explicação: Um texto livre justificando a resposta com base em evidências visuais (ex: presença de água parada, tipo de recipiente).
• Pré-processamento: As imagens foram aumentadas (rotação, flip, ajuste de brilho) para um total de 4.425 imagens para detecção e 331 para segmentação. O texto foi gerado inicialmente por GPT-4o e curado manualmente.

B. Arquiteturas e Modelos

• Detecção: Foram avaliados modelos YOLO (v5s, v8n, v9s) e RT-DETR ResNet-101.
• Segmentação: Foram testados YOLOv8x-Seg, YOLOv11n-Seg e Mask R-CNN.
• Geração de Texto (VLMs): O estudo avaliou modelos de Visão-Linguagem (VLMs) em configurações zero-shot e few-shot (LLaVA, LLaMA3, DeepSeek, InternVL, Qwen, Gemini).
• Ajuste Fino (Fine-Tuning): Foi desenvolvido o modelo Mosquito-LLaMA3-8B, uma versão do LLaMA3-8B-Vision ajustada especificamente no corpus de explicações do dataset para aprender associações visuais-textuais do domínio da saúde pública.

C. Configuração Experimental
Os modelos foram treinados em uma estação de trabalho com GPU NVIDIA RTX 3090 Ti. O dataset foi dividido em 70% treino, 20% validação e 10% teste. As métricas incluíram Precisão, Recall, mAP@50 para tarefas visuais e BLEU, BERTScore, ROUGE-L para tarefas textuais.

3. Principais Contribuições

1. VISTEXT-MOSQUITO: O primeiro conjunto de dados multimodal que unifica detecção, segmentação e explicação textual para locais de criação de mosquitos.
2. Anotações de Alta Qualidade: Dados validados por humanos que incluem máscaras de segmentação e justificativas textuais para IA explicável (XAI).
3. Benchmark Abrangente: Avaliação comparativa de detectores, segmentadores e VLMs, demonstrando as limitações das abordagens unimodais.
4. Mosquito-LLaMA3-8B: Um modelo VLM adaptado ao domínio que estabelece uma nova linha de base para raciocínio multimodal em vigilância de saúde pública.

4. Resultados Chave

• Detecção de Objetos:

  • O YOLOv9s obteve o melhor desempenho, com precisão de 0.92926 e mAP@50 de 0.92891.
  • O YOLOv5s mostrou o melhor equilíbrio entre precisão e recall, sendo ideal para minimizar falsos negativos.

• Segmentação de Água:

  • O YOLOv11n-Seg superou os outros modelos, alcançando precisão de 0.91587 e mAP@50 de 0.79795, demonstrando robustez em ambientes com sombras e oclusão.

• Geração de Explicações Textuais:

  • O modelo ajustado Mosquito-LLaMA3-8B superou significativamente os modelos zero-shot e few-shot (incluindo modelos proprietários como Gemini-2.5-Flash).
  • Métricas do Modelo Ajustado: BLEU de 54.7, BERTScore de 0.91 e ROUGE-L de 0.85.
  • O estudo de ablação confirmou que o ajuste fino supervisionado é essencial para a precisão contextual, superando a simples dependência de prompts.

5. Significado e Impacto

O trabalho destaca o princípio "Prevenção é Melhor que Cura". Ao integrar detecção visual precisa com explicações textuais claras, o framework VISTEXT-MOSQUITO permite:

• Interpretabilidade: Os sistemas de IA não apenas identificam o risco, mas explicam o motivo (ex: "pneus contendo água parada"), o que aumenta a confiança dos agentes de saúde pública.
• Escalabilidade: Permite a automação da triagem de locais de risco em grandes áreas urbanas.
• Educação e Decisão: As explicações geradas podem ser usadas para educar comunidades locais sobre como identificar e eliminar criadouros.

O código e o dataset estão disponíveis publicamente no GitHub, promovendo a reprodutibilidade e o avanço contínuo na aplicação de IA para o controle de vetores e saúde pública global.