Instruction-Guided Lesion Segmentation for Chest X-rays with Automatically Generated Large-Scale Dataset

---

1. O Problema

A segmentação de lesões em radiografias de tórax (CXR) é uma tarefa crítica para diagnósticos precisos, mas enfrenta barreiras significativas para aplicação prática:

• Escassez de Dados: A maioria dos datasets existentes possui poucas etiquetas de lesão, foca em um único tipo de lesão (ex: apenas COVID-19) ou fornece apenas caixas delimitadoras (bounding boxes) em vez de máscaras de segmentação pixel a pixel.
• Dependência de Inputs Complexos: Modelos anteriores exigem descrições textuais longas e de nível especialista (ex: "infecção pulmonar bilateral, duas áreas infectadas..."), o que é impraticável para médicos que ainda estão analisando a imagem ou para não especialistas.
• Falta de Flexibilidade: Os modelos atuais não conseguem lidar bem com instruções variadas (ex: segmentar uma lesão específica em uma localização, segmentar globalmente ou confirmar a ausência de lesão) nem com casos negativos (quando a lesão solicitada não está presente).

2. Metodologia

A abordagem proposta é dividida em duas partes principais: a construção de um dataset automatizado e o treinamento de um modelo de Visão-Linguagem (VLM).

A. Construção do Dataset MIMIC-ILS (Pipeline Automatizado)

Os autores desenvolveram um pipeline totalmente automatizado para gerar pares de instrução-resposta e máscaras de segmentação a partir do dataset MIMIC-CXR (imagens e laudos radiológicos), sem intervenção humana direta na anotação. O processo possui quatro etapas:

1. Estruturação do Laudo e Mapeamento de Localização:
   • Utiliza Grandes Modelos de Linguagem (LLMs) para transformar laudos não estruturados em tuplas estruturadas contendo: entidade, índice da frase, presença, certeza, localização e tipo de lesão previsto.
   • Mapeia termos anatômicos variados para um conjunto padronizado de rótulos (ex: "base pulmonar direita").
2. Extração de Informação Espacial:
   • Combina três modelos de visão pré-treinados:
     • RadEdit: Um modelo de edição de imagem baseado em difusão para gerar um "mapa de anomalia" (subtraindo a imagem editada "normal" da original).
     • CXAS: Para segmentação de anatomia (pulmões, coração, etc.).
     • YOLO: Para detecção de lesões e geração de caixas delimitadoras.
3. Geração de Máscaras de Lesão:
   • Integra os mapas de anomalia, máscaras anatômicas e caixas de detecção.
   • Um algoritmo de filtragem (baseado em sobreposição, confiança e sinal interno) seleciona candidatos de alta qualidade e extrai componentes conectados do mapa de anomalia para criar a máscara final.
4. Verificação de Localização:
   • Confere se a máscara gerada corresponde à localização relatada no laudo. Define locais "vazios" (onde não há lesão) para gerar amostras negativas.

Geração de Instruções:
O pipeline cria três tipos de instruções para cada lesão validada:

• Específica: "Segmentar a pneumonia na base do pulmão direito."
• Genérica: "Segmentar a opacidade."
• Inferência/Ausência: "Segmentar a opacidade na base esquerda e prever o tipo" ou "Não há atelectasia na base esquerda."

Resultado: O dataset MIMIC-ILS contém 1,1 milhão de pares instrução-resposta derivados de 192.000 imagens e 91.000 máscaras únicas, cobrindo 7 tipos principais de lesões (cardiomegalia, pneumonia, atelectasia, opacidade, consolidação, edema e efusão).

B. Modelo ROSALIA

• Arquitetura: Baseado no modelo LISA (Large Language Model for Segmentation), que integra um VLM (LLaVA) com o Segment Anything Model (SAM).
• Funcionamento: O VLM processa a imagem e a instrução do usuário, gerando uma descrição textual e um token especial [SEG]. A representação embutida desse token é passada para o decodificador de máscaras do SAM para gerar a segmentação final.
• Treinamento: O modelo foi ajustado (fine-tuned) no MIMIC-ILS usando LoRA no VLM e ajuste completo no decodificador de máscaras.

3. Contribuições Principais

1. Pipeline de Geração de Dados Automatizado: Uma nova metodologia para criar datasets de segmentação de lesões em CXR em escala massiva, eliminando a necessidade de anotação manual de máscaras por especialistas.
2. Dataset MIMIC-ILS: O primeiro dataset de grande escala para Segmentação de Lesões Guiada por Instruções (ILS) em CXR. Inclui pares instrução-resposta diversificados e máscaras de segmentação, validados por especialistas com uma taxa de aceitação de 96,4%.
3. Modelo ROSALIA: O primeiro VLM projetado especificamente para a tarefa de ILS em CXR. Diferencia-se por:
   • Lidar com instruções específicas, genéricas e de confirmação de ausência.
   • Fornecer explicações textuais junto com as máscaras.
   • Ignorar corretamente lesões não solicitadas na imagem.

4. Resultados

Os experimentos foram conduzidos no conjunto de teste do MIMIC-ILS, comparando o ROSALIA com modelos de base de domínio geral (LISA, Text4Seg, PixelLM) e domínio médico (BiomedParse, RecLMIS).

• Desempenho de Segmentação:
  • gIoU (Intersecção sobre União média): O ROSALIA alcançou 71,2%, superando drasticamente os baselines (o melhor baseline médico, BiomedParse, atingiu 23,8%).
  • cIoU (Intersecção sobre União cumulativa): 75,6% para o ROSALIA vs. 18,5% do melhor baseline.
• Precisão em Casos Negativos (Ausência de Lesão):
  • O ROSALIA alcançou 91,8% de precisão (N-Acc) ao identificar corretamente quando uma lesão solicitada não está presente. A maioria dos baselines falhou quase completamente (próximo de 0%).
• Precisão Textual:
  • O modelo atingiu 94,4% de precisão na geração de respostas textuais corretas, demonstrando forte alinhamento entre a compreensão da instrução e a saída descritiva.
• Validação Humana: A avaliação por quatro radiologistas-oncologistas confirmou que a qualidade das máscaras geradas automaticamente é aceitável para uso clínico em mais de 96% dos casos.

5. Significância e Impacto

• Democratização da IA em Radiologia: Ao permitir que usuários (médicos ou não) façam perguntas simples em linguagem natural para obter segmentações precisas, o sistema reduz a barreira de entrada para ferramentas de suporte à decisão clínica.
• Escalabilidade: A demonstração de que é possível gerar datasets de milhões de amostras com alta qualidade sem anotação manual abre caminho para o desenvolvimento de modelos de visão computacional em outras áreas médicas onde dados anotados são escassos.
• Avanço Técnico: O trabalho estabelece um novo padrão para a tarefa de "Grounding" de lesões em CXR, provando que modelos multimodais podem entender nuances anatômicas e instruções complexas quando treinados em dados suficientes e bem estruturados.

Em resumo, o artigo apresenta uma solução robusta e escalável para a segmentação de lesões em radiografias de tórax, superando as limitações de dados e usabilidade dos métodos anteriores através da automação inteligente e de um modelo de linguagem visual especializado.