MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

O artigo apresenta o MammoWise, um pipeline local e reprodutível que utiliza modelos de linguagem visão (VLMs) de código aberto, aprimorados por técnicas como RAG e fine-tuning (QLoRA), para gerar relatórios de mamografia e realizar classificações médicas precisas, oferecendo uma alternativa privada e adaptável aos sistemas em nuvem.

O essencial

Imagine que você é um radiologista especialista em mamas. Sua rotina é exaustiva: você precisa examinar milhares de mamografias, cada uma com quatro imagens diferentes, encontrar pequenas anomalias (como um caroço ou calcificação) e, em seguida, escrever um relatório médico detalhado e padronizado para cada paciente. É um trabalho que exige muita atenção, tempo e precisão.

Agora, imagine que você tem um assistente de IA que pode fazer parte desse trabalho por você. Mas, até agora, esses assistentes tinham dois grandes problemas:

1. Eram "caixas pretas" na nuvem (custavam caro e levantavam questões de privacidade dos dados dos pacientes).
2. Eram muito rígidos: se você quisesse mudar o modelo ou o tipo de exame, precisava construir um novo assistente do zero.

É aqui que entra o MammoWise.

O Que é o MammoWise? (A Analogia do "Kit de Ferramentas Inteligente")

Pense no MammoWise não como um único robô, mas como um kit de ferramentas modular e inteligente que você pode instalar no seu próprio computador (localmente), sem precisar enviar os dados dos pacientes para a internet.

Ele pega modelos de Inteligência Artificial de código aberto (que são como "cérebros" genéricos de IA) e os transforma em especialistas em mamografia. O grande diferencial é que ele é flexível: você pode trocar o "cérebro" da IA, mudar a forma como você pede a tarefa e até ensinar a IA a ser melhor com o tempo.

Como ele funciona? (Os 3 Níveis de Poder)

O artigo descreve três maneiras de usar esse assistente, como se fossem níveis de treinamento:

1. O Nível "Instrução Direta" (Prompting)
Imagine que você dá um comando ao assistente: "Olhe estas quatro imagens e me diga o que você vê, seguindo este formato."

• Zero-shot: Você dá apenas o comando. É como pedir para alguém que nunca viu mamografias tentar adivinhar.
• Few-shot (Poucos exemplos): Você mostra 5 exemplos de relatórios perfeitos antes de pedir o novo. É como mostrar um "modelo de resposta" para o assistente seguir.
• Chain-of-Thought (Cadeia de Pensamento): Você pede para o assistente "pensar em voz alta". "Primeiro, verifique a densidade. Depois, procure por caroços. Depois, decida se é benigno..." Isso ajuda a IA a não pular etapas.
• Resultado: O assistente escreve relatórios muito bons, mas às vezes erra nos detalhes técnicos (classificações).

2. O Nível "Pesquisa de Casos" (RAG - Geração Aumentada por Recuperação)
Aqui, o assistente ganha uma biblioteca de casos anteriores.
Quando você mostra uma nova mamografia, o MammoWise procura na sua biblioteca local por 5 casos muito parecidos com aquele e diz ao assistente: "Olhe, veja como lidamos com casos parecidos antes. Use isso como guia."

• A Analogia: É como um médico júnior consultando um livro de casos clínicos antes de escrever o laudo.
• Resultado: O texto do relatório fica mais consistente e o assistente alucina menos (inventa menos coisas), mas ainda pode ter dificuldade em classificar com precisão absoluta.

3. O Nível "Estudo Intensivo" (Fine-Tuning / QLoRA)
Se o assistente ainda comete erros nas classificações difíceis (como dizer se é câncer ou não), o MammoWise permite um "curso intensivo".
Usando uma técnica chamada QLoRA, eles ensinam o modelo especificamente com milhares de mamografias reais e seus laudos corretos.

• A Analogia: É como pegar um estudante universitário e fazer ele passar o verão inteiro estudando apenas mamografias, até que ele se torne um especialista naquele assunto específico.
• Resultado: A precisão das classificações (BI-RADS, densidade, calcificações) salta drasticamente, ficando no nível de especialistas humanos, mas mantendo a capacidade de escrever o relatório.

O Que Eles Descobriram?

Os pesquisadores testaram três modelos diferentes de IA e dois conjuntos de dados reais. As descobertas principais foram:

• Para escrever o relatório: A IA já é muito boa apenas com boas instruções (prompts) e exemplos. Adicionar a "biblioteca de casos" (RAG) ajuda a melhorar a qualidade do texto.
• Para diagnosticar (classificar): Apenas pedir para a IA classificar não é suficiente; ela oscila muito. Para ter confiança no diagnóstico, é necessário o "curso intensivo" (Fine-tuning).
• Privacidade e Custo: Tudo isso roda no computador local. Não é necessário enviar dados sensíveis para a nuvem de grandes empresas, o que é ótimo para hospitais preocupados com privacidade.

Em Resumo

O MammoWise é como uma oficina de montagem de assistentes médicos. Ele mostra que não precisamos de um único super-robô fechado e caro. Em vez disso, podemos pegar modelos de IA acessíveis, dar a eles as ferramentas certas (instruções, exemplos e treinamento específico) e criar um sistema local, seguro e altamente eficaz para ajudar radiologistas a escreverem relatórios de mamografia mais rápido e com menos erros.

É um passo importante para tornar a inteligência artificial na medicina algo prático, acessível e seguro, em vez de apenas uma promessa futurista.

Resumo técnico

Resumo Técnico: MammoWise

1. O Problema

A mamografia de rastreamento é um procedimento de alto volume, sensível ao tempo e que exige documentação extensa. Os radiologistas devem traduzir achados visuais sutis em avaliações padronizadas (BI-RADS), categorias de densidade mamária e relatórios narrativos estruturados.
As principais limitações das abordagens atuais incluem:

• Dependência de Sistemas Fechados: Muitas demonstrações de alto desempenho utilizam modelos proprietários hospedados na nuvem, o que levanta preocupações sobre privacidade de dados de saúde (PHI), custos operacionais e falta de reprodutibilidade.
• Falta de Especialização em Modelos Locais: Modelos de Visão-Linguagem (VLMs) de código aberto, quando usados "fora da caixa", frequentemente não são especializados em mamografia, gerando detalhes clinicamente implausíveis ou alucinações.
• Fragmentação de Ferramentas: Não existe um pipeline unificado que permita aos pesquisadores e praticantes rodar localmente, comparar múltiplos VLMs e avaliar diferentes estratégias de adaptação (prompting, RAG e ajuste fino) para geração de relatórios completos e classificação.

2. Metodologia

O MammoWise é apresentado como um pipeline local, multi-modelo e modular que transforma VLMs de código aberto em geradores de relatórios clínicos e classificadores multi-tarefa.

• Arquitetura e Pipeline:

  • O sistema aceita qualquer VLM hospedado localmente via Ollama.
  • Suporta três regimes de adaptação: Zero-shot, Few-shot e Chain-of-Thought (CoT).
  • Implementa um modo opcional de Geração Aumentada por Recuperação (RAG) multimodal, que busca exemplos de imagem-texto de um banco de dados vetorial (ChromaDB) para fornecer contexto específico ao caso, reduzindo alucinações.
  • Inclui suporte para Ajuste Fino Eficiente de Parâmetros (PEFT) usando QLoRA para estabilizar a classificação quando o prompting sozinho é insuficiente.

• Dados e Pré-processamento:

  • Datasets: Utilizou-se o VinDr-Mammo (20.000 imagens de 5.000 pacientes vietnamitas) e o DMID (510 imagens indianas com relatórios).
  • Processamento: As quatro vistas de cada paciente (CC e MLO de ambos os lados) são mescladas em uma única imagem composta (512x512 pixels) para simular o fluxo de trabalho do radiologista.
  • RAG: Os pares imagem-relatório são convertidos em embeddings multimodais (usando OpenCLIP) e indexados no ChromaDB para recuperação semântica.

• Modelos Avaliados:

  • MedGemma (4B parâmetros, focado em medicina).
  • LLaVA-Med (7B parâmetros, treinado em dados biomédicos).
  • Qwen2.5-VL (7B parâmetros, modelo multimodal geral).

• Avaliação:

  • Geração de Texto: Métricas de similaridade semântica (BERTScore, ROUGE-L) para relatórios narrativos.
  • Classificação: Métricas de precisão, recall, F1-score e acurácia para BI-RADS (5 classes), densidade mamária (ACR A-D), suspeição e presença de achados (massa, calcificação, assimetria).

3. Principais Contribuições

1. Pipeline MammoWise: Uma infraestrutura local e reutilizável que integra prompting, RAG multimodal e ajuste fino (QLoRA) em um único fluxo de trabalho reproduzível.
2. Fluxo de Trabalho RAG Multimodal: Implementação de um sistema que recupera exemplos de casos semelhantes (imagem + relatório) para fornecer contexto ao modelo, melhorando a fundamentação clínica.
3. Análise Comparativa Sistemática: Um estudo abrangente comparando estratégias de adaptação (Prompting vs. RAG vs. QLoRA) em múltiplos modelos e datasets.
4. Evidência de Eficiência do QLoRA: Demonstração de que o ajuste fino leve (PEFT) é crucial para estabilizar a classificação estruturada em cenários médicos, superando as limitações do prompting puro.

4. Resultados Chave

• Geração de Relatórios: A geração de texto é robusta mesmo com prompting básico, mas melhora consistentemente com few-shot e RAG. No entanto, o RAG não é universalmente benéfico; em datasets pequenos e já bem pareados (como o DMID), a recuperação pode introduzir ruído semântico, reduzindo a similaridade textual em certas seções.
• Classificação Estruturada (Sem Ajuste Fino): O prompting sozinho (mesmo com RAG) mostra alta variabilidade e desempenho limitado em tarefas de classificação fina (ex: BI-RADS), sendo altamente sensível à combinação (modelo, dataset, prompt).
• Impacto do Ajuste Fino (QLoRA):
  • O ajuste fino do MedGemma no VinDr-Mammo resultou em ganhos substanciais e consistentes.
  • Acurácias alcançadas (com QLoRA):
    • BI-RADS: 0.7545 (vs. ~0.29-0.32 sem ajuste).
    • Densidade Mamária: 0.8840.
    • Calcificação: 0.9341.
    • Massa: 0.8740.
  • O ajuste fino superou significativamente tanto o prompting quanto o RAG para tarefas de classificação, validando a hipótese de uma "escada de confiabilidade": Prompting para rascunhos, RAG para contexto, e Ajuste Fino para precisão de rótulos.
• Comparação com SOTA: O modelo ajustado do MammoWise superou ou igualou resultados de modelos especializados (como MammoCLIP e LLaVA-Mammo) em tarefas de densidade e BI-RADS no mesmo dataset.

5. Significado e Implicações

O trabalho MammoWise oferece um blueprint prático para a implantação de assistentes de IA em rastreamento de câncer de mama que respeitam a privacidade (rodando localmente) e a reprodutibilidade.

• Divisão de Trabalho Pragmática: O estudo sugere que o prompting e o RAG são suficientes para a redação de relatórios clínicos estruturados, mas a classificação diagnóstica confiável (rótulos BI-RADS, densidade) exige ajuste fino leve (QLoRA).
• Acesso Democrático: Ao utilizar modelos de código aberto e hardware de consumo (via Ollama e QLoRA), o pipeline reduz as barreiras de entrada para instituições que não possuem acesso a modelos proprietários caros ou infraestrutura de nuvem massiva.
• Futuro: O framework é extensível, permitindo a integração de novos modelos, datasets e estratégias de adaptação, servindo como base para futuras pesquisas em relatórios radiológicos automatizados.

Em suma, o MammoWise demonstra que é possível construir um sistema de geração de relatórios de mamografia de alta qualidade, local e privado, combinando a flexibilidade dos VLMs modernos com técnicas de recuperação de contexto e ajuste fino eficiente.