Resumo Técnico: Integração de Conhecimento Clínico Cross-Modal para Geração de Laudos de Mamografia

Declaração do Problema

O rastreamento do câncer de mama via mamografia gera um volume massivo de exames, criando uma carga de trabalho substancial para os radiologistas. Embora a geração automatizada de laudos tenha avançado para a radiologia geral (ex: radiografias de tórax, TC), os métodos existentes falham em abordar as complexidades específicas da mamografia. As abordagens atuais baseiam-se primariamente no mapeamento direto de visão-texto, negligenciando o processo de raciocínio clínico estruturado exigido na prática. Especificamente, o laudo de mamografia necessita de:

1. Raciocínio Conjunto Multi-view: O diagnóstico preciso requer a integração de informações de quatro visualizações padronizadas (Craniocaudal Direita, Mediolateral Oblíqua Direita, Craniocaudal Esquerda, Mediolateral Oblíqua Esquerda) e análise bilateral das mamas.
2. Consistência Clínica: Os laudos devem aderir às diretrizes do Sistema de Relato e Dados de Imagem Mamária (BI-RADS), avaliando o risco de malignidade e atribuindo categorias específicas que orientam decisões clínicas.
3. Precisão Terminológica: Termos profissionais de mamografia são frequentemente fragmentados por tokenizadores padrão (ex: WordPiece, BPE), levando à ambiguidade semântica e ao alinhamento subótimo entre características visuais e semântica diagnóstica.

Modelos de propósito geral existentes, incluindo grandes modelos de linguagem-visão (LVLMs), lutam para produzir laudos clinicamente acionáveis, frequentemente falhando em atribuir corretamente as categorias BI-RADS ou capturar achados detalhados, apesar da alta fluência linguística. Além disso, o campo carece de ferramentas dedicadas para avaliar a eficácia clínica dos laudos gerados além da similaridade textual superficial.

Metodologia: MammoRG

Os autores propõem o MammoRG, um framework de treinamento em duas etapas projetado para simular o fluxo de trabalho de laudos clínicos através da integração de conhecimento clínico cross-modal e do emprego de ajuste fino sensível a termos (term-aware fine-tuning).

1. Arquitetura do Framework

O MammoRG utiliza uma arquitetura encoder-decoder. A entrada consiste em quatro visualizações padrão de mamografia, que são codificadas por um codificador de imagem ($E_{img}$). O sistema integra conhecimento prévio clinicamente relevante de um banco de dados de laudos e de um grafo de conhecimento de mamografia, fundindo essas características com os dados de imagem antes de alimentá-los em um decodificador de texto ($D_{txt}$) para gerar o laudo final.

2. Estágio 1: Integração de Conhecimento Clínico Cross-Modal

Este estágio visa aprender semântica diagnóstica clinicamente relevante sob supervisão baseada em classificação.

• Fontes de Conhecimento: O modelo aproveita um banco de dados de laudos (codificado via BERT) e um grafo de conhecimento de mamografia construído a partir de um léxico especializado. O grafo codifica relações semânticas como Localizado_em, Modificado_por e Sugestivo_de.
• Fusão de Características: O framework emprega mecanismos de atenção cruzada (cross-attention) em dois níveis:
  • Nível do Paciente: Representações globais da imagem atendem aos embeddings do laudo para capturar o contexto clínico geral.
  • Nível da Visualização (View-level): Características de visualizações específicas atendem aos embeddings do grafo de conhecimento para capturar semântica diagnóstica de granularidade fina.
• Objetivo de Treinamento: O modelo é otimizado usando perdas de classificação (Cross-Entropy para BI-RADS e composição mamária; Binary Cross-Entropy para achados e relações) para alinhar características visuais com contextos semânticos diagnósticos.

3. Estágio 2: Ajuste Fino Supervisionado Sensível a Termos (Term-Aware)

Para abordar as limitações dos tokenizadores padrão no tratamento de terminologia específica do domínio, os autores introduzem um tokenizador sensível a termos.

• Unidades Semânticas Atômicas: Termos do léxico de mamografia são tratados como tokens indivisíveis em vez de subpalavras fragmentadas. Isso preserva a integridade semântica atômica dos conceitos clínicos.
• Inicialização e Ajuste: Novos embeddings de tokens são inicializados via uma abordagem baseada em dados (média dos embeddings existentes com perturbações) e otimizados durante o ajuste fino.
• Eficiência: O ajuste fino eficiente de parâmetros (LoRA) é aplicado ao decodificador de texto para adaptar o modelo de linguagem às convenções específicas da mamografia sem interromper o conhecimento pré-treinado.

4. MammoRGTool: Avaliação de Eficácia Clínica

Para facilitar uma avaliação rigorosa, os autores desenvolveram o MammoRGTool, uma ferramenta dedicada de análise de laudos.

• Função: Ela extrai informações clínicas estruturadas de laudos em texto livre, incluindo categorias BI-RADS, composição tecidual, achados anormais, localizações anatômicas e relações.
• Pipeline: A ferramenta utiliza um processo de limpeza baseado em regras e um loop de treinamento de autorrefinamento iterativo (inicialmente utilizando Qwen3-32B para extração de rótulos) para alcançar alta precisão na extração. Ela serve como o ground truth para métricas de Eficácia Clínica (CE).

Principais Contribuições

1. Framework MammoRG: Um framework de treinamento em duas etapas que incorpora explicitamente conhecimentos prévios clínicos específicos de mamografia (diretrizes BI-RADS, grafos de conhecimento) e alinhamento semântico cross-modal, melhorando significativamente tanto a fluência linguística quanto a precisão diagnóstica.
2. MammoRGTool: Uma ferramenta especializada de análise de laudos que alcança um escore macro-F1 superior a 99% em conjuntos de validação externos, estabelecendo um benchmark confiável para avaliar a correção clínica de laudos de mamografia.
3. Tokenização Sensível a Termos: Uma abordagem inovadora para lidar com terminologia médica que trata termos específicos do domínio como unidades atômicas, reduzindo a fragmentação semântica e melhorando o desempenho do modelo em atributos clinicamente relevantes.
4. Avaliação Abrangente: Experimentos extensos em conjuntos de dados internos e externos demonstrando desempenho de estado da arte (SOTA) tanto em Geração de Linguagem Natural (NLG) quanto em métricas de Eficácia Clínica (CE).

Resultados Experimentais

O modelo foi avaliado em um conjunto de dados interno (Hospital de Câncer de Yunnan) e três conjuntos de dados externos (Primeiro Hospital Popular de Guangzhou, Universidade Sun Yat-Sen e o dataset público VinDr-Mammo).

• Desempenho: O MammoRG superou consistentemente os métodos existentes, incluindo baselines retreinados (LLaVA-Rad, R2Gen) e LVLMs de one-shot (Qwen3-VL, InternVL3.5).
  • Dataset Interno: Alcançou as pontuações mais altas em todas as métricas, incluindo BLEU-1 (53,78%), ROUGE-L (62,70%) e métricas críticas de CE como BI-RADS F1 (26,67%) e Finding F1 (75,09%).
  • Generalização Externa: Demonstrou generalização robusta, particularmente na avaliação BI-RADS. No dataset VinDr-Mammo, alcançou um BI-RADS F1 de 31,07%, superando o segundo melhor modelo em 4,96%.
• Estudos de Ablação:
  • Combinação de Características: A integração de características de imagem, nível de paciente e nível de visualização yielded os melhores resultados, confirmando a complementaridade das características de múltiplas granularidades.
  • Análise de Componentes: Tanto o tokenizador sensível a termos quanto a integração de conhecimento cross-modal contribuíram significamente para os ganhos de desempenho, sendo que esta última proporcionou o aumento mais substancial na consistência clínica.
  • Comparação de Recuperação: A integração cross-modal proposta superou as estratégias padrão de recuperação baseadas em imagem-texto e imagem, indicando que a similaridade semântica sozinha é insuficiente para capturar atributos diagnósticos criticamente clínicos.
• Análise de Erros: O modelo mostrou forte desempenho em achados visualmente salientes (ex: massas, espessamento de ligamentos), mas teve dificuldades com achados sutis (ex: assimetria, retração do mamilo) e estratificação de risco de granularidade fina (subcategorias BI-RADS 4), frequentemente suavizando decisões para categorias intermediárias.

Significância e Limitações

Significância:
O artigo argumenta que o valor clínico dos laudos de mamografia depende mais da correção diagnóstica do que da fluência linguística. Ao modelar explicitamente o fluxo de trabalho de raciocínio clínico e integrar conhecimento médico estruturado, o MammoRG preenche a lacuna entre modelos de IA genéricos e utilidade clínica. A introdução do MammoRGTool aborda uma lacuna crítica no campo ao fornecer um método padronizado para avaliar a eficácia clínica, indo além das simples métricas de sobreposição de texto.

Limitações:

• Dependência de Linguagem: O modelo é treinado exclusivamente em laudos de mamografia em chinês; sua generalização para outros idiomas e ambientes clínicos não foi verificada.
• Escopo de Modalidade: O framework é específico para mamografia. Estender o modelo para outras modalidades de imagem exigiria novas representações de conhecimento e anotações específicas do domínio.
• Sensibilidade de Granularidade Fina: O modelo apresenta limitações na detecção de achados sutis ou sub-representados (ex: assimetria) e na distinção de subcategorias BI-RADS de granularidade fina, sugerindo a necessidade de melhorar a sensibilidade a padrões de baixa saliência.