Vision Language Model for Coronary Angiogram Analysis and Report Generation: Development and Evaluation Study

Este estudo desenvolveu e avaliou um modelo de linguagem e visão (VLM) baseado no InternVL2-4B para automatizar a interpretação de angiogramas coronarianos e a geração de relatórios clínicos, demonstrando a viabilidade dessa tecnologia para apoiar cardiologistas, embora os resultados atuais ainda não atinjam o nível de especialidade humana.

O essencial

Imagine que o coração de uma pessoa é como uma cidade complexa cheia de ruas e avenidas. Quando essas "ruas" (as artérias coronárias) ficam entupidas, é uma emergência médica. Para ver o que está acontecendo, os médicos usam um exame chamado angiografia coronária. É como tirar uma série de vídeos e fotos em raio-X para ver o trânsito dentro dessas ruas.

O problema é que ler esses vídeos e escrever um relatório médico é como tentar descrever um filme inteiro apenas olhando para algumas fotos soltas. É difícil, demorado e exige um especialista muito experiente.

Este estudo é sobre uma tentativa de ensinar um robô inteligente (uma Inteligência Artificial chamada "Visão-Linguagem") a fazer esse trabalho de ler as fotos e escrever o relatório para ajudar os médicos.

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O "Estudante" e a "Escola"

Os pesquisadores pegaram um modelo de IA chamado InternVL2-4B. Pense nele como um estudante universitário muito inteligente, que já leu milhões de livros e viu milhões de fotos do mundo todo. Ele sabe o que é um carro, uma árvore ou um gato.

Mas, quando mostraram para ele fotos de artérias do coração, ele ficou confuso. Ele sabia que era uma imagem médica, mas não conseguia distinguir a "Rua Principal Esquerda" da "Rua Principal Direita", nem ver onde estava o entupimento. Era como se ele soubesse o que é um mapa, mas não soubesse ler as ruas específicas dessa cidade.

2. A "Turma de Reforço" (O Treinamento)

Para resolver isso, os pesquisadores deram uma "turma de reforço" para o robô. Eles pegaram 20.000 fotos reais de exames de coração de quase 2.000 pacientes e ensinaram o robô especificamente para essa tarefa.

Eles dividiram o trabalho em três etapas, como se fossem três matérias diferentes na escola:

• Matéria 1: Escolher as Fotos Certas (Keyframe Selection)
  Um vídeo de angiografia tem centenas de quadros. Muitos são borrados, escuras ou mostram apenas o início do processo. O robô aprendeu a agir como um editor de cinema, escolhendo apenas os quadros onde as artérias estão claras e visíveis para o diagnóstico. Ele ficou muito bom nisso (93% de acerto), como um editor que nunca erra um corte.

• Matéria 2: Encontrar os Buracos na Estrada (Detecção de Estenose)
  O robô aprendeu a apontar onde estão os entupimentos. Ele conseguiu identificar os bloqueios com uma precisão razoável. Foi como se ele pudesse olhar para o mapa e dizer: "Olha, aqui na Avenida 1 tem um engarrafamento". Ele funcionou tão bem quanto outros robôs especializados que já existiam, mas com a vantagem de poder "falar" sobre o que viu.

• Matéria 3: Escrever o Relatório (Geração de Texto)
  Aqui foi onde o robô tropeçou. A tarefa era pegar várias fotos de um mesmo paciente e escrever um relatório médico completo em linguagem natural (ex: "O paciente tem um bloqueio severo na artéria X").
  O resultado foi misto. O robô conseguiu escrever frases bonitas e estruturadas, mas muitas vezes alucinou. Ele inventou coisas que não existiam (como dizer que havia um desvio de sangue quando não havia) ou deixou de mencionar bloqueios graves. Foi como um aluno que escreve um texto com gramática perfeita, mas que inventa fatos sobre a história que está contando.

3. O Que Aprendemos? (A Lição da Aula)

O estudo mostrou que a tecnologia tem um potencial incrível, mas ainda não é um "médico substituto".

• O que funcionou: O robô é excelente em tarefas visuais simples, como achar o entupimento e desenhar uma caixa ao redor dele. Ele é como um assistente que aponta o dedo para o problema.
• O que falhou: O robô ainda tem dificuldade em conectar várias imagens diferentes para contar uma história completa e precisa. Ele precisa de mais "exemplos" e de instruções mais claras sobre qual foto corresponde a qual parte do texto.

4. Por que isso é importante?

Imagine um mundo onde, em hospitais com poucos médicos especialistas (como em países em desenvolvimento), esse robô pudesse:

1. Ajudar a encontrar os entupimentos rapidamente.
2. Calcular pontuações de risco automaticamente.
3. Escrever o rascunho do relatório para o médico apenas revisar.

Isso salvaria tempo, reduziria erros e salvaria vidas.

Em resumo: Os pesquisadores criaram um "estagiário de IA" que já sabe apontar os problemas nas artérias do coração com muita habilidade, mas ainda precisa de mais treino para escrever o relatório final sem inventar coisas. É um grande passo em direção a um futuro onde a inteligência artificial é o parceiro fiel do cardiologista, e não apenas um observador.

Resumo técnico

Título do Estudo

Modelo de Visão e Linguagem para Análise de Angiogramas Coronários e Geração de Relatórios: Estudo de Desenvolvimento e Avaliação

1. O Problema

A Doença Arterial Coronariana (DAC) é uma das principais causas de mortalidade global. A angiografia coronária invasiva é o padrão-ouro para diagnóstico, mas sua interpretação é complexa, variável e exige treinamento especializado, criando um gargalo no fluxo de trabalho clínico.

• Limitações das Soluções Atuais: Estudos anteriores de Inteligência Artificial (IA) focaram em redes neurais convencionais para classificação ou segmentação. Embora eficazes em tarefas numéricas, esses modelos carecem de interpretabilidade em linguagem natural. Eles não conseguem gerar relatórios clínicos descritivos completos (ex: descrevendo anomalias anatômicas, colaterais ou a relação entre lesões e ramos adjacentes), que são essenciais para a avaliação clínica abrangente.
• Necessidade: Há uma lacuna na automação que integre a análise visual de imagens com a geração de relatórios textuais estruturados, capazes de apoiar cardiologistas na tomada de decisões e na redução da carga de trabalho.

2. Metodologia

O estudo propõe o ajuste fino (fine-tuning) e a avaliação de um Modelo de Visão e Linguagem (VLM) de código aberto, o InternVL2-4B, adaptado especificamente para angiografia coronária.

• Dados e Conjuntos de Dados:

  • Utilização de 20.000 keyframes (quadros-chave) de 1.987 pacientes.
  • Fontes: Conjuntos de dados públicos (CADICA, ADSD, ARCADE) e um conjunto proprietário (AIMx) do National Heart Centre Singapore.
  • Os dados incluem vídeos de angiografia, coordenadas de caixas delimitadoras (bounding boxes) para estenoses e segmentos anatômicos, e relatórios textuais diagnósticos.

• Pipeline de Treinamento (Duas Etapas Principais):

  1. Seleção de Keyframes: Um modelo ViT (Vision Transformer, Google vit-large-patch32-384) foi ajustado para identificar e selecionar automaticamente os quadros diagnósticos relevantes dos vídeos de angiografia, filtrando quadros sem contraste ou não informativos.
  2. Ajuste Fino do VLM (InternVL2-4B):
     • Utilização de LoRA (Low-Rank Adaptor) para reduzir a complexidade computacional, permitindo o treinamento em 2 GPUs NVIDIA RTX 4090.
     • O modelo foi treinado para três tarefas principais:
       • Detecção de Estenose: Identificação e localização de estreitamentos nas artérias.
       • Rotulagem de Anatomia: Segmentação e identificação de segmentos arteriais específicos (baseado na definição SYNTAX).
       • Geração de Relatórios: Criação de um relatório textual consolidado a partir de múltiplos quadros de diferentes ângulos de projeção.

• Métricas de Avaliação:

  • Para detecção e segmentação: Precisão, Recall, F1-score e Intersection over Union (IoU).
  • Para geração de relatórios: Comparação manual entre a saída do modelo e o relatório ground truth, avaliando a severidade da estenose (leve, moderada, grave) e a presença de achados clínicos.

3. Principais Contribuições

• Pioneirismo: Este é o primeiro estudo a explorar o uso de VLMs para interpretar angiogramas coronários e gerar relatórios diagnósticos textuais completos integrando múltiplas projeções.
• Abordagem Multimodal: Demonstra a viabilidade de usar um único modelo para tarefas de detecção de objetos, segmentação anatômica e geração de linguagem natural no contexto de cardiologia intervencionista.
• Análise Crítica de Métricas: O estudo discute as limitações de métricas tradicionais (como IoU) na avaliação clínica, propondo critérios adaptados (ex: considerar uma detecção como verdadeira positiva se 60% da área sobrepor a caixa de referência, mesmo com IoU baixo) para refletir melhor a utilidade clínica.
• Comparação com Estado da Arte: O modelo VLM foi comparado com modelos especializados de segmentação (YOLOv8x), mostrando desempenho competitivo.

4. Resultados

• Seleção de Keyframes: O modelo ViT alcançou desempenho robusto, com acurácia de 0,86, precisão de 0,89 e recall de 0,93, garantindo a qualidade dos dados de entrada para o VLM.
• Detecção de Estenose: O VLM ajustado alcançou precisão de 0,56, recall de 0,64 e F1-score de 0,60. O desempenho foi comparável ou superior a modelos de redes neurais tradicionais em tarefas similares.
• Rotulagem de Anatomia: O modelo obteve F1-score ponderado de 0,46. O desempenho foi superior em vasos grandes (ex: tronco da coronária esquerda, artéria descendente anterior) e inferior em ramos menores e distais, refletindo a distribuição dos dados de treinamento.
• Geração de Relatórios: Este foi o ponto mais fraco. O modelo apresentou baixa precisão (0,19) e recall (0,23) na identificação correta de achados clínicos.
  • Problemas Identificados: O modelo tendeu a "alucinar" (descrever anomalias não presentes) e falhou em detectar estenoses significativas em vasos críticos (ex: tronco da coronária esquerda) em todos os casos de teste.
  • Causa Provável: A dificuldade decorre da natureza de aprendizado fraco supervisionado, onde múltiplas imagens são pareadas com um único relatório consolidado, sem anotações explícitas sobre qual imagem corresponde a qual achado no texto.

5. Significado e Conclusão

• Potencial Clínico: Apesar das limitações na geração de texto, o estudo prova que VLMs podem automatizar tarefas críticas como a detecção de estenose e a identificação de anatomia, com potencial para auxiliar na redução do tempo de leitura, auditoria de intervenções e cálculo automático de escores clínicos (como o SYNTAX score).
• Aplicações: O sistema pode ser útil em ambientes com recursos limitados (onde cardiologistas gerais realizam angiografias) e como ferramenta educacional para treinamento.
• Direções Futuras: O estudo conclui que para melhorar a geração de relatórios, é necessário:
  1. Anotações mais granulares (parear achados específicos a imagens individuais em vez de relatórios consolidados).
  2. Inclusão de metadados de projeção (ângulos) para guiar o raciocínio do modelo.
  3. Aumento do conjunto de dados com angiogramas normais para reduzir falsos positivos.

Em suma, o estudo estabelece uma base sólida para o uso de IA generativa em cardiologia, demonstrando que, embora a geração de relatórios completos ainda exija refinamento, a capacidade de análise visual e detecção de lesões por VLMs é promissora e viável.