Resumo Técnico: MI-CXR: Um Benchmark para Raciocínio Longitudinal sobre Radiografias de Tórax Multi-Intervalares

Declaração do Problema

Os atuais benchmarks de Resposta Visual a Perguntas (VQA) para Radiografias de Tórax (CXR) na área médica dependem predominantemente de formulações de problemas simplificadas, como reconhecimento de imagem única ou comparação de pares de imagens. Esses cenários não capturam a realidade dos fluxos de trabalho clínicos, onde o raciocínio diagnóstico exige a comparação de exames em múltiplas consultas para avaliar o início da doença, a progressão, a resposta ao tratamento e a recorrência. Benchmarks existentes de múltiplas consultas frequentemente focam na geração de laudos ou em julgamentos simples de presença-ausência, carecendo de avaliação explícita do raciocínio longitudinal de longo horizonte, da ordenação temporal de eventos e da integração de evidências ao longo de cronogramas estendidos. Consequentemente, há uma lacuna na avaliação de se os Modelos Visão-Linguagem (VLMs) podem realizar tomada de decisão temporal estruturada sobre evidências visuais dependentes e multi-intervalares.

Metodologia

O Benchmark MI-CXR

Os autores introduzem o MI-CXR, um benchmark projetado para avaliar o raciocínio longitudinal Multi-Intervalar sobre sequências de CXR de múltiplas consultas. O benchmark consiste em 5.311 perguntas de múltipla escolha com cinco opções, derivadas de cronogramas de pacientes contendo cinco consultas ordenadas temporalmente (quatro intervalos consecutivos).

O benchmark é construído utilizando metadados estruturados e anotações de grafos de cena do MIMIC-Ext-CXR-QBA e imagens do MIMIC-CXR-JPG. O pipeline de construção envolve:

1. Formação de Coorte: Seleção de pacientes com pelo menos cinco consultas ordenadas temporalmente.
2. Filtragem de Qualidade: Retenção apenas de observações anotadas por radiologistas com alta confiança e rótulos claros de mudança temporal (emergência, resolução, melhora).
3. Geração por Janela Deslizante: Decomposição de históricos de pacientes mais longos em janelas fixas de cinco consultas para garantir contexto temporal consistente.
4. Instanciação de Tarefas: Geração de perguntas que exigem explicitamente a agregação de informações através de múltiplas consultas, garantindo que as respostas não possam ser derivadas de uma única imagem ou par isolado.

Famílias de Tarefas

O MI-CXR formaliza a interpretação longitudinal em três capacidades de raciocínio complementares:

1. Localização de Evento Temporal (TEL): Exige identificar o intervalo específico onde ocorre um evento clinicamente significativo (por exemplo, emergência ou resolução de uma anormalidade). Isso testa o raciocínio sob restrições de ordenação temporal e exclusividade (por exemplo, distinguir a primeira emergência das subsequentes).
2. Raciocínio de Mudança por Intervalo (ICR): Foca na interpretação de mudanças visuais entre consultas consecutivas. Diferentemente de tarefas padrão de pares, o intervalo relevante não é pré-especificado, exigindo que o modelo primeiro localize a mudança descrita dentro da linha do tempo antes de interpretar seu conteúdo semântico.
3. Resumo de Trajetória Global (GTS): Exige integrar evidências através de todas as cinco consultas para caracterizar o curso geral da doença, testando a capacidade de compor observações locais em uma trajetória global coerente.

Protocolo de Avaliação

Os autores avaliaram 14 VLMs de última geração, categorizados em modelos de propósito geral de código fechado, de propósito geral de código aberto e especializados em medicina.

• Prompting Zero-Shot: O protocolo principal utiliza decodificação determinística (temperatura = 0) para garantir reprodutibilidade.
• Sondagem Diagnóstica por Etapas: Para distinguir entre falhas de percepção visual e falhas de raciocínio temporal, os autores empregaram um protocolo de inferência em duas etapas. Na primeira etapa, os modelos geram descrições estruturadas por intervalo; na segunda, respondem à pergunta original baseando-se exclusivamente nessas descrições intermediárias.
• Verificações de Robustez: O estudo incluiu análises de sensibilidade sobre temperatura de decodificação, prompting de estilo de raciocínio ("Vamos pensar passo a passo") e demonstrações one-shot, bem como um estudo piloto sobre geração de laudos em formato livre.

Principais Resultados

Desempenho de Linha de Base

Em todos os 14 modelos, o desempenho no MI-CXR foi consistentemente baixo, com uma precisão média geral de 29,3%, apenas modestamente acima da linha de base de 20% para adivinhação aleatória em perguntas de múltipla escolha com cinco opções.

• Dificuldade da Tarefa: O desempenho permaneceu baixo em todas as famílias de tarefas (TEL, ICR, GTS), indicando que o raciocínio temporal de longo horizonte é um desafio fundamental para os VLMs atuais, não limitado a designs de tarefas específicos.
• Categorias de Modelos: Nenhuma categoria única (código fechado, código aberto ou especializada em medicina) demonstrou raciocínio longitudinal consistentemente robusto. Embora os modelos de código fechado tenham se saído ligeiramente melhor em geral, eles ainda lutaram significativamente. A escala (tamanho dos parâmetros) mostrou efeitos inconsistentes no desempenho.

Análise Diagnóstica

A sondagem diagnóstica por etapas revelou uma desconexão crítica entre a compreensão local e a tomada de decisão global:

• Capacidade Local: Quando o intervalo temporal relevante foi explicitamente especificado (Variante ICR), a precisão do modelo melhorou substancialmente (por exemplo, de ~30% para ~60-70% para os principais modelos). Isso sugere que os modelos possuem a capacidade de interpretar mudanças em nível de intervalo quando o escopo temporal é restrito.
• Falha na Decisão Temporal: O principal gargalo reside na tomada de decisão temporal. Os modelos frequentemente produzem descrições de intervalo localmente plausíveis, mas falham em:
  • Impor exclusividade temporal (selecionar o único intervalo decisivo entre múltiplos candidatos plausíveis).
  • Vincular eventos em estruturas temporais ordenadas.
  • Compilar observações em nível de intervalo em trajetórias globais coerentes sem propagação de erros.

Padrões de Erro

A análise qualitativa e quantitativa de erros identificou modos de falha distintos:

• TEL: Os modelos lutam para resolver hipóteses temporais concorrentes, frequentemente falhando em impor restrições de exclusividade quando múltiplos intervalos parecem consistentes com um evento.
• ICR: Os modelos tendem a se comprometer excessivamente com direções específicas de mudança, mesmo quando a evidência visual é marginal ou ambígua, levando a erros de escolha forçada.
• GTS: Os erros são dominados por falhas na integração global, onde inconsistências locais ou julgamentos equivocados iniciais se propagam em resumos globais incorretos.
• Robustez: Esses padrões de falha persistiram em diferentes temperaturas de decodificação, estratégias de prompting (incluindo cadeia de pensamento e few-shot) e formatos de saída (múltipla escolha versus geração de texto livre), confirmando que a limitação é intrínseca ao raciocínio longitudinal, e não à sensibilidade ao prompt ou familiaridade com o formato.

Significado e Contribuições

O artigo reivindica três contribuições primárias:

1. Benchmark MI-CXR: Um framework de avaliação sistemática para Localização de Evento Temporal, Raciocínio de Mudança por Intervalo e Resumo de Trajetória Global sobre sequências de CXR multi-intervalares, indo além das avaliações de imagem única e de pares.
2. Formalização do Raciocínio Longitudinal: Uma definição principiante da interpretação longitudinal de CXR como um problema de raciocínio global fundamentado em fluxos de trabalho clínicos realistas, enfatizando restrições estruturadas temporalmente (ordenamento, exclusividade e consistência em nível de trajetória).
3. Framework Diagnóstico: Uma análise por etapas que revela uma lacuna sistemática nos VLMs atuais, onde observações localmente corretas não produzem de forma confiável decisões longitudinais corretas.

Os autores enfatizam que o MI-CXR serve como uma ferramenta diagnóstica para avaliar capacidades de raciocínio longitudinal em IA médica multimodal. As descobertas destacam que o gargalo atual nos VLMs médicos não é meramente a percepção visual, mas a capacidade de realizar tomada de decisão temporal estruturada sobre sequências estendidas. O benchmark destina-se a motivar trabalhos futuros sobre representações e mecanismos de inferência que melhor suportem essa forma de raciocínio, em vez de servir como uma ferramenta para implantação clínica imediata.