ReXSonoVQA: A Video QA Benchmark for Procedure-Centric Ultrasound Understanding

Resumo Técnico: ReXSonoVQA

1. O Problema

A aquisição de ultrassom é um processo altamente dependente do operador, exigindo manipulação hábil da sonda e ajustes em tempo real para obter imagens clinicamente úteis. Embora os Modelos de Visão e Linguagem (VLMs) tenham avançado na interpretação de imagens médicas estáticas, existe uma lacuna crítica: a falta de benchmarks que avaliem a compreensão procedural dinâmica.

• Limitação Atual: Os benchmarks existentes focam quase exclusivamente em imagens estáticas (identificação de anatomia, reconhecimento de vistas ou detecção de patologias em quadros únicos).
• Necessidade: Sistemas de automação e robótica de ultrassom exigem raciocínio temporal e causal sobre ações, resolução de problemas (troubleshooting) e execução de protocolos. Os modelos atuais falham ao tentar inferir a lógica de aquisição de imagens e a otimização de artefatos apenas com base em quadros estáticos ou sequências de imagens sem suporte nativo de vídeo.

2. Metodologia

O artigo apresenta o ReXSonoVQA, o primeiro benchmark baseado em vídeo focado na compreensão de procedimentos de ultrassom.

• Coleta de Dados:

  • O conjunto de dados consiste em 514 clipes de vídeo (totalizando 115,1 minutos) extraídos de vídeos instrucionais públicos (YouTube).
  • Pré-processamento: Os vídeos foram cortados para manter apenas o fluxo de imagem do ultrassom, removendo interfaces e anotações na tela para evitar confusão visual.
  • Transcrição e Alinhamento: Utilizou-se o WhisperX para transcrição com carimbos de tempo, seguida de normalização via LLM para extrair eventos procedimentais estruturados (ação do operador + intenção/objetivo).

• Construção do Benchmark (Pipeline de 4 Etapas):

  1. Definição de Tarefas: As perguntas foram categorizadas em três tipos de competência cognitiva:
     • Tipo 1 (Raciocínio Ação-Objetivo): Identificar a manobra da sonda e o objetivo de aquisição imediato.
     • Tipo 2 (Resolução de Artefatos e Otimização): Identificar o que limita a qualidade da imagem (artefato, oclusão) e qual ajuste corrige o problema.
     • Tipo 3 (Contexto e Planejamento de Procedimento): Inferir a posição atual no protocolo e prever o próximo passo.
  2. Geração de Questões: Uso de LLMs (GPT-5.2) para gerar perguntas de múltipla escolha (MCQ) e respostas livres baseadas nos logs de eventos.
  3. Controle de Qualidade (Loop Iterativo):
     • Triagem "Blind" (Cega): As perguntas foram testadas sem o vídeo para garantir que não pudessem ser respondidas apenas com conhecimento clínico geral ou dicas linguísticas.
     • Refinamento de Distratores: Para MCQs, distratores foram ajustados para serem clinicamente plausíveis, mas incorretos, evitando que o modelo adivinhe por eliminação.
  4. Composição Final: 514 itens (249 MCQs e 265 respostas livres) cobrindo seis categorias clínicas (abdominal, geniturinária, obstétrica, musculoesquelética, torácica e vascular).

• Avaliação:

  • Modelos Testados: Gemini 3 Pro, Qwen3.5-397B, LLaVA-Video-72B e Seed 2.0 Pro (todos com suporte nativo a vídeo).
  • Configuração: Avaliação zero-shot em dois cenários: (i) com vídeo (áudio removido) e (ii) apenas texto (pergunta + opções, sem vídeo).
  • Métricas: Precisão para MCQs e uma rubrica de 3 níveis (0-2 pontos) para respostas livres, avaliando evidência visual e raciocínio causal separadamente.

3. Principais Contribuições

1. Novo Benchmark Procedural: O ReXSonoVQA é a primeira avaliação focada no raciocínio dinâmico e causal na aquisição de ultrassom, preenchendo a lacuna entre a interpretação estática e a automação robótica.
2. Pipeline de Qualidade Rigoroso: A introdução de um loop de controle de qualidade que elimina perguntas solucionáveis sem vídeo, garantindo que o benchmark teste genuinamente a compreensão visual-temporal.
3. Análise de Limitações dos VLMs: Demonstra que, embora os modelos de ponta consigam extrair informações procedimentais básicas, eles falham significativamente em tarefas de resolução de problemas (troubleshooting) e raciocínio causal complexo.
4. Recursos Abertos: O dataset (URLs dos vídeos com carimbos de tempo) e o código estão disponíveis publicamente, seguindo práticas éticas de não redistribuição de arquivos de vídeo.

4. Resultados

• Desempenho Geral: Os modelos mostram capacidade de extrair algumas informações procedimentais, mas há lacunas substanciais em comparação com a linha de base de texto apenas.
• Dificuldade por Tipo de Tarefa:
  • Tipo 1 (Ação-Objetivo): Obteve o melhor desempenho (ex: 69,9% de precisão no MCQ para o Gemini 3 Pro).
  • Tipo 2 (Resolução de Artefatos): Foi a tarefa mais desafiadora para todos os modelos (60,8% de precisão no MCQ). O ganho marginal ao adicionar o vídeo foi mínimo, indicando que os modelos têm dificuldade em raciocinar causalmente sobre a correção de artefatos.
  • Tipo 3 (Contexto): Desempenho variado, mas com melhor pontuação em respostas livres quando o contexto temporal é longo.
• Impacto da Duração do Vídeo: O desempenho melhora com clipes mais longos (>20s), sugerindo que o contexto temporal rico auxilia no raciocínio procedural.
• Comparação de Modelos: O Gemini 3 Pro teve o melhor desempenho geral. O LLaVA-Video-72B performou perto ou abaixo da linha de base de texto, sugerindo compreensão procedural de vídeo limitada.
• Falhas Específicas: Muitos erros persistiram mesmo com o vídeo disponível, indicando que os modelos falham não apenas na percepção, mas na interpretação causal das ações do operador.

5. Significado e Impacto

O ReXSonoVQA estabelece um marco fundamental para o desenvolvimento de sistemas de percepção para treinamento de ultrassom, orientação clínica em tempo real e automação robótica.

• Para a Pesquisa: O benchmark expõe que a simples capacidade de "ver" o vídeo não é suficiente; os modelos precisam desenvolver raciocínio causal profundo para entender por que um operador ajusta a sonda e como isso resolve um problema de imagem.
• Aplicações Futuras: Os resultados indicam que, antes que sistemas autônomos de ultrassom sejam viáveis, os VLMs devem ser significativamente aprimorados em tarefas de resolução de problemas e planejamento de protocolos, áreas onde os modelos atuais ainda são deficientes.

Em suma, o trabalho demonstra que a automação do ultrassom exige mais do que reconhecimento de anatomia; exige uma compreensão profunda da lógica procedural dinâmica, algo que os benchmarks atuais não conseguiam medir e que o ReXSonoVQA agora permite avaliar.