ScintiGround-38K: A Grounded Visual Question Answering Benchmark for Paired Anterior–Posterior Bone Scintigraphy

Resumo Técnico: ScintiGround-38K

Definição do Problema
A cintilografia óssea de corpo inteiro (WBBS) é uma modalidade de triagem padrão e de baixo custo para metástases esqueléticas, tipicamente adquirida como pares de vistas anterior e posterior. Embora o aprendizado profundo tenha avançado na detecção e classificação de lesões neste domínio, os benchmarks existentes frequentemente reduzem achados clínicos a rótulos de texto livre, rompendo o vínculo entre as respostas e a evidência de imagem específica necessária para sustentá-las. Além disso, a avaliação padrão de Visual Question Answering (VQA) baseia-se fortemente na precisão da resposta bruta, o que pode ser enganoso em contextos médicos onde os modelos podem explorar vieses de prioridade condicionados à pergunta ou frequência de classe em vez de conteúdo visual. Há uma carência de um benchmark que preserve a geometria original da imagem, mantenha anotações de origem rastreáveis (caixas delimitadoras e rótulos) e suporte simultaneamente tarefas de VQA de apenas resposta, apenas localização e VQA fundamentada para dados de WBBS pareados.

Metodologia
Os autores apresentam o ScintiGround-38K, um conjunto de dados congelado e preservador de proveniência, derivado de duas coleções de origem: BS-80K (fornecendo referências de imagem, rótulos de região/lesão e caixas delimitadoras) e LIBS-160K (fornecendo modelos de perguntas controlados e baseados em regras).

• Construção do Conjunto de Dados: O benchmark contém 38.469 instâncias derivadas de 54.768 registros de origem e 23.967 pares de imagens anterior-posterior de 2.815 pacientes. Ele define três tipos distintos de tarefas:
  1. VQA: Requer uma resposta de sim/não sobre uma região especificada ou o corpo inteiro, sem uma caixa prevista.
  2. Localização de Imagem: Requer uma ou duas caixas delimitadoras para uma região óssea ou ponto quente (hotspot) nomeado, sem pontuação de resposta.
  3. VQA Fundamentada (Grounded VQA): Requer tanto uma resposta correta quanto a(s) caixa(s) alvo(s) correspondente(s).
• Proveniência e Integridade: Cada instância retém seu identificador de origem, visualização, coordenadas de caixa da imagem nativa e atribuição de divisão ao nível do paciente. Linhas de apenas metadados são excluídas. O lançamento distribui apenas anotações derivadas; as imagens originais de nível superior não são redistribuídas.
• Divisões de Dados (Data Splits): Os pacientes são particionados ao nível do sujeito (80% treinamento, 10% validação, 10% teste) para evitar vazamento de dados (data leakage) e aprendizado de atalhos baseado na identidade do paciente.
• Protocolos de Baseline: Dois modelos de visão-linguagem, Qwen3-VL-2B-Instruct e PaliGemma-3B-pt-224, foram adaptados usando Low-Rank Adaptation (LoRA) no mesmo conjunto de treinamento multitarefa. O Qwen3-VL recebeu imagens anterior e posterior nativas, enquanto o PaliGemma recebeu um canvas composto anterior-posterior.
• Avaliação: As métricas incluem precisão bruta, precisão balanceada, macro-F1 e precisão/recall/F1 por classe. Para localização, a média de Interseção sobre União (IoU), precisão de caixa (IoU ≥ 0,50) e precisão de localização estrita são reportadas. O desempenho de VQA fundamentada é medido via precisão fundamentada estrita, que credita uma previsão apenas se tanto a resposta quanto a caixa estiverem corretas.

Principais Contribuições

1. Definição de Tarefa: O artigo define tarefas de VQA pareadas anterior-posterior, localização de imagem e VQA fundamentada que operam através dos níveis de região óssea, lesão e corpo inteiro usando localizações da imagem original.
2. Preservação de Proveniência: Um limite rigoroso de lançamento é estabelecido onde cada instância é rastreável às anotações de origem via links e hashes registrados, garantindo que nenhuma evidência clínica seja gerada de novo.
3. Baselines Metodológicos: Protocolos de treinamento de parâmetros eficientes são especificados para duas famílias distintas de modelos, relatando explicitamente as diferenças nos formatos de entrada e procedimentos de seleção.
4. Separação de Métricas: O estudo reporta métricas de classe balanceada e de localização que desacoplam a precisão da resposta bruta do desempenho da classe minoritária e do comportamento ao nível da evidência.

Resultados
A avaliação no conjunto de teste retido revela uma dissociação significativa entre a correção da resposta e a fundamentação da evidência:

• Precisão da Resposta: Ambos os modelos alcançaram alta precisão de resposta bruta (>0,90) nas tarefas de VQA e VQA Fundamentada.
• Desempenho Balanceado: Apesar da alta precisão bruta, a precisão balanceada permaneceu próxima a 0,53 (0,528 para Qwen3-VL e 0,535 para PaliGemma no VQA), indicando um desempenho próximo ao acaso para a classe minoritária.
• Desempenho da Classe Minoritária: O F1 score para a classe "Anormal" permaneceu abaixo de 0,15 para todas as configurações.
• Localização: Os modelos demonstraram competência no layout espacial, alcançando uma média de IoU em torno de 0,64 e precisão de caixa entre 0,78 e 0,86.
• Precisão Fundamentada: A precisão fundamentada estrita (exigindo resposta e caixa corretas) foi de 0,765 para o Qwen3-VL e 0,701 para o PaliGemma. Essa lacuna entre a precisão da caixa e a precisão fundamentada estrita destaca que os modelos frequentemente localizam corretamente, mas falham em gerar a classificação correta para a classe minoritária.

Significância e Alegações
O artigo afirma que o ScintiGround-38K serve como um recurso metodológico para demonstrar que uma alta precisão de resposta bruta pode ocultar um comportamento fraco de classe minoritária e de nível de evidência. Os autores asseguram que a correção da resposta e a localização da evidência são capacidades separáveis nesta modalidade; um benchmark que meça apenas a primeira caracterizaria incorretamente esses sistemas como robustos.

O trabalho enfatiza que o conjunto de dados não se destina ao diagnóstico clínico, seleção de tratamento ou implantação no cuidado ao paciente, pois não passou por validação clínica e baseia-se em rótulos de revisão de especialistas em imagens, em vez de verdade patológica. A principal contribuição é o fornecimento de uma ferramenta para medir o alinhamento entre as respostas e a evidência da imagem, destacando a necessidade de métricas balanceadas e avaliação de fundamentação estrita na pesquisa de IA médica. Direções futuras identificadas pelos autores incluem o estabelecimento de baselines de controle não-imagem, o tratamento do desequilíbrio de classes através de reporte estratificado e a realização de validação externa em coortes independentes.