Resumo Técnico: OncoTriad-QA

Declaração do Problema

O diagnóstico e a caracterização do câncer dependem da integração de evidências complementares da radiologia (anatomia macroscópica), patologia (arquitetura microscópica) e genômica (alterações moleculares). No entanto, os benchmarks existentes de modelos de linguagem médica (LLM) e modelos de visão-linguagem (VLM) concentram-se predominantemente em modalidades isoladas ou tarefas estreitas de imagem-texto. Isso cria uma lacuna significativa de avaliação: embora os modelos possam reconhecer achados dentro de uma única modalidade, eles permanecem não testados em sua capacidade de integrar fluxos de evidências heterogêneas em uma interpretação oncológica unificada e ao nível do paciente. Os recursos oncológicos atuais tipicamente carecem do alinhamento de dados de imagem, histologia e genômica necessários para avaliar a concordância entre modalidades, a robustez à ausência de modalidades ou o raciocínio clínico integrado.

Metodologia

1. Construção do Conjunto de Dados: OncoTriad-QA

Os autores introduzem o OncoTriad-QA, um benchmark ao nível do paciente que abrange aproximadamente 9.281 casos de pacientes do TCGA em 32 coortes de câncer. O conjunto de dados alinha quatro fluxos primários de evidência:

• Radiologia: Dados de TC e RM provenientes do The Cancer Imaging Archive (TCIA).
• Patologia: Histopatologia de lâmina inteira (WSI) do TCGA.
• Genômica: Mutações somáticas, alterações no número de cópias, metilação de DNA e RNA-seq bulk do Genomic Data Commons (GDC).
• Metadados Clínicos: Rótulos clínicos estruturados e relatórios diagnósticos.

Pipeline de Processamento de Dados:

• Radiologia: As regiões tumorais são segmentadas usando o Medical SAM3. Fatias representativas são selecionadas com base na consistência da segmentação e área tumoral. Biomarcadores geométricos, de intensidade e de forma são extraídos e resumidos.
• Patologia: Regiões de Interesse (ROIs) representativas são extraídas de lâminas de gigapixels (usando TCGA-UniformTumor-8K) para suplementar os relatórios de patologia, uma vez que os LLMs atuais não podem processar WSIs completos diretamente.
• Genômica: Dados moleculares brutos são convertidos em resumos de texto estruturados cobrindo expressão gênica, status de metilação, status de mutação, atividade de vias e subtipos moleculares.
• Geração de QA: Um pipeline assistido por LLM e fundamentado em fontes (utilizando GPT-5.4) gera perguntas baseadas na evidência estruturada.
  • MCQs Universais: Gerados proceduralmente a partir de rótulos de verdade fundamental curados (ex: estágio do tumor, grau, status de mutação) para garantir uma avaliação controlada.
  • MCQs Específicos de Caso: Gerados através da criação de "impressões digitais" contrastivas para um caso alvo contra três casos da mesma coorte para evitar atalhos de padrões de linguagem.
  • Perguntas de Resposta Aberta: Abrangendo achados específicos de modalidade, diagnóstico integrado, concordância entre modalidades e incerteza.
• Controle de Qualidade: O pipeline inclui verificações de consistência automatizadas e um subconjunto de casos revisados por especialistas clínicos para refinar as diretrizes relativas à redação fundamentada em evidências e ao tratamento da incerteza.

O benchmark suporta três configurações de avaliação: Todas Disponíveis (multimodal completo), Apenas Radiologia e Apenas Patologia, simulando cenários do mundo real onde as modalidades podem estar ausentes.

2. Arquitetura do Modelo: OncoVLM

Para demonstrar a utilidade do benchmark para treinamento, os autores introduzem o OncoVLM, um modelo multimodal de referência projetado para ingerir dados nativos da modalidade em vez de resumos de texto ou proxies de baixa resolução.

• Encoders: O modelo utiliza modelos de fundação congelados e específicos de cada modalidade:
  • Radiologia: MedSigLIP-448.
  • Patologia: UNI (para conjuntos de patches de WSI).
  • Genômica: BulkFormer (RNA-seq) e CpGPT (metilação de DNA).
• Projetores: Cada encoder é pareado com um projetor aprendido para mapear as saídas para o espaço de embedding do LLM. O ramo de patologia utiliza um resampler estilo Perceiver para comprimir a evidência de lâmina de comprimento variável em um orçamento fixo de tokens.
• Backbone: Um LLM Qwen3.5-9B.
• Estratégia de Treinamento:
  1. Alinhamento de Modalidade: Os projetores são treinados independentemente em legendas específicas de modalidade enquanto os encoders e o LLM permanecem congelados.
  2. Ajuste Fino Supervisionado (SFT): O LLM é adaptado usando Low-Rank Adaptation (LoRA) no split de treinamento do OncoTriad-QA, enquanto os encoders e projetores permanecem congelados.

Principais Contribuições

1. Benchmark OncoTriad-QA: Um benchmark guiado por clínicos ao nível do paciente que alinha radiologia, patologia, genômica e metadados clínicos através de 32 coortes de câncer. Ele apresenta 86,1 mil questões semânticas (expandindo para 182,6 mil linhas materializadas) cobrindo reconhecimento específico de modalidade, fundamentação molecular, estadiamento e concordância entre modalidades.
2. Modelo de Referência OncoVLM: Um VLM multimodal que processa dados clínicos nativos (patologia de gigapixels, radiologia de múltiplas fatias, sequências genômicas) através de encoders e projetores especializados, capaz de lidar com combinações arbitrárias de modalidades e modalidades ausentes.
3. Framework de Avaliação Universal: Um protocolo que avalia o QA oncológico multimodal através de combinações arbitrárias de modalidades, fornecendo mecanismos de fallback para modelos incapazes de consumir imagens de grande escala ou perfis moleculares, imitando assim ambientes clínicos reais.

Resultados Experimentais

Os experimentos foram conduzidos no split de teste reservado, comparando o OncoVLM contra modelos de propósito geral (GPT-5.4), VLMs médicos (MedGemma-4B) e modelos de pesos abertos (Gemma-4-E4B).

• Ganhos de Desempenho: O OncoVLM ajustado via fine-tuning superou significativamente os baselines. Na configuração Todas Disponíveis, ele excedeu o MedGemma-4B em uma média de 10,7 pontos (combinando precisão de MCQ e BERTScore-F1).
• Tarefas Estruturadas: O OncoVLM mostrou os maiores ganhos em MCQs Universais (ex: +21,8 pontos sobre o modelo base apenas de projetor), demonstrando um ajuste de instrução eficaz para mapear evidências multimodais para rótulos oncológicos padronizados.
• QA de Resposta Aberta: Embora o BERTScore-F1 estivesse agrupado entre os modelos, as avaliações de LLM-como-juiz (utilizando Claude Sonnet 4.6) mostraram preferência pelo OncoVLM em 70,2% dos casos, particularmente em tarefas que exigem síntese entre modalidades e tratamento de incerteza. Notou-se que o OncoVLM adere mais estritamente às evidências disponíveis do paciente, enquanto o GPT-5.4 ocasionalmente introduzia achados ausentes do resumo do caso.
• Ablação de Modalidade: Os resultados confirmaram que diferentes modalidades fornecem sinais complementares. A configuração Todas Disponíveis teve o melhor desempenho em tarefas integrativas. Entradas de apenas patologia preservaram o desempenho em tarefas de grau e morfologia, enquanto entradas de apenas radiologia permaneceram competitivas para achados radiológicos.
• Variabilidade de Coorte: As melhorias foram mais pronunciadas em coortes de câncer maiores (ex: Mama, Rim), enquanto coortes menores mostraram maior variância, sugerindo que a escala de supervisão específica da coorte é um fator crítico.

Significância e Alegações

O artigo afirma que o OncoTriad-QA aborda uma lacuna crítica na IA médica ao ir além do reconhecimento de modalidade única para o raciocínio oncológico integrado ao nível do paciente. Os resultados demonstram que:

1. Os LLMs médicos e de propósito geral existentes são limitados em sua capacidade de integrar evidências de imagem, morfologia e molecular sem treinamento específico nesses dados.
2. O ajuste de instrução em um benchmark multimodal fundamentado em evidências permite que os modelos repliquem interpretações clínicas integradas.
3. O benchmark e o modelo de referência fornecem um framework padronizado para avaliar o desempenho específico de modalidade, entre modalidades e de modalidades ausentes, o que é essencial para o desenvolvimento de sistemas de IA que reflitam a complexidade da oncologia clínica do mundo real.

Os autores enfatizam que o benchmark é uma ferramenta de pesquisa destinada a avançar a IA oncológica multimodal, observando limitações quanto à natureza retrospectiva dos dados e a necessidade de validação prospectiva antes da implementação clínica.