💻 computer science

DS@GT ARC at MEDIQA-CORE-Task-1 2026: Trimodal Model Fusion with Task-Specific Gates for Brain Tumor Subtype Classification

A equipe DS@GT ARC apresenta uma abordagem de fusão de modelo trimodal para a tarefa de Classificação de Subtipos de Tumores Cerebrais da MEDIQA-CORE 2026 que integra embeddings de RM, histopatologia e relatórios radiológicos para alcançar o segundo lugar com um macro-F1 de 0,801, demonstrando um forte desempenho quando todas as modalidades estão disponíveis, mas destacando uma dependência dos dados de histopatologia.

Autores originais: Hoang Thanh Thanh Truong, Charles R. Clark

Publicado 2026-08-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hoang Thanh Thanh Truong, Charles R. Clark

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas as pistas estão espalhadas por três mundos diferentes. Um mundo é uma série de fotos de alta tecnologia (exames de ressonância magnética) que mostram o interior do cérebro de um paciente. O outro mundo é uma visão microscópica do tecido real (histopatologia), como olhar para os tijolos de um edifício sob um microscópio. O terceiro mundo é uma história escrita (o laudo radiológico) onde um médico descreve o que vê em linguagem clara. No mundo real, reunir todas essas pistas leva tempo — às vezes semanas. Para um paciente com um tumor cerebral, cada dia de espera é um dia para o tumor crescer, podendo potencialmente dobrar de tamanho. Cientistas estão tentando construir um "super-detetive" de computador que possa olhar para quaisquer pistas que estejam disponíveis agora e adivinhar instantaneamente que tipo de tumor é, ajudando os médicos a iniciar o tratamento mais rápido. Este artigo é sobre uma equipe de pesquisadores que construiu tal computador e testou o quão bem ele funciona quando lhes dão diferentes combinações dessas pistas.

A equipe, conhecida como DS@GT ARC, participou de uma competição chamada MEDIQA-CORE 2026 para ver se o seu computador poderia identificar corretamente três coisas diferentes sobre tumores cerebrais: o tipo molecular específico, se é de baixo grau (crescimento lento) ou de alto grau (crescimento rápido), e o seu grau médico oficial. Eles alimentaram o computador com três tipos de dados: as fotos de ressonância magnética, as lâminas de tecido e os relatórios escritos. Em vez de apenas amontoar toda essa informação em uma única pilha gigante, eles tentaram um truque inteligente. Eles construíram duas versões diferentes do cérebro do computador. A primeira versão tentava misturar todas as três pistas em um entendimento compartilhado. A segunda versão, que acabou sendo o seu sistema mais forte, dava a cada uma das três tarefas de classificação o seu próprio "porteiro" especial. Pense nisso como um restaurante com três chefs diferentes. Em vez de um chef principal decidir quanto sal, pimenta e alho colocar em cada prato, cada chef (um para o tipo molecular, um para baixo vs. alto grau e um para o grau oficial) tem sua própria mão no porta-temperos. Eles decidem por si mesmos quanto da ressonância magnética, da lâmina de tecido ou do relatório escrito precisam para fazer o prato perfeito.

Os resultados mostraram que essa abordagem de "chef especializado" foi muito eficaz. Quando o computador tinha acesso aos três tipos de pistas, alcançou uma pontuação de 0,801, superando a linha de base padrão da competição de 0,796 e classificando-se em segundo lugar entre as equipes cujo código foi verificado. A maior vitória foi na identificação do tipo molecular específico do tumor, onde o sistema deles marcou 0,867 em comparação com a linha de base de 0,672. No entanto, o artigo revela uma reviravolta crucial: esse sucesso dependia fortemente de ter os dados da lâmina de tecido (histopatologia). Quando os pesquisadores simularam uma situação onde as lâminas de tecido estavam ausentes, o desempenho do computador caiu significamente, ficando atrás do sistema de linha de base. Isso sugere que, embora o computador tenha aprendido a usar bem os relatórios escritos, ele se tornou tão dependente das lâminas de tecido que teve dificuldades quando elas não estavam presentes. Curiosamente, quando o computador foi testado em um grupo de pacientes que nunca tiveram lâminas de tecido coletadas, ele teve um desempenho muito pior do que a linha de base, indicando que seus "portões especializados" aprenderam a depender tanto dos dados de tecido que não conseguiram se adaptar a um mundo sem eles.

O artigo conclui que, embora dar a cada tarefa sua própria maneira de misturar as pistas funcione melhor do que forçar todas a compartilhar uma única mistura, o sistema ainda precisa aprender a resolver o mistério sem a pista mais importante (as lâminas de tecido). Os autores sugerem que, no futuro, eles podem precisar treinar o computador para ser menos dependente das lâminas de tecido, talvez praticando com mais frequência casos em que essas lâminas estão ausentes, para que possa se tornar um detetive verdadeiramente robusto para cada paciente, não apenas para os sortudos que têm os três tipos de pistas disponíveis.

Resumo Técnico: DS@GT ARC no MEDIQA-CORE-Task-1 2026

Definição do Problema

O artigo aborda a necessidade crítica de reduzir os atrasos diagnósticos para pacientes com tumores cerebrais, onde o tempo entre o início dos sintomas e os laudos patológicos definitivos pode se estender por semanas. Durante esse intervalo, tumores agressivos como o glioblastoma podem crescer significamente. Os autores enfrentam o MEDIQA-CORE 2026 Task 1: Classificação de Subtipos de Glioma, que requer sistemas automatizados para classificar subtipos de glioma usando um conjunto de dados trimodal composto por:

Embeddings de RM (pré-extraídos via NeuroVFM).
Embeddings de Histopatologia (pré-extraídos via Prov-GigaPath a partir de imagens de lâmina inteira).
Relatórios radiológicos de texto livre.

O sistema deve prever três alvos de classificação distintos simultaneamente:

Tipo Molecular de Nível-1 (3 classes).
LGG vs. HGG (Glioma de Baixo Grau vs. Alto Grau; binário).
Grau da OMS (3 classes alinhadas com a classificação da OMS CNS de 2021).

Um desafio fundamental é a robustez de modalidade: o sistema deve desempenhar-se de forma eficaz mesmo quando uma ou mais modalidades estão ausentes, pois nem todos os pacientes possuem dados completos (por exemplo, alguns não possuem histopatologia inteiramente).

Metodologia

A equipe DS@GT ARC propôs uma estrutura de fusão trimodal que integra embeddings pré-extraídos com codificações de relatórios de texto livre. Eles exploraram duas arquiteturas principais, sendo o modelo de Portões Específicos para a Tarefa (Task-Specific Gates) a sua principal submissão.

1. Pré-processamento de Dados e Codificadores

RM e Histopatologia: Utilizaram os embeddings de 768 dimensões fornecidos pelos organizadores do desafio.
Relatórios de Radiologia: A equipe experimentou dois codificadores:
- RadBERT: Utilizado no modelo de autoatenção cross-modal.
- Llama-3.1-8B-Instruct: Utilizado no modelo principal de portão específico para a tarefa. Os relatórios foram passados através de extratores de características congelados, com o mean-pooling dos estados ocultos da última camada para criar vetores de 4is 4096 dimensões.
Filtragem de Sujeitos: Sujeitos com o subtipo molecular "Outro/NEC" foram excluídos do treinamento para melhorar o desempenho do macro-F1.

2. Arquiteturas de Fusão

A equipe comparou duas estratégias para combinar as três modalidades:

Fusão de Autoatenção Cross-Modal:
- Um tronco transformer compartilhado processa os latentes das três modalidades ( $z_{MRI}, z_{Histo}, z_{Report}$ ) via autoatenção cross-modal.
- Um único portão aprendido compartilhado produz uma representação fundida usada por todos os três cabeçalhos de classificação.
- Este modelo utiliza uma camada de projeção compartilhada e cabeçalhos lineares paralelos para as três tarefas.
Fusão Trimodal com Portões Específicos para a Tarefa (Sistema Primário):
- Em vez de uma representação compartilhada, esta arquitetura mantém três portões aprendidos independentes, um para cada tarefa de classificação.
- Cada portão recebe a concatenação dos três latentes de modalidade e produz pesos softmax, determinando quanto cada modalidade contribirá para a representação fundida de uma tarefa específica.
- Tratamento de Modalidade Ausente: Se uma modalidade estiver ausente para um sujeito, seu peso de portão correspondente é forçado a zero, impedindo que ela contribua para a fusão.
- Este design permite que cada tarefa aprenda sua própria estratégia ideal de mistura de modalidades, em vez de forçar uma única estratégia de fusão para todas as questões biológicas.

3. Treinamento e Pós-processamento

Treinamento: Os modelos foram treinados usando validação cruzada estratificada de 5 dobras (5-fold) com média de logits para o ensemble.
Regularização: O dropout de modalidade foi aplicado durante o treinamento (probabilidade de 50% por modalidade por amostra) para simular dados ausentes e melhorar a robustez.
Função de Perda: Uma soma de perdas de entropia cruzada ponderadas por classe com suavização de rótulo ( $\epsilon=0.1$ ).
Pós-processamento Biologicamente Motivado: Uma etapa baseada em regras foi aplicada às probabilidades médias do ensemble para impor restrições biológicas conhecidas:
- Se o Nível-1 prediz "Astrocitoma" com alta confiança, a predição de LGG/HGG é substituída para "LGG".
- Se o LGG é predito com alta confiança, o Grau da OMS é forçado para 0.
- Se o HGG é predito com alta confiança, o Grau da OMS é forçado para 1 ou 2 (mascarando o Grau 0).

Principais Resultados

O sistema foi avaliado em dois conjuntos de teste: Conjunto de Teste 1 (36 sujeitos com todas as modalidades, usado para estudos de ablação) e Conjunto de Teste 2 (18 sujeitos apenas com RM, usado para testar a generalização para populações sem histopatologia).

Desempenho no Conjunto de Teste 1 (Multimodal Completo)

Geral: O modelo de Portões Específicos para a Tarefa alcançou um macro-F1 médio de 0,801 na etapa de pós-verificação, classificando-se em 2º lugar entre as equipes verificadas e excedendo o baseline dos organizadores (0,796). Na etapa de pré-verificação, o sistema ficou em 4º lugar entre 5 equipes.
Detalhamento por Tarefa:
- Tipo Molecular de Nível-1: O sistema superou significativamente o baseline (0,867 vs. 0,672), demonstrando o valor do portão específico para a tarefa e da integração de relatórios para a subtipagem molecular.
- Tarefas Baseadas em Grau (LGG vs. HGG, Grau da OMS): O baseline superou o sistema proposto nestas tarefas (ex: 0,920 vs. 0,800 para LGG vs. HGG). Os autores observam que sua estratégia de fusão e a adição da modalidade de relatório ajudaram mais na subtipagem molecular do que na gradação tumoral.

Ablação de Modalidade e Robustez

Dependência de Histopatologia: A vantagem do sistema sobre o baseline foi totalmente condicional à disponibilidade de histopatologia.
- Quando a Patologia foi removida, o macro-F1 médio do sistema caiu para 0,642, ficando abaixo do baseline (0,744).
- Quando os Relatórios foram removidos, o sistema ainda superou o baseline (0,720 vs. 0,512), indicando que a Patologia é o sinal dominante para o seu modelo, não a modalidade de texto adicionada.
Conjunto de Teste 2 (Coorte sem Histopatologia):
- Na ausência de histopatologia, o sistema desempenhou-se significativamente pior que o baseline em todas as condições (F1 médio: 0,493 vs. 0,797 em RM+Relatórios).
- Isso sugere que os portões específicos para a tarefa aprenderam a depender fortemente de padrões correlacionados à histopatologia que não se transferem para uma população onde a histopatologia nunca foi coletada.

Significância e Alegações

O artigo afirma que o portão específico para a tarefa é uma estratégia superior para classificação médica multitarefa em comparação com representações de fusão compartilhadas. Ao permitir que cada tarefa biológica (tipo molecular vs. grau) pese independentemente a importância de RM, patologia e texto, o modelo alcançou o segundo lugar entre as equipes verificadas e um macro-F1 médio superior ao baseline na tarefa geral, impulsionado principalmente por um grande ganho na tarefa de Tipo Molecular de Nível-1.

No entanto, os autores são modestos quanto à generalização do sistema. Eles reconhecem explicitamente que:

O ganho de desempenho é impulsionado principalmente pela modalidade de histopatologia, não pelos relatórios radiológicos adicionados.
O sistema falha em generalizar para coortes que carecem de histopatologia, desempenhando-se pior do que um baseline que nunca utilizou patologia.
A abordagem atual ainda não resolve o problema da classificação robusta quando a modalidade mais informativa (histopatologia) está ausente, uma limitação crítica para a implantação no mundo real, onde tais dados podem não estar disponíveis.

O trabalho demonstra que, embora a fusão multimodal possa melhorar significativamente a subtipagem molecular, a abordagem de fusão "tamanho único" é insuficiente, e a dependência de modalidades específicas deve ser cuidadosamente gerenciada para garantir a robustez em diversas populações de pacientes.