Radiomics-Integrated Deep Learning with Hierarchical Loss for Osteosarcoma Histology Classification

Resumo Técnico: Aprendizado Profundo Integrado com Radiômica com Perda Hierárquica para Classificação Histológica de Osteossarcoma

Definição do Problema
O osteossarcoma (OS) é uma neoplasia óssea primária agressiva, onde a avaliação histopatológica precisa de regiões tumorais viáveis versus não viáveis após a quimioterapia neoadjuvante é crítica para o prognóstico e o planejamento do tratamento. A avaliação manual de lâminas histopatológicas é laboriosa, subjetiva e propensa à variabilidade interobservador. Embora abordagens recentes de aprendizado profundo tenham tentado automatizar a quantificação da necrose, estudos anteriores frequentemente reportaram uma generalização ao nível de tile (fragmento) que não se sustentava sob testes ao nível de paciente. Essa discrepância surge do vazamento de dados (data leakage) causado por divisões aleatórias de tiles ao nível de fragmento (onde múltiplos tiles do mesmo paciente aparecem tanto no conjunto de treinamento quanto no de teste) e da falha de modelos multiclasse "planos" em considerar a hierarquia clínica da doença. Especificamente, a classificação padrão de três classes (não-tumor, tumor não-viável, tumor viável) frequentemente negligencia a distinção clínica significativa desses subtipos e as prevalências de classe variáveis inerentes à doença.

Metodologia
Os autores propõem um framework de aprendizado hierárquico multimodal projetado para alinhar a arquitetura do modelo com o raciocínio clínico. A metodologia consiste em três componentes principais:

1. Fusão de Características Multimodais: O framework integra características de imagem de aprendizado profundo com descritores radiômicos artesanais.

   • Um codificador de imagem ($f_{img}$) processa tiles de RGB de histologia, enquanto um codificador radiômico ($f_{rad}$) processa um vetor de 29 características de primeira ordem e de forma 2D extraídas via biblioteca PyRadiomics.
   • Essas modalidades são fundidas usando um mecanismo de portão de atenção adaptativa (adaptive attention gating). Um portão softmax computa os pesos de atenção ($\alpha_{img}, \alpha_{rad}$) para criar uma combinação ponderada dos embeddings de imagem e radiômica, permitindo que o modelo priorize dinamicamente a modalidade mais informativa para um determinado exemplo.

2. Formulação de Tarefa Hierárquica: Em vez de uma classificação de três classes plana, o problema é decomposto em duas tarefas binárias relacionadas:

   • Tarefa A (Grosseira): Distinguir Não-tumor vs. Tumor (viável + não-viável).
   • Tarefa B (Fina): Distinguir Não-viável vs. Viável tumor (aplicada apenas aos exemplos identificados como tumor na Tarefa A).
   • A distribuição de probabilidade final de três vias é derivada multiplicando as probabilidades das duas tarefas binárias, garantindo que a saída respeite a hierarquia patológica.

3. Perda Hierárquica Ponderada por Incerteza: Para otimizar as duas tarefas simultaneamente, os autores empregam um framework de ponderação de incerteza homocedástica (Kendall et al.).

   • Parâmetros escalares aprendíveis ($\lambda_A, \lambda_B$) representam a log-variância (incerteza) de cada tarefa.
   • A função objetivo conjunta combina as perdas de entropia cruzada ponderadas de ambas as tarefas, onde tarefas com maior incerteza aprendida recebem pesos efetivos menores. Isso permite que o modelo equilibre adaptativamente o sinal de aprendizado entre as tarefas de classificação grosseira e fina sem ajuste manual de hiperparâmetros.

Principais Contribuições

• Generalização ao Nível do Paciente: O estudo aborda o vazamento de dados utilizando uma divisão estrita ao nível do paciente para treinamento e teste, proporcionando uma avaliação mais realista da generalização do modelo em comparação com divisões aleatórias de tiles anteriores.
• Integração Multimodal: O trabalho demonstra que incorporar características radiômicas artesanais (especificamente descritores de forma e intensidade) como entrada adicional melhora significativamente o desempenho da classificação e adiciona interpretabilidade, mesmo quando derivadas das mesmas imagens usadas para o aprendizado profundo.
• Otimização de Perda Hierárquica: O artigo introduz uma função de perda de duas cabeças estruturada com ponderação de incerteza treinável. Esta abordagem supera os baselines multiclasse planos ao modelar explicitamente a dependência entre a presença do tumor e a viabilidade.

Resultados Experimentais
O framework foi avaliado no conjunto de dados de Avaliação de Tumor de Osteossarcoma do TCIA, compreendendo 1.144 tiles corados com H&E de 1995–2015, anotados nas categorias Não-tumor, Tumor Não-viável e Tumor Viável.

• Desempenho: A configuração proposta (backbone InceptionV3 + Perda Hierárquica + Radiômica) alcançou o estado da arte no desempenho neste conjunto de dados.
  • Acurácia Geral: 0,86 ± 0,01 (comparado a 0,73 para o InceptionV3 de 3 classes base).
  • Macro-F1: 0,86 ± 0,01.
  • OvR AUC: 0,96 ± 0,00.
• Estudos de Ablação:
  • Adicionar características radiômicas a um InceptionV3 padrão melhorou o Macro-F1 de 0,74 para 0,80.
  • Adicionar perda hierárquica ao InceptionV3 melhorou o Macro-F1 de 0,73 para 0,75.
  • A combinação de ambos gerou os maiores ganhos.
• Melhorias por Classe: O modelo completo melhorou significamente o reconhecimento da classe desafiadora "Tumor Não-viável". A sensibilidade com especificidade de 90% (Sen@Spe90) para tumores não-viáveis aumentou de 0,69 (base) para 0,83. O modelo também manteve alto desempenho para as classes Não-tumor (Sen@Spe90 0,92) e Tumor Viável (Sen@Spe90 0,95).

Significância e Alegações
Os autores alegam que seu trabalho estabelece um novo benchmark de estado da arte para a classificação de histologia de osteossarcoma no conjunto de dados aberto TCIA. Eles argumentam que a integração da radiômica fornece interpretabilidade intrínseca através de descritores de forma explícitos, complementando as representações implícitas das redes profundas. Além disso, a formulação hierárquica apoia o raciocínio clinicamente significativo ao alinhar o processo de decisão do modelo com a progressão da viabilidade tumoral. O estudo conclui que a combinação de supervisão hierárquica com fusão multimodal é essencial para aumentar a discriminação entre todos os tipos de tecidos clinicamente relevantes, particularmente para o subtipo de tumor não-viável, que é difícil de classificar. O código e os modelos treinados são disponibilizados à comunidade.