CT-to-X-ray Distillation Under Tiny Paired Cohorts: An Evidence-Bounded Reproducible Pilot Study

Título: Destilação CT para Raio-X sob Pequenas Coortes Emparelhadas: Um Estudo Piloto Reprodutível e Delimitado por Evidências

1. Problema e Motivação

O estudo aborda um problema específico de aprendizado de máquina em imagens médicas: a transferência de conhecimento de um modelo "professor" baseado em Tomografia Computadorizada (CT) para um modelo "aluno" baseado em Raio-X de tórax, com a restrição de que o CT só está disponível durante o treinamento, não na inferência (deploy).

• Contexto: O Raio-X é barato e portátil, enquanto o CT oferece detalhes anatômicos superiores. A hipótese é que o CT possa supervisionar o treinamento de um classificador de Raio-X para melhorar seu desempenho, sem exigir CT no momento do diagnóstico.
• Desafio: A maioria dos trabalhos anteriores assume fusão multimodal (ambas as modalidades disponíveis na inferência) ou foca em compressão dentro da mesma modalidade. A transferência cruzada (cross-modality) é difícil devido às diferenças estatísticas entre as imagens.
• Objetivo: Investigar se essa transferência é viável e robusta em coortes de pacientes emparelhados extremamente pequenas, evitando conclusões otimistas baseadas em divisões de dados acidentais.

2. Metodologia

2.1. Formulação do Problema

• Tarefa: Classificação binária (COVID-19 vs. Não-COVID) em imagens de Raio-X.
• Configuração:
  • Professor: Rede neural processando CT (apenas no treinamento).
  • Aluno: Rede neural processando Raio-X (treinamento e inferência).
  • Restrição de Implantação: O modelo final deve funcionar apenas com Raio-X.
• Dado: Utilização do COVID-19 Image Data Collection. A coorte emparelhada é muito pequena (19 pacientes, 26 imagens de Raio-X e CT correspondentes).

2.2. Arquitetura Proposta (JDCNet)

O artigo utiliza o JDCNet não como uma arquitetura validada superior, mas como um "scaffold" (andaime) executável para testar hipóteses. O modelo inclui três mecanismos opcionais:

1. DPE (Teacher-side Saliency Refinement): Reponderação espacial no lado do professor para enfatizar regiões relevantes do CT.
2. MHRA (Teacher-side Aggregation): Mecanismo de atenção e retenção no lado do professor.
3. DFPN (Student-side Multi-scale Fusion): Fusão de múltiplas escalas no lado do aluno.

2.3. Protocolo Experimental e Controles

A inovação metodológica principal é o foco na robustez da evidência em vez da busca por um novo estado da arte (SOTA). O estudo compara:

• Controle Básico: Treinamento apenas com Raio-X (Student-only).
• Fusão Tardia (Late Fusion): Uso de CT e Raio-X juntos na inferência (controle de viabilidade).
• Destilação de Mesma Modalidade: Professor e aluno ambos em Raio-X (para isolar o efeito da modalidade).
• Destilação Cruzada Simples (Plain Logit-KD): Transferência apenas dos logits (probabilidades) do CT para o Raio-X.
• Mecanismos Avançados: Atenção transferida e dicas de características (feature hints).

Protocolo de Validação:

1. Divisão Fixa Original: Uma divisão 80/20 com apenas 4 imagens de validação (3 positivas, 1 negativa).
2. Reamostragem Monte Carlo (Principal): 8 reamostragens de pacientes (mantendo a mesma estrutura de casos), onde cada divisão de validação contém 5 pacientes (4 positivos, 1 negativo). Isso testa a estabilidade dos resultados contra a aleatoriedade da divisão de dados.

3. Resultados Principais

Os resultados demonstram uma instabilidade significativa quando se passa da divisão fixa para a reamostragem:

• Na Divisão Fixa (4 imagens): A destilação cruzada simples (Plain Logit-KD) obteve o melhor desempenho médio (0,875 de acurácia). Isso poderia sugerir erroneamente que a transferência funciona.

• Na Reamostragem Monte Carlo (8 divisões): A hierarquia muda drasticamente:

  • Fusão Tardia (Late Fusion): Alcançou a maior acurácia média (0,885).
  • Destilação de Mesma Modalidade: Alcançou o melhor Macro-F1 (0,554) e Acurância Balanceada (0,660).
  • Destilação Cruzada Simples: Caiu para uma Acurância Balanceada de 0,500 e Especificidade de 0,000, indicando que o modelo previa apenas positivos, falhando em detectar negativos.
  • JDCNet (Arquitetura Completa): Não superou os controles simples, permanecendo abaixo da destilação de mesma modalidade e do treinamento apenas com Raio-X em métricas balanceadas.
  • Controles de Mecanismo: Transferência de atenção e dicas de características não recuperaram nenhuma vantagem robusta da modalidade cruzada.

• Análise de Ablação e Complexidade: Adicionar módulos complexos (DPE, MHRA, DFPN) não melhorou o desempenho em relação ao controle simples; na verdade, a complexidade adicional tendeu a degradar os resultados ou não teve impacto significativo devido à escassez de dados.

4. Contribuições Chave

1. Formulação Realista de Implantação: Define claramente o problema como transferência de supervisão de treinamento (CT) para implantação (Raio-X), evitando a armadilha da fusão multimodal na inferência.
2. Protocolo Piloto Reprodutível: Fornece um pipeline totalmente auditável, incluindo geração de manifestos, reamostragem de pacientes e rastreamento de evidências.
3. Conclusão Delimitada por Evidências: O estudo não valida uma arquitetura superior, mas sim estabelece os limites do que pode ser afirmado com dados escassos.
   • Demonstra que ganhos aparentes em divisões fixas pequenas são frequentemente artefatos estatísticos.
   • Mostra que, sob reamostragem rigorosa, a vantagem da transferência cruzada desaparece, enquanto controles mais simples (como destilação de mesma modalidade) ou fusão tardia se tornam mais competitivos.
4. Padrão de Evidência para Futuros Trabalhos: Define que, para alegações de transferência CT-Raio-X serem críveis, elas devem sobreviver a:
   • Reamostragem de pacientes (não apenas de imagens).
   • Controles de desequilíbrio de classes (balanceamento).
   • Comparação com controles de mesma modalidade e fusão tardia.

5. Significado e Conclusão

O artigo é um exemplo de "ciência negativa" ou cautelosa, crucial para o avanço da IA médica.

• Falha de Generalização: A conclusão principal é que, com coortes de pacientes emparelhados muito pequenas, não há evidência robusta de que a destilação CT-Raio-X ofereça uma vantagem real sobre métodos mais simples ou sobre a própria limitação dos dados.
• Importância do Desequilíbrio: A análise mostrou que métricas sensíveis ao desequilíbrio (como Acurância Balanceada e Especificidade) revelam falhas que a acurácia bruta esconde.
• Próximos Passos: O estudo conclui que a próxima etapa decisiva não é ajustar hiperparâmetros ou adicionar mais módulos complexos, mas sim coletar uma coorte de pacientes emparelhados maior que permita validações estatisticamente significativas.

Em resumo, o trabalho serve como um alerta metodológico: alegações de sucesso em transferência de modalidades médicas em pequenos conjuntos de dados devem ser tratadas com extrema cautela, pois a instabilidade dos dados frequentemente supera os benefícios teóricos dos algoritmos complexos.