A protocol for evaluating robustness to H&E staining variation in computational pathology models

Título: Um protocolo para avaliar a robustez à variação de coloração H&E em modelos de patologia computacional

1. O Problema

A coloração com Hematoxilina e Eosina (H&E) é fundamental para a histopatologia diagnóstica e serve como entrada para a maioria dos pipelines de Patologia Computacional (CPath). No entanto, a aparência das Imagens de Lâmina Completa (WSI) varia substancialmente entre e dentro de laboratórios devido a diferenças em protocolos de coloração, concentrações de reagentes, efeitos de lote, características de scanners e fluxos de processamento de tecidos.
Essas variações causam deslocamentos na intensidade e cor dos corantes, alterando informações morfológicas e afetando o desempenho dos modelos quando aplicados a lâminas preparadas em diferentes instituições ou momentos. Embora existam métodos de desenvolvimento focados em normalização e aumento de dados durante o treinamento, há uma lacuna crítica na avaliação de modelos modernos baseados em foundation models (modelos de base pré-treinados). Nesses pipelines de duas etapas (extração de características congelada + classificador leve), estratégias de treinamento têm influência reduzida, e a sensibilidade à variação de coloração permanece um obstáculo para a implantação clínica confiável.

2. Metodologia

Os autores propõem um protocolo de três etapas para avaliar sistematicamente a robustez de modelos CPath à variação de coloração H&E:

• Etapa 1: Seleção de Condições de Referência de Coloração

  • Foi criada uma nova biblioteca de referência baseada no conjunto de dados PLISM (Pathology Images of Scanners and Mobilephones), contendo 310.947 patches de tecido.
  • Utilizando a decomposição de cor (Lei de Beer-Lambert), foram extraídos vetores de cor e intensidades de H&E.
  • Selecionaram-se quatro condições simuladas para teste:
    1. Baixa intensidade de H&E.
    2. Alta intensidade de H&E.
    3. Baixa similaridade de cor H&E (vetores de cor distintos).
    4. Alta similaridade de cor H&E (vetores de cor semelhantes).

• Etapa 2: Caracterização das Propriedades de Coloração do Conjunto de Teste

  • O conjunto de dados de teste SurGen (738 pacientes com câncer colorretal, 892 WSIs) foi analisado.
  • Para cada lâmina, vetores de cor e intensidades foram extraídos de 10 patches amostrados, servindo como base para simulações controladas.

• Etapa 3: Aplicação do Modelo sob Condições Simuladas

  • Foram avaliados 306 modelos de classificação de Instabilidade de Microssatélites (MSI):
    • 300 modelos simulados: Treinados no conjunto TCGA-COAD/READ usando três foundation models diferentes (UNI2-h, H-Optimus-1, Virchow2) como extratores de características, seguidos por um classificador ABMIL (Multiple Instance Learning baseado em atenção).
    • 6 modelos públicos existentes (Wagner2023 e Niehues2023).
  • A inferência foi realizada nas WSIs do SurGen após decompor as imagens e recompor os canais de cor para simular as quatro condições de referência, mantendo a estrutura do tecido intacta.

• Métricas de Avaliação:

  • Desempenho: Medido pela Área Sob a Curva (AUC) na condição de referência.
  • Robustez: Definida como a faixa (mínimo-máximo) de AUCs através das cinco condições (referência + 4 simuladas).

3. Principais Contribuições

• Protocolo de Avaliação Sistematizado: Introdução de um método padronizado que ancore perturbações a propriedades de coloração quantificáveis (intensidade e similaridade de cor), superando abordagens anteriores que usavam apenas transformações generativas ou re-escaneamento físico.
• Biblioteca de Referência Pública: Disponibilização de uma biblioteca de vetores de cor e intensidades derivada do dataset PLISM, permitindo simulações realistas e reprodutíveis.
• Análise em Grande Escala: Avaliação de 306 modelos, incluindo uma vasta gama de configurações de foundation models e hiperparâmetros, fornecendo uma visão estatisticamente robusta sobre a variabilidade de desempenho.
• Recursos Abertos: Código, modelos treinados e dados de características de coloração foram disponibilizados publicamente (GitHub e HuggingFace).

4. Resultados

• Desempenho vs. Robustez: O desempenho de classificação variou de AUC 0,769 a 0,911. A robustez (faixa de variação de AUC) variou de 0,007 a 0,079.
• Correlação Fraca: Houve uma correlação inversa fraca (r = -0,22) entre desempenho e robustez. Isso indica que modelos com alto desempenho na condição de referência não garantem estabilidade sob variações de coloração.
• Impacto dos Foundation Models:
  • Os modelos baseados em UNI2-h e H-Optimus-1 mostraram-se, em geral, mais robustos do que os baseados em Virchow2 (contrariando alguns relatórios anteriores).
  • O modelo público Wagner2023 (baseado em CTransPath) destacou-se como um dos top 3 em desempenho e robustez, sugerindo que o treinamento do agregador (MIL) pode mitigar a sensibilidade do extrator de características.
• Efeito das Condições de Coloração:
  • A condição de alta intensidade de H&E frequentemente resultou no melhor desempenho (AUC mais alto) para a maioria dos modelos (127 dos 306 modelos).
  • Condições de baixa intensidade e alta similaridade de cor tenderam a causar pequenas reduções no desempenho.
  • No entanto, o efeito é dependente do modelo; alguns modelos específicos tiveram seu melhor desempenho em condições diferentes, reforçando a necessidade de avaliação individual.
• Origem da Variabilidade: No dataset PLISM, a intensidade da hematoxilina foi impulsionada principalmente pelos protocolos de coloração, enquanto a similaridade de cor e a intensidade da eosina foram mais influenciadas pela escolha do scanner.

5. Significado e Conclusão

O estudo demonstra que a robustez à variação de coloração é uma propriedade específica do modelo, parcialmente independente do desempenho preditivo geral.

• Para Implementadores Clínicos: O protocolo sugere a necessidade de caracterizar as propriedades de coloração das lâminas rotineiras (intensidade e vetores) para definir "faixas operacionais". Modelos devem ser validados dentro dessas faixas locais para garantir confiabilidade.
• Para Desenvolvedores de Algoritmos: A criação de bibliotecas de referência que capturem condições de coloração realistas e rastreáveis é crucial. A seleção de modelos deve considerar a robustez como um critério tão importante quanto a acurácia.
• Impacto Geral: O protocolo atua como uma ferramenta de "teste de estresse" universal, permitindo a identificação de modelos estáveis e fornecendo diretrizes para a preparação de lâminas e controle de qualidade, facilitando a implantação generalizável e segura de modelos de patologia computacional na prática clínica.