Neural Networks as Entropic Systems: Applications in Digital Pathology

Resumo Técnico: Redes Neurais como Sistemas Entrópicos em Patologia Digital

Declaração do Problema
Sistemas de aprendizado profundo aplicados à patologia digital são frequentemente criticados por sua opacidade, uma característica que prejudica a confiança e a interpretabilidade clínica. Embora esses modelos alcancem alto desempenho, os mecanismos internos pelos quais eles adquirem representações biologicamente significativas permanecem amplamente não caracterizados. Há uma necessidade de frameworks que vão além das explicações post-hoc para medir empiricamente a dinâmica de aprendizado das redes neurais durante o próprio processo de treinamento.

Metodologia
Os autores propõem um framework para caracterizar empiricamente a dinâmica de aprendizado durante o treinamento, medindo diretamente a estrutura de ativação, a evolução dos pesos e a organização espectral durante a otimização. O estudo utiliza Imagens de Lâmina Inteira (WSIs) do conjunto de dados TCGA-BRCA (The Cancer Genome Atlas Breast Invasive Carcinoma). Os alvos de regressão são derivados de proxies de metilação baseados no tempo de replicação, servindo como um objetivo biologicamente fundamentado.

Uma arquitetura de Vision Transformer (ViT) foi treinada neste conjunto de dados, e seu comportamento intra-época foi monitorado ao longo de 20 épocas. A análise focou em três dimensões primárias:

1. Estrutura de Ativação: Monitoramento da formação de grupos de neurônios correlacionados e sua modularidade.
2. Evolução de Pesos: Rastreamento da variância e difusão das trajetórias de pesos.
3. Organização Espectral: Análise das propriedades espectrais dos estados internos da rede.
4. Atenção no Espaço de Imagem: Visualização do foco espacial da atenção do modelo ao longo do tempo.

Principais Resultados
O estudo observou assinaturas estruturais reproduzíveis ao longo do processo de treinamento:

• Ativação Modular: Grupos correlacionados de neurônios formaram módulos de ativação estáveis. A modularidade desses grupos aumentou conforme o treinamento progredia, coincidindo com uma redução na entropia de representação de até 60%.
• Dinâmica de Pesos: As trajetórias de pesos exibiram difusão limitada com redução progressiva de variância. Este comportamento é consistente com um processo estocástico amortecido, convergindo eventualmente para um regime estacionário estável em épocas posteriores.
• Mudanças de Atenção: No espaço da imagem, a atenção do modelo deslocou-se sistematicamente ao longo do tempo. As épocas iniciais foram caracterizadas pela atenção a regiões estromais ricas em colágeno, enquanto as épocas posteriores focaram em regiões nucleares basofílicas e proliferativas. Esse deslocamento alinha-se com correlatos histológicos conhecidos de estresse replicativo.

Significância e Alegações
O artigo afirma que as redes neurais desenvolvem estruturas internas previsíveis e quantificáveis durante o treinamento, que são diretamente visualizáveis e mensuráveis. Ao enquadrar a dinâmica de aprendizado através das lentes da entropia, organização modular e estabilização estocástica, os autores fornecem uma perspectiva prática e mecanística sobre como os modelos de IA de patologia adquirem representações biologicamente relevantes. Esta abordagem oferece um caminho para desmistificar a natureza "opaca" do aprendizado profundo em ambientes clínicos, fundamentando a interpretabilidade na evolução observável do estado interno do modelo.