Resumo Técnico: Divergência Simétrica e Similaridade Normalizada: Um Framework Topológico Unificado para Análise de Representação

Declaração do Problema

A Análise de Dados Topológicos (TDA) oferece uma perspectiva intrínseca para comparar representações de redes neurais, porém os métodos macroscópicos existentes enfrentam limitações significativas. Especificamente, o framework de Divergência de Topologia de Representação (RTD) e seus variantes sofrem de dois problemas críticos:

1. Incompletude Teórica e Assimetria: O RTD "simétrico" comumente utilizado é definido como uma média bruta de dois valores direcionais ($RTD(w, \tilde{w})$ e $RTD(\tilde{w}, w)$). Esses valores podem diferir dramaticamente sem uma explicação teórica clara para a assimetria. Além disso, o variante dual, Max-RTD, proposto para enriquecer a informação de gradiente, carece de uma relação teórica totalmente caracterizada com o RTD.
2. Falta de Normalização: O RTD e o RTD-lite produzem pontuações positivas ilimitadas que dependem fortemente do tamanho da amostra e das escalas de distância intrínsecas. Isso torna o benchmarking entre cenários (por exemplo, comparar diferentes modelos, camadas ou conjuntos de dados) pouco confiável e difícil de interpretar. Tentativas existentes de reescalar distâncias (por exemplo, usando o quantil de 0,9) são heurísticas e insuficientes para configurações heterogêneas.

Essas limitações dificultam a capacidade de realizar tanto o diagnóstico estrutural detalhado quanto a avaliação robusta e padronizada de representações neurais.

Metodologia

Os autores propõem um toolkit topológico unificado composto por dois componentes complementares: a Divergência de Topologia de Representação Simétrica (SRTD) para diagnóstico estrutural e a Similaridade Topológica Normalizada (NTS) para avaliação padronizada.

1. Divergência de Topologia de Representação Simétrica (SRTD)

Para abordar a assimetria e as lacunas teóricas da família RTD, os autores introduzem a SRTD.

• Conceito: Em vez de tirar a média de duas divergências direcionais, a SRTD mede diretamente a discrepância topológica entre a união e a interseção das filtrações de Vietoris-Rips de duas nuvens de pontos.
• Construção: Utiliza uma matriz auxiliar simétrica ($M_{sym}$) construída a partir do mínimo ($min(w, \tilde{w})$) e do máximo ($max(w, \tilde{w})$) elemento a elemento das matrizes de distância. A divergência é definida como a soma dos comprimentos de barcode derivados da homologia persistente deste grafo auxiliar.
• Unificação Teórica: A SRTD fornece um framework unificado onde as medidas assimétricas (RTD e Max-RTD) são decompostas em um grande componente simétrico compartilável (SRTD) e componentes "privados" menores, únicos para cada filtração.
• Eficiência (SRTD-lite): Seguindo a abordagem do RTD-lite, os autores definem o SRTD-lite, que aproxima a divergência topológica total usando pesos de Árvore Geradora Mínima (MST) — Minimum Spanning Tree. É definido como a diferença entre os pesos de MST de $max(w, \tilde{w})$ e $min(w, \tilde{w})$.
• Propriedade Chave: Os autores provam que, para a versão lite, $Max\text{-}RTD\text{-}lite + RTD\text{-}lite = SRTD\text{-}lite$, estabelecendo uma ordenação hierárquica estrita onde o SRTD-lite serve como uma medida mediana equilibrada.

2. Similaridade Topológica Normalizada (NTS)

Para permitir o benchmarking robusto entre cenários, os autores propõem a NTS, uma métrica limitada entre -1 e 1.

• Motivação: Ao contrário das medidas de divergência que somam comprimentos de barcode (que são sensíveis a outliers e escala), a NTS foca na correlação de rank hierárquica de ordens de fusão.
• Mecanismo:
  • Identifica o conjunto de "pares principais" definidos pela união das arestas nos MSTs de ambas as representações.
  • Computa a correlação de rank de Spearman entre os tempos de fusão (ou distâncias de aresta) desses pares principais nas duas representações.
  • Duas variantes são definidas: NTS-E (baseada em distâncias de aresta) e NTS-M (baseada em tempos de fusão).
• Propriedades: A NTS é invariante à escala e robusta a variações no tamanho da amostra. Ela captura a estrutura topológica comparando a ordem em que os componentes conectados se fundem, em vez da magnitude absoluta das distâncias.

Principais Contribuições

1. Conclusão do Framework RTD: A introdução da SRTD resolve a assimetria teórica dos anteriores variantes de RTD. Ela consolida a informação diagnóstica em uma única assinatura de cross-barcode simétrica, oferecendo um objetivo de otimização mais eficiente sem o overhead de computações direcionais duplas.
2. Introdução da NTS: A proposta da NTS supera a natureza ilimitada das divergências topológicas. Ao utilizar normalização baseada em rank, ela fornece uma pontuação de similaridade padronizada que é comparável entre diferentes conjuntos de dados, arquiteturas de modelos e pipelines experimentais.
3. Caracterização Teórica: O artigo estabelece relações matemáticas rigorosas entre RTD, Max-RTD e SRTD usando cones de mapeamento e sequências exatas longas em homologia, esclarecendo o papel do Max-RTD e a origem da assimetria.
4. Algoritmos Eficientes: Os autores fornecem variantes leves (SRTD-lite e NTS-E) que operam em tempo $O(n^2(\alpha_{uf}(n) + d))$, tornando-os escaláveis para análise de representação em larga escala.

Resultados Experimentais

O toolkit foi avaliado em configurações de aprendizado profundo sintéticas e do mundo real:

• Deslocamentos Hierárquicos Sintéticos: Em experimentos envolvendo clusters Gaussianos e embeddings UMAP, a NTS e a família SRTD capturaram corretamente o aumento da dissimilaridade estrutural. Em contraste, o CKA foi amplamente insensível a essas mudanças, e o RTD-lite produziu tendências anômalas e invertidas, destacando a necessidade do componente $max(w, \tilde{w})$ e da normalização.
• Análise de Camadas de CNN: Em um TinyCNN treinado no CIFAR-10, a NTS e o CKA exibiram paisagens de similaridade quase diagonais consistentes e interpretáveis (similaridade decaindo com a profundidade). No entanto, a família RTD não normalizada falhou em recuperar essa tendência monotônica, produzindo heatmaps irregulares. Crucialmente, as medidas topológicas (NTS e SRTD-lite) detectaram uma transição estrutural aguda na camada de pooling final — uma mudança funcional perdida por baselines geométricos como o CKA.
• Análise de Grandes Modelos de Linguagem (LLM): Aplicado a famílias de LLMs (Qwen, InternLM, Baichuan, Llama) nos datasets TruthfulQA e ToxiGen:
  • Intra-Modelo: A NTS revelou "impressões digitais" hierárquicas consistentes dentro de famílias de modelos, enquanto o CKA frequentemente produzia heatmaps saturados ou inconsistentes devido à saturação de distância.
  • Inter-Modelo: A NTS forneceu uma visão mais nítida e discriminativa das relações entre modelos comparada ao CKA, que sofreu com saturação de pontuação (agrupamento próximo a 1.0).
  • Caso de Destilação: Em um estudo de caso de DeepSeek-R1-Ds (destilado de Qwen2.5-Math), o CKA apresentou uma baixa pontuação de similaridade, falhando em refletir a linhagem, enquanto a NTS identificou com sucesso uma alta similaridade estrutural, sugerindo que as ordens de fusão topológica são mais robustas a mudanças geométricas induzidas pela destilação.

Significância e Alegações

O artigo afirma oferecer uma perspectiva rigorosa e consciente da topologia que complementa medidas geométricas existentes como o CKA.

• Para Diagnóstico: SRTD e SRTD-lite fornecem evidência detalhada e interpretável de discrepâncias estruturais e servem como termos de perda eficazes para otimização (ex: em autoencoders), alcançando desempenho de estado da arte dentro da classe RTD com maior eficiência.
• Para Benchmarking: A NTS oferece uma métrica confiável e invariante de escala para comparar representações através de configurações heterogêneas, superando os problemas de interpretabilidade das divergências não normalizadas.
• Limitações: Os autores observam que a NTS é atualmente uma medida apenas de análise e não é diferenciável, impedindo seu uso direto na otimização de modelos. O trabalho futuro sugere o desenvolvimento de uma formulação diferenciável. Adicionalmente, as variantes leves dependem principalmente de características de dimensão 0, trocando insights topológicos de ordem superior por escalabilidade.

O trabalho posiciona-se como um passo fundamental para entender as representações neurais através de um lens unificado de topologia, preenchendo a lacuna entre o diagnóstico estrutural detalhado e a avaliação robusta e padronizada.