Resumen Técnico: Divergencia Simétrica y Similitud Normalizada: Un Marco Topológico Unificado para el Análisis de Representaciones

Planteamiento del Problema

El Análisis de Datos Topológicos (TDA) ofrece una perspectiva intrínseca para comparar representaciones de redes neuronales, pero los métodos macroscópicos existentes enfrentan limitaciones significativas. Específicamente, el marco de la Divergencia de la Topología de la Representación (RTD) y sus variantes sufren dos problemas críticos:

1. Incompletitud Teórica y Asimetría: La RTD "simétrica" comúnmente utilizada se define como un promedio de fuerza bruta de dos valores direccionales ($RTD(w, \tilde{w})$ y $RTD(\tilde{w}, w)$). Estos valores pueden diferir drásticamente sin una explicación teórica clara para la asimetría. Además, la variante dual, Max-RTD, propuesta para enriquecer la información del gradiente, carece de una relación teórica plenamente caracterizada con la RTD.
2. Falta de Normalización: La RTD y la RTD-lite producen puntuaciones positivas no acotadas que dependen fuertemente del tamaño de la muestra y de las escalas de distancia intrínsecas. Esto hace que la comparación de escenarios (por ejemplo, comparar diferentes modelos, capas o conjuntos de datos) sea poco fiable y difícil de interpretar. Los intentos existentes de reescalar distancias (por ejemplo, usando el cuantil 0.9) son heurísticos e insuficientes para entornos heterogéneos.

Estas limitaciones dificultan la capacidad de realizar tanto un diagnóstico estructural detallado como una evaluación robusta y estandarizada de las representaciones neuronales.

Metodología

Los autores proponen un conjunto de herramientas topológicas unificadas que consta de dos componentes complementarios: la Divergencia de la Topología de la Representación Simétrica (SRTD) para el diagnóstico estructural y la Similitud Topológica Normalizada (NTS) para la evaluación estandarizada.

1. Divergencia de la Topología de la Representación Simétrica (SRTD)

Para abordar la asimetría y las brechas teóricas de la familia RTD, los autores introducen la SRTD.

• Concepto: En lugar de promediar dos divergencias direccionales, la SRTD mide directamente la discrepancia topológica entre la unión y la intersección de las filtraciones de Vietoris-Rips de dos nubes de puntos.
• Construcción: Utiliza una matriz auxiliar simétrica ($M_{sym}$) construida a partir del mínimo elemento a elemento ($min(w, \tilde{w})$) y el máximo ($max(w, \tilde{w})$) de las matrices de distancia. La divergencia se define como la suma de las longitudes de las barras (barcodes) derivadas de la homología persistente de este grafo auxiliar.
• Unificación Teórica: La SRTD proporciona un marco unificado donde las medidas asimétricas (RTD y Max-RTD) se descomponen en un componente simétrico compartido de gran tamaño (SRTD) y componentes "privados" más pequeños únicos para cada filtración.
• Eficiencia (SRTD-lite): Siguiendo el enfoque de RTD-lite, los autores definen SRTD-lite, que aproxima la divergencia topológica completa utilizando los pesos del Árbol de Expansión Mínima (MST); se define como la diferencia entre los pesos del MST de $max(w, \tilde{w})$ y $min(w, \tilde{w})$.
• Propiedad Clave: Los autores demuestran que, para la versión lite, $Max\text{-}RTD\text{-}lite + RTD\text{-}lite = SRTD\text{-}lite$, estableciendo un orden jerárquico estricto donde la SRTD-lite sirve como una medida de la mediana equilibrada.

2. Similitud Topológica Normalizada (NTS)

Para permitir un benchmarking robusto entre escenarios, los autores proponen la NTS, una métrica acotada entre -1 y 1.

• Motivación: A diferencia de las medidas de divergencia que suman longitudes de barras (que son sensibles a valores atípicos y escala), la NTS se centra en la correlación de rango de los órdenes de fusión jerárquica.
• Mecanismo:
  • Identifica el conjunto de "pares núcleo" definidos por la unión de las aristas en los MST de ambas representaciones.
  • Calcula la correlación de rango de Spearman entre los tiempos de fusión (o distancias de las aristas) de estos pares núcleo en las dos representaciones.
  • Se definen dos variantes: NTS-E (basada en distancias de aristas) y NTS-M (basada en tiempos de fusión).
• Propiedades: La NTS es invariante de escala y robusta a las variaciones en el tamaño de la muestra. Captura la estructura topológica comparando el orden en que los componentes conectados se fusionan, en lugar de la magnitud absoluta de las distancias.

Contribuciones Clave

1. Completitud del Marco RTD: La introducción de la SRTD resuelve la asimetría teórica de las variantes previas de RTD. Consolida la información de diagnóstico en una única firma de cross-barcode simétrica, ofreciendo un objetivo de optimización más eficiente sin la sobrecarga de los cálculos duales direccionales.
2. Introducción de NTS: La propuesta de la NTS supera la naturaleza no acotada de las divergencias topológicas. Al aprovechar la normalización basada en rangos, proporciona una puntuación de similitud estandarizada que es comparable entre diferentes conjuntos de datos, arquitecturas de modelos y procesos experimentales.
3. Caracterización Teórica: El artículo establece relaciones matemáticas rigurosas entre RTD, Max-RTD y SRTD utilizando conos de mapeo y secuencias exactas largas en homología, aclarando el papel de Max-RTD y la fuente de la asimetría.
4. Algoritmos Eficientes: Los autores proporcionan variantes ligeras (SRTD-lite y NTS-E) que operan en un tiempo de $O(n^2(\alpha_{uf}(n) + d))$, lo que las hace escalables para el análisis de representaciones a gran escala.

Resultados Experimentales

El conjunto de herramientas fue evaluado en entornos de aprendizaje profundo sintéticos y del mundo real:

• Desplazamientos Jerárquicos Sintéticos: En experimentos que involucran cúmulos Gaussianos y embeddings UMAP, la NTS y las familias de SRTD capturaron correctamente el aumento de la disimilitud estructural. En contraste, CKA fue mayormente insensible a estos cambios, y RTD-lite produjo tendencias invertidas anómalas, resaltando la necesidad del componente $max(w, \tilde{w})$ y la normalización.
• Análisis de Capas CNN: En un análisis de TinyCNN entrenado en CIFAR-10, la NTS y CKA exhibieron paisajes de similitud casi diagonales consistentes e interpretables (la similitud decae con la profundidad). Sin embargo, la familia RTD no normalizada falló al recuperar esta tendencia monotónica, produciendo mapas de calor irregulares. Crucialmente, las medidas topológicas (NNTS y SRTD-lite) detectaron una transición estructural brusca en la última capa de pooling, un cambio funcional que las bases geométricas como CKA pasaron por alto.
• Análisis de Modelos de Lenguaje de Gran Escala (LLM): Aplicado a familias de LLM (Qwen, InternLM, Baichuan, Llama) en los conjuntos de datos TruthfulQA y ToxiGen:
  • Intra-Modelo: La NTS reveló "huellas dactilares" jerárquicas consistentes dentro de las familias de modelos, mientras que CKA a menudo produjo mapas de calor saturados o inconsistentes debido a la saturación de la distancia.
  • Inter-Modelo: La NTS proporcionó una visión más nítida y discriminativa de las relaciones entre modelos en comparación con CKA, que sufrió de saturación de puntuación (agrupándose cerca de 1.0).
  • Caso de Destilación: En un estudio de caso de DeepSeek-R1-Ds (destilado de Qwen2.5-Math), CKA arrojó una baja puntuación de similitud que no reflejó el linaje, mientras que la NTS identificó con éxito una alta similitud estructural, sugiriendo que los órdenes de fusión topológica son más robustos a los cambios geométricos inducidos por la destilación.

Significado y Reivindicaciones

El artículo afirma ofrecer una perspectiva rigurosa y consciente de la topología que complementa las medidas geométricas existentes como CKA.

• Para el Diagnóstico: SRTD y SRTD-lite proporcionan evidencia fina e interpretable de las discrepancias estructurales y sirven como términos de pérdida efectivos para la optimización (por ejemplo, en autoencoders), logrando un rendimiento de vanguardia dentro de la clase RTD con una eficiencia mejorada.
• Para el Benchmarking: La NTS ofrece una métrica fiable e invariante de la escala para comparar representaciones en entornos heterogéneos, superando los problemas de interpretabilidad de las divergencias no normalizadas.
• Limitaciones: Los autores señalan que la NTS es actualmente una medida solo de análisis y no es diferenciable, lo que impide su uso directo en la optimización de modelos. Se sugiere como trabajo futuro desarrollar una formulación diferenciable. Además, las variantes ligeras dependen principalmente de características de dimensión 0, sacrificando la visión de aspectos topológicos de orden superior por la escalabilidad.

Este trabajo se posiciona como un paso fundacional hacia la comprensión de las representaciones neuronales a través de un lente topológico unificado, cerrando la brecha entre el diagnóstico estructural detallado y la evaluación robusta y estandarizada.