🤖 machine learning

Transformer Geometry Observatory TGO-IV: Developmental Topology Observatory

Este artículo presenta Transformer Geometry Observatory (TGO-IV), un nuevo marco que utiliza la Homología Persistente y complejos simpliciales de Vietoris–Rips para analizar exhaustivamente la evolución topológica de las representaciones de los Transformers a través de las capas, ofreciendo así una comprensión más profunda de cómo las entradas puras se transforman en características relevantes para la tarea.

Autores originales: Kaustubh Kapil, Kishor P. Upla

Publicado 2026-08-12

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kaustubh Kapil, Kishor P. Upla

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La forma del pensamiento: Cómo la IA construye su mundo

Imagina que intentas comprender cómo un cerebro digital gigante aprende a reconocer un gato. Durante mucho tiempo, los científicos trataron a estos "Transformers" —los poderosos modelos de IA detrás de tus chatbots y generadores de imágenes favoritos— como cajas negras misteriosas. Sabíamos que funcionaban increíblemente bien, pero no sabíamos realmente cómo aprendían. Para echar un vistazo al interior, los investigadores empezaron a observar las "representaciones" que la IA crea. Piensa en estas representaciones como una nube de puntos brillantes flotando en un espacio de alta dimensionalidad. Cada punto es una parte de la imagen (como un parche de pelaje o una oreja), y la forma en que los puntos están dispuestos le dice a la IA lo que está viendo.

Previamente, los científicos estudiaban estas nubes midiendo su "espectro" (qué tan dispersos están los puntos) o su "geometría" (cómo se agrupan los puntos). Descubrieron que, a medida que la IA aprende, la nube se expande y se organiza en formas significativas. Pero faltaba una pieza del rompecabezas: la topología. En términos sencillos, la topología es el estudio de las formas que no les importa estirarse o doblarse, pero sí les importan los agujeros y las conexiones. ¿Es la nube una gran masa sólida? ¿Es un anillo con un agujero en el medio? ¿Es un conjunto de islas desconectadas? Comprender la "forma" de estas nubes nos ayuda a ver si la IA realmente está entendiendo la estructura del mundo o si solo está memorizando patrones. Esta es la pregunta que el nuevo estudio, TGO-IV, se propone responder.

El artículo: TGO-IV, el detective topológico

En este nuevo estudio, titulado TGO-IV: Observatorio de Topología del Desarrollo, los investigadores Kaustubh Kapil y Kishor P. Upla, de la SVNIT de la India, analizan con lupa la "forma" de cómo aprende un Vision Transformer (un tipo de IA que ve imágenes). Forman parte de un equipo más grande llamado Neuromorphic Intelligence Research Collective, y esta es la cuarta entrega de su serie "Transformer Geometry Observatory". Mientras que las partes anteriores analizaron la matemática de la dispersión de la IA y su significado semántico, TGO-IV plantea una pregunta más profunda: ¿Cambia la forma global del pensamiento de la IA a medida que aprende, o permanece igual?

Para responder a esto, el equipo no se limitó a mirar los puntos; construyeron un "andamiaje" digital a su alrededor. Imagina que tienes una nube de 197 puntos brillantes (que representan las partes de una imagen) flotando en un espacio de 384 dimensiones. No puedes ver la forma simplemente mirando los puntos. Por ello, los investigadores utilizaron un truco matemático llamado complejo simplicial de Vietoris–Rips. Piensa en esto como un juego de "conectar los puntos". Comienzan trazando una línea entre cualquier par de puntos que estén muy cerca. Luego, aumentan lentamente el "radio de conexión". A medida que el radio crece, las líneas conectan más puntos, se forman triángulos entre tres puntos conectados y, eventualmente, aparecen formas 3D (como tetraedros). Esto crea una malla que aproxima la forma de la nube de datos.

Al observar cómo cambia esta malla a medida que el radio crece, pueden rastrear la "homología persistente". Esta es una forma elegante de contar las historias de vida de los agujeros y las conexiones.

Nacimiento: Se forma una nueva conexión o aparece un bucle.
Muerte: Una conexión se vuelve tan grande que un agujero se rellena o un bucle se cierra.

Los investigadores rastrearon estos "nacimientos" y "muertes" mientras la IA procesaba una imagen a través de sus 12 capas, y lo hicieron durante 100 días de entrenamiento con 1,000 imágenes del conjunto de datos ImageNet-100. Utilizaron un modelo específico, Vi-Small/16, que procesa imágenes dividiéndolas en parches de 16x16, lo que resulta en 197 tokens (puntos) por imagen.

Lo que encontraron: La gran consolidación

El estudio reveló una historia fascinante sobre cómo se estabiliza el mundo interno de la IA. Esto es lo que vieron los "observatorios topológicos":

1. Las islas se fusionan en un continente
Al principio del entrenamiento (Época 1), la nube de representación de la IA era un archipiélago disperso. Los puntos estaban lejos unos de otros, formando muchas islas aisladas. A medida que el entrenamiento progresaba, los investigadores notaron un cambio masivo en las curvas de Betti (un gráfico que cuenta cuántas piezas conectadas existen). El "número de Betti cero" ( $\beta_0$ ), que cuenta el número de islas separadas, cayó drásticamente. Los puntos comenzaron a fusionarse en grupos más grandes y menos numerosos mucho antes en el proceso. Al final del entrenamiento (Época 100), la nube se había convertido en un continente único y cohesivo. La IA no solo veía partes; veía el cuadro completo como una unidad conectada.

2. Los anillos permanecen, los agujeros desaparecen
Los investigadores también buscaron "bucles" (anillos de puntos) y "vacíos" (burbujas 3D). Encontraron que, aunque la IA creó algunos bucles ( $\beta_1$ ), siempre fueron pocos y escasos. Más interesante aún, los vacíos 3D ( $\beta_2$ ) estuvieron casi totalmente ausentes. Esto sugiere que el pensamiento de la IA no forma burbujas de información complejas y multicapa. En su lugar, se enfoca en conectar los puntos en una estructura sólida y algo plana.

3. Las capas se vuelven más similares
Uno de los hallazgos más sorprendentes fue sobre la distancia entre capas. Los investigadores utilizaron dos herramientas, la Distancia de Bottleneck y la Distancia de Wasserstein, para medir qué tan diferente era la forma de los datos de una capa a la siguiente.

Entrenamiento temprano: Las capas eran muy diferentes entre sí. La forma de los datos cambiaba drásticamente al pasar de la primera capa a la segunda, y luego a la tercera.
Entrenamiento tardío: A medida que la IA aprendía, las capas empezaban a parecerse cada vez más. La "distancia" entre las formas de capas consecutivas se reducía. Es como si la IA dejara de reinventar la rueda en cada paso y comenzara a refinar una estructura estable y común.

Sin embargo, notaron algunos "picos" donde la forma cambiaba significamente, específicamente alrededor de las Capas 3, 10 y 12. Incluso después de que la IA había "aprendido", estas capas específicas continuaron realizando un trabajo pesado, reorganizando los datos de manera significativa.

La gran idea: Estabilización topológica progresiva

Basándose en estas observaciones, los autores proponen una nueva idea llamada Hipótesis de la Estabilización Topológica Progresiva.

Sugieren que el aprendizaje no consiste en que el mundo interno de la IA colapse en un bloque aburrido y sin rasgos. En su lugar, es un proceso de refinamiento.

La metáfora: Imagina una multitud caótica de personas en un concierto. Al principio, todos están dispersos, gritando y desconectados (alto $\beta_0$ , muchas islas). A medida que la música comienza y la canción crece, las personas empiezan a tomarse de los brazos, formando pequeños grupos y, finalmente, toda la multitud se mueve como una ola gigante y cohesiva. La "forma" de la multitud se vuelve estable y conectada, pero no desaparece.
El hallazgo: Las representaciones de la IA se vuelven "cada vez más compactas" (los puntos se acercan) mientras mantienen su "organización geométrica no trivial" (la estructura sigue siendo interesante y útil). La IA no solo memoriza; construye un mapa estable y conectado del mundo.

Lo que esto significa (y lo que no)

Los autores son cuidadosos al declarar que no pretenden ver la forma exacta del cerebro de la IA. Debido a que solo tenían 197 puntos para trabajar en un espacio de 384 dimensiones, su "malla" es una aproximación, no una reconstrucción perfecta. Admiten que, con tan pocos puntos, la "forma" que ven es una aproximación topológica, no la verdad intrínseca. Sin embargo, las tendencias observadas son consistentes y significativas.

Descartan explícitamente la idea de que la IA simplemente colapsa en un punto trivial y sin utilidad. El hecho de que algunos bucles ( $\beta_1$ ) sobrevivieran a todo el proceso de entrenamiento demuestra que la estructura mantuvo su complejidad. También descartan la idea de que la IA aprenda en un solo salto repentino; en cambio, los cambios son continuos, con las capas volviéndose más similares entre sí a medida que el entrenamiento madura.

El camino por delante

Este artículo es solo la cuarta parada en un largo viaje. Los investigadores tienen un plan para el futuro:

TGO-V (Geometría Computacional): Quieren saber cómo las matemáticas de la IA (los productos escalares y los mecanismos de atención) crean realmente estas formas.
TGO-VI (Dinámica de Optimización): Quieren entender la "física" del proceso de aprendizaje: cómo la matemática del algoritmo de entrenamiento (gradientes y paisajes de pérdida) obliga a la IA a asentarse en estas formas estables.

En resumen, TGO-IV nos brinda un nuevo par de gafas. En lugar de ver simplemente los datos de la IA como una nube de números, ahora podemos verla como una forma viva y palpitante que comienza como un archipiélago disperso y crece hasta convertirse en un continente estable y conectado. Sugiere que cuando un Transformer aprende, no solo está memorizando; está construando un hogar topológico estable para su conocimiento.

Resumen Técnico: TGO-IV: Observatorio de Topología del Desarrollo

1. Planteamiento del Problema y Motivación

Si bien los Transformers han demostrado un éxito profundo en el procesamiento de lenguaje y visión por computadora, los mecanismos que subyacen a su dinámica de aprendizaje permanecen parcialmente opacos. Los estudios de interpretabilidad existentes, como los que utilizan CKA, SVCCA o análisis espectrales (por ejemplo, TGO-I, TGO-II, TGO-III), se centran primordialmente en capas aisladas, paisajes de pérdida o propiedades geométricas locales como los espectros de covarianza y la dimensionalidad intrínseca.

Persiste una brecha crítica en la comprensión de la estructura topológica global de los colectores de representaciones (representation manifolds) a medida que evolucionan a través del paso hacia adelante (forward pass). Los análisis geométricos son inherentemente insensibles a los invariantes topológicos globales; dos colectores pueden compartir una geometría local idéntica pero poseer una conectividad global vastamente diferente (por ejemplo, agujeros, vacíos o componentes conectados). El artículo postula que los métodos actuales no logran determinar si las capas de los Transformers preservan, crean, fusionan o eliminan estructuras topológicas fundamentales durante el desarrollo de la representación. TGO-IV aborda esto introduciendo un marco topológico para analizar la evolución del desarrollo de las representaciones de los Transformers.

2. Metodología

TGO-IV emplea Análisis de Datos Topológicos (TDA), específicamente Homología Persistente, para estudiar la evolución de las nubes de puntos de los tokens a través de las capas del Transformer. A diferencia de las técnicas de visualización (PCA, t-SNE, UMAP) que proyectan los datos en dimensiones inferiores y distorsionan las relaciones métricas, TGO-IV realiza todos los análisis directamente dentro del espacio de incrustación (embedding) original de alta dimensión ( $R^d$ ).

Flujo de Trabajo Principal

Construcción de la Nube de Puntos: Para un Vision Transformer (ViT), las incrustaciones de los tokens en cada capa $l$ se tratan como una nube de puntos $X^{(l)} = \{x^{(l)}_1, \dots, x^{(l)}_N\}$ en $R^d$ .
Construcción del Complejo Simplicial: El artículo construye complejos simpliciales de Vietoris–Rips a partir de estas nubes de puntos. Dado un radio de filtración $\epsilon$ , los puntos se conectan si su distancia de par $\|x_i - x_j\| \le \epsilon$ .
Filtración y Persistencia: Se genera una familia anidada de complejos al aumentar $\epsilon$ . La Homología Persistente rastrea el "nacimiento" y la "muerte" de las características topológicas (componentes conectados, bucles, vacíos) a medida que cambia la escala de filtración.
Observatorios Topológicos: El marco utiliza un conjunto complementario de métricas para cuantificar la evolución de estas estructuras:
- Diagramas de Persistencia y Diagramas de Barcode: Visualizan la vida útil de las características topológicas.
- Curvas de Betti: Cuantifican el número de características ( $\beta_0$ para componentes, $\beta_1$ para bucles, $\beta_2$ para vacíos) en cada escala de filtración.
- Paisajes de Persistencia (Persistence Landscapes): Transforman los diagramas en representaciones funcionales para la comparación estadística.
- Distancias de Bottleneck y Wasserstein: Miden la disimilitud entre las firmas topológicas de capas consecutivas o etapas de entrenamiento.

Configuración Experimental

Modelo: ViT-Small/16 entrenado en ImageNet-100 durante 100 épocas.
Datos: Un subconjunto de validación fijo de 1,000 imágenes y una única imagen designada para un seguimiento detallado.
Restricción: Los autores señalan explícitamente que con 197 tokens en un espacio de 384 dimensiones, el muestreo es disperso. Por lo tanto, los complejos construidos se tratan como aproximaciones topológicas en lugar de reconstrucciones fieles del verdadero colector intrínseco. El objetivo es identificar tendencias de desarrollo consistentes en estas firmas, no reclamar la topología exacta del colector.

3. Contribuciones Clave

El artículo describe cuatro contribuciones primarias:

Primer Observatorio Topológico: Introduce el primer marco que aplica la Homología Persistente a las representaciones de los Transformers, extendiendo la serie TGO del análisis espectral y geométrico al análisis de datos topológicos.
Marco Centrado en la Topología: Formula un método para construir complejos de Vietoris–Rips a partir de nubes de puntos de nivel de token y caracterizar sistemáticamente su evolución capa por capa.
Conjunto de Observatorios Complementarios: Propone un conjunto integral de métricas (Diagramas de Persistencia, Barcodes, Curvas de Betti, Paisajes, distancias de Bottleneck y Wasserstein) para cuantificar el nacimiento, la persistencia y la desaparición de las características topológicas.
Análisis de la Evolución del Desarrollo: Investiga cómo emergen, se transforman y se estabilizan las firmas topológicas persistentes a lo largo de la red, ofreciendo perspectivas más allá de los análisis geométricos y espectrales convencionales.

4. Resultados Clave y Hallazgos

El análisis empírico del proceso de entrenamiento de ViT-Small/16 reveló varias tendencias de desarrollo consistentes:

Estabilización Topológica Progresiva: La Distancia de Bottleneck y la Distancia de Wasserstein entre capas consecutivas disminuyeron significadamente a medida que el entrenamiento progresó. Esto indica que las firmas topológicas persistentes de las capas adyacentes se vuelven cada vez más similares a medida que el modelo converge.
Evolución de la Conectividad (Curvas de Betti): El número de Betti cero ( $\beta_0$ ), que representa los componentes conectados, dominó la topología. A medida que el entrenamiento avanzaba, las curvas de $\beta_0$ se desplazaron hacia radios de filtración más pequeños, lo que significa que los componentes conectados se fusionaron más temprano. Esto sugiere que la nube de puntos de la representación se vuelve progresivamente más cohesiva.
Persistencia de Bucles: El número de Betti uno ( $\beta_1$ ), que representa bucles unidimensionales, se mantuvo disperso pero no nulo durante todo el entrenamiento. Esto argumenta contra un "colapso trivial" de la representación hacia una nube de puntos sin características; la organización geométrica no trivial se preserva.
Ausencia de Cavidades de Orden Superior: El número de Betti dos ( $\beta_2$ ) permaneció casi en cero, indicando que los vacíos de mayor dimensión no son un componente significativo de la topología persistente en este entorno.
Transiciones Específicas de Capa: Mientras que la similitud global aumentó, los picos localizados en la distancia topológica persistieron alrededor de capas específicas (por ejemplo, Capas 3, 10 y 12), lo que sugiere que estas etapas realizan reorganizaciones topológicas más pronunciadas incluso después de la convergencia.

5. Hipótesis y Significado

Basándose en las tendencias observadas, los autores proponen la Hipótesis de la Estabilización Topológica Progresiva. Esta hipótesis postula que las representaciones de los Transformers evolucionan a través de un proceso donde la nube de puntos se vuelve cada vez más compacta mientras preserva una organización geométrica no trivial. Durante la optimización, las estructuras topológicas de orden superior se establecen transitoriamente y son posteriormente refinadas, mientras que las capas sucesivas realizan transformaciones topológicas acumulativas progresivamente menores a medida que se acerca la convergencia.

Reivindicaciones de Significado:

Más allá de la Geometría: El artículo afirma proporcionar una perspectiva que los análisis geométricos y espectrales no pueden ofrecer: la capacidad de detectar transiciones topológicas globales (por ejemplo, la fusión de componentes frente a la creación de agujeros) que son invisibles para las métricas locales.
Información Mecanicista: Acerca el campo a la respuesta de "cómo" aprenden los Transformers al caracterizar la evolución del desarrollo de las representaciones en lugar de solo su estado estático.
Fundamento para Trabajos Futuros: TGO-IV sirve como un paso fundacional para el marco más amplio del Observatorio de la Geometría de los Transformers (TGO). Los autores presentan este trabajo como un paso descriptivo que sienta las bases para futuros observatorios (TGO-V y TGO-VI) que pretenden explicar los mecanismos computacionales (enrutamiento de atención, dinámica de gradientes) y los principios de optimización responsables de estos cambios topológicos.

El artículo mantiene un tono modesto, enfatizando que sus hallazgos describen la evolución de los complejos simpliciales construidos basados en un muestreo disperso, en lugar de realizar afirmaciones definitivas sobre la topología intrínseca del colector de representación subyacente.