pathsig: A GPU-Accelerated Library for Truncated and Projected Path Signatures

El artículo presenta *pathsig*, una biblioteca nativa de PyTorch acelerada por GPU que calcula firmas de trayectorias truncadas y proyectadas con un alto rendimiento y bajo uso de memoria, logrando aceleraciones significativas en comparación con otras librerías existentes.

Lo esencial

¡Hola! Imagina que tienes una película de un río fluyendo. Si solo te quedas con una foto del río en un momento específico, pierdes toda la historia: cómo empezó, si hubo una tormenta antes, o si el agua se movió rápido o lento.

En el mundo de la Inteligencia Artificial, los datos que cambian con el tiempo (como el precio de una acción, el movimiento de un robot o tu voz) son como esa película. Para que una computadora entienda la "historia" completa y no solo una foto, necesitamos una herramienta especial llamada Firma de Trayectoria (Path Signature).

Aquí te explico qué hace este nuevo trabajo, pathsig, usando analogías sencillas:

1. El Problema: La Biblioteca Lenta

Imagina que la "Firma de Trayectoria" es un diccionario gigante que describe cada movimiento del río.

• El problema: Las herramientas actuales para calcular este diccionario son como una biblioteca antigua donde un solo bibliotecario (el procesador de tu computadora) tiene que buscar palabra por palabra en libros pesados. Si quieres analizar miles de videos a la vez, el bibliotecario se agota y todo se vuelve muy lento. Además, ocupan mucho espacio en la mesa (memoria).

2. La Solución: pathsig (El Equipo de Superhéroes)

El autor, Tobias Nygaard, ha creado pathsig. Imagina que en lugar de un bibliotecario, tienes un ejército de superhéroes trabajando en una fábrica de alta velocidad (una GPU).

• Trabajo en equipo: En lugar de buscar una palabra a la vez, pathsig divide el trabajo entre miles de pequeños robots (núcleos de la GPU) que trabajan todos a la vez.
• El truco de la "Palabra": En lugar de tratar los datos como bloques de cemento pesados, los trata como palabras de un idioma. pathsig sabe que si ya sabes la palabra "casa", no necesitas volver a calcular "c", "a", "s" y "a" por separado cada vez. Usa un método inteligente (llamado "método de Horner") para construir las palabras rápidamente, como si ensamblaras un Lego pieza por pieza sin tirar nada.

3. Los Superpoderes de pathsig

A. Velocidad Relámpago

En las pruebas, pathsig fue 10 a 30 veces más rápido que sus competidores.

• Analogía: Si los otros programas tardan 1 hora en leer un libro de 1000 páginas, pathsig lo hace en 2 minutos. Esto significa que puedes entrenar a tus inteligencias artificiales mucho más rápido.

B. Ahorro de Espacio (Memoria)

A veces, calcular estas firmas es como intentar guardar un océano en una taza; la memoria se llena y el programa se rompe.

• Analogía: pathsig es como un camión de mudanzas súper eficiente. Mientras otros llenan el camión con cajas vacías, pathsig solo lleva lo necesario. En algunas pruebas, usó 150 veces menos memoria que otros programas. Esto permite analizar videos mucho más largos sin que tu computadora se congele.

C. El "Filtro Inteligente" (Proyecciones)

Aquí viene la parte más creativa. A veces, no necesitas todo el diccionario.

• El problema tradicional: Si quieres analizar un río, los métodos antiguos te obligan a leer todas las palabras hasta la letra "Z", aunque solo te interesen las palabras relacionadas con "agua" y "lluvia".
• La solución de pathsig: Te permite decir: "Solo quiero las palabras que empiezan con 'A' y 'B'".
  • Analogía: Imagina que estás cocinando. En lugar de usar todos los ingredientes de la despensa (que ocupan mucho espacio y tardan en buscarse), pathsig te deja elegir solo la sal, el ajo y el tomate. El plato (el resultado) sabe igual de rico, pero lo preparaste en la mitad del tiempo y con menos desorden.

4. ¿Por qué nos importa esto?

Este trabajo es como darle a los científicos de datos un motor de Fórmula 1 para sus coches de carreras.

• Antes, analizar datos complejos (como el clima o el mercado de valores) era lento y costoso.
• Ahora, con pathsig, podemos procesar esa información casi en tiempo real, usar menos energía y crear modelos más inteligentes que aprenden de la historia completa de los datos, no solo de instantáneas.

En resumen: pathsig es una herramienta nueva y súper rápida que toma la compleja matemática de "leer historias en movimiento" y la hace accesible, rápida y eficiente, permitiendo que las inteligencias artificiales aprendan mejor y más rápido de los datos del mundo real.

Resumen técnico

Resumen Técnico: pathsig

1. El Problema

Las firmas de caminos (path signatures) son una herramienta matemática poderosa basada en la teoría de caminos rugosos (rough path theory) para representar datos secuenciales. Ofrecen garantías teóricas sólidas, como la universalidad (capacidad de aproximar funcionales continuos) e invarianza ante la reparametrización temporal.

Sin embargo, su adopción en el aprendizaje automático a gran escala ha estado limitada por dos factores principales:

• Escalabilidad: Las bibliotecas existentes (como iisignature, esig, Signatory) a menudo carecen de la escalabilidad necesaria para el aprendizaje basado en gradientes en grandes conjuntos de datos. Muchas dependen de backends en CPU o no están optimizadas para la paralelización masiva en GPU.
• Inflexibilidad: La mayoría de las implementaciones se limitan a la truncación estándar (corte por longitud de palabra), lo que genera representaciones de alta dimensión con redundancia. No permiten fácilmente proyecciones personalizadas o truncamientos anisotrópicos que podrían reducir la dimensionalidad sin perder información crítica.

2. Metodología

El artículo introduce pathsig, una biblioteca nativa de PyTorch diseñada para calcular firmas de caminos directamente en la base de palabras (word basis) utilizando núcleos CUDA altamente optimizados.

Aspectos Clave de la Metodología:

• Cálculo en la Base de Palabras: En lugar de operar sobre álgebras tensoriales graduadas abstractas, pathsig trabaja directamente con coeficientes indexados por palabras. Esto permite una gestión de memoria más eficiente y un control de flujo uniforme.
• Estructura de Conjuntos Prefijados (Prefix-Closed Sets):
  • Utiliza la relación de Chen para actualizar los coeficientes de la firma.
  • Descompone el espacio de palabras en conjuntos prefijados (donde si una palabra está en el conjunto, todos sus prefijos también lo están).
  • Asigna un conjunto de palabras generado por una sola palabra raíz a cada hilo (thread) de la GPU. Esto maximiza la localidad de la memoria y evita la divergencia de hilos, permitiendo actualizaciones independientes y paralelas.
• Método de Horner: Para la actualización de coeficientes, emplea el método de Horner para evaluar sumas de prefijos-sufijos. Esto reduce el número de operaciones de punto flotante intermedias y mejora la estabilidad numérica en niveles de truncación altos.
• Retropropagación (Backpropagation) Eficiente:
  • Para el entrenamiento, es crucial calcular gradientes sin almacenar todas las firmas intermedias (lo que consumiría demasiada memoria).
  • pathsig reconstruye las firmas intermedias necesarias durante la fase de retropropagación utilizando la propiedad de que la firma es un elemento grupo-like (invertible).
  • Utiliza la relación de Chen hacia atrás en el tiempo y la firma de la trayectoria invertida para recuperar valores intermedios a partir de la firma terminal, manteniendo un uso de memoria casi mínimo ($O(B \cdot D_{sig})$ en lugar de $O(B \cdot M \cdot D_{sig})$).
• Soporte para Ventanas y Proyecciones:
  • Permite calcular firmas sobre múltiples ventanas (subintervalos) en una sola llamada, introduciendo un eje adicional de paralelismo.
  • Soporta proyecciones arbitrarias sobre conjuntos de palabras específicos (no solo truncación por longitud) y truncamientos anisotrópicos (donde diferentes canales tienen diferentes pesos de regularidad).

3. Contribuciones Clave

1. Biblioteca GPU-Nativa: Primera biblioteca de firmas de caminos que opera nativamente en PyTorch y CUDA, eliminando la necesidad de transferencias CPU-GPU costosas durante el entrenamiento.
2. Velocidad y Eficiencia de Memoria: Logra aceleraciones significativas (10-30x en cómputo directo, 4-10x en entrenamiento) y un uso de memoria pico cercano al mínimo teórico.
3. Flexibilidad de Proyección: Rompe con la limitación de la truncación estándar. Permite a los usuarios definir conjuntos de palabras personalizados (proyecciones) o usar pesos anisotrópicos para adaptar la representación a la estructura específica de los datos (ej. inhomogeneidad entre canales).
4. Soporte para Log-Firmas: Implementa el cálculo eficiente de log-firmas en la base de Lyndon, evitando la materialización de todos los coeficientes de la firma hasta la profundidad objetivo, lo que ahorra tiempo y memoria.

4. Resultados y Benchmarks

Los experimentos se realizaron en una GPU NVIDIA H200, comparando pathsig con keras_sig y pySigLib.

• Velocidad de Cómputo (Forward Pass):
  • Aceleración de 12.44x frente a keras_sig y 40.11x frente a pySigLib (en promedio).
  • En entrenamiento (forward + backward), las aceleraciones son de 7.88x y 24.88x respectivamente.
  • Para log-firmas, las aceleraciones son aún mayores, alcanzando hasta 84x frente a pySigLib.
• Uso de Memoria:
  • pathsig mantiene un uso de VRAM muy bajo, escalando linealmente con el tamaño de la firma ($O(B \cdot D_{sig})$).
  • En contraste, keras_sig escala con la longitud de la secuencia ($O(B \cdot M \cdot D_{sig})$), lo que provocó errores de "Out of Memory" (OOM) en configuraciones de secuencias largas donde pathsig funcionó sin problemas.
• Ejemplo de Aplicación (Proyección Escasa):
  • En un experimento de estimación del parámetro de Hurst en Movimiento Browniano Fraccional Multivariado, una proyección de palabras escasa (basada en la estructura de lead-lag) redujo la dimensionalidad de las características en 6.25x y el tiempo de entrenamiento en 2.24x, logrando al mismo tiempo un error de prueba menor que la truncación estándar.

5. Significado e Impacto

El trabajo de pathsig es significativo porque democratiza el uso de firmas de caminos en el aprendizaje profundo a gran escala.

• Viabilidad Práctica: Convierte a las firmas de caminos de una herramienta teórica o de pequeño tamaño en un componente viable para modelos industriales que requieren procesamiento de grandes volúmenes de datos secuenciales.
• Eficiencia de Recursos: La reducción drástica en el uso de memoria permite entrenar modelos con secuencias más largas o lotes (batches) más grandes en hardware disponible comercialmente.
• Nuevas Capacidades de Modelado: La capacidad de realizar proyecciones personalizadas y truncamientos anisotrópicos permite a los investigadores diseñar representaciones de características más compactas y específicas para el dominio, reduciendo el ruido y la redundancia sin sacrificar el poder expresivo del modelo.

En resumen, pathsig cierra la brecha entre la teoría robusta de las firmas de caminos y la necesidad práctica de escalabilidad en el aprendizaje automático moderno, ofreciendo una solución de alto rendimiento, flexible y nativa de GPU.