Torus embeddings

Este trabajo propone adaptar marcos de aprendizaje profundo para generar incrustaciones con topología toroidal que, al aprovechar la aritmética de enteros con desbordamiento, ofrecen una alternativa estable y comparable a las incrustaciones esféricas, facilitando así una implementación eficiente en dispositivos embebidos (TinyML).

Lo esencial

¡Hola! Imagina que quieres guardar millones de fotos de gatos, perros y pájaros en tu teléfono, pero tu teléfono es muy viejo y solo tiene una memoria muy pequeña y básica. Además, quieres que el teléfono pueda encontrar rápidamente una foto de un gato cuando se lo pides, sin gastar mucha batería.

Este es el problema que intenta resolver el artículo "Torus Embeddings" (Incrustaciones de Toro) del autor Dan Stowell.

Aquí te lo explico como si fuera una historia:

1. El Problema: Mapas que no encajan en la caja

Hoy en día, las Inteligencias Artificiales (IA) aprenden a entender el mundo convirtiendo cosas (como fotos o sonidos) en listas de números. A estas listas les llamamos vectores.

• La forma actual: La mayoría de las IAs modernas guardan estos números en una forma geométrica llamada hiperesfera (imagina una pelota perfecta en 3D, pero con muchas más dimensiones). Es como si todos los datos vivieran en la superficie de una pelota gigante.
• El problema de la computadora: Las computadoras comunes (como las de tu teléfono o tu laptop) son muy buenas manejando números enteros (como 0, 1, 2... 255) que tienen un límite. Si sumas 255 + 1, la computadora no hace 256, sino que se "desborda" y vuelve a empezar en 0. Es como un reloj: si son las 12 y pasa un minuto, son las 1 de nuevo.
• El conflicto: La "pelota" (hiperesfera) no encaja bien con el "reloj" (números que se desbordan). Intentar guardar la forma de una pelota en un reloj es como intentar meter un elefante en una caja de zapatos: desperdicias espacio o necesitas trucos complicados para que quepa.

2. La Solución: El "Toro" (Donut)

El autor propone cambiar la forma de la pelota por un Toro (un donut o una rosquilla).

• ¿Por qué un donut? Imagina un videojuego clásico como Pac-Man. Si Pac-Man sale por la derecha de la pantalla, aparece por la izquierda. Si sale por arriba, aparece por abajo.
• Esa es la magia del Toro: es un espacio que se conecta consigo mismo. Si te mueves muy lejos en una dirección, vuelves al principio.
• La ventaja: Esta forma de "rebotar" en los bordes es exactamente lo que hacen las computadoras antiguas y baratas con sus números enteros. No necesitan trucos ni matemáticas complejas; simplemente suman y, si se pasan, vuelven a cero. ¡Es como si la computadora y la IA fueran mejores amigos!

3. Los Dos Métodos: ¿Cómo dibujar el donut?

El autor prueba dos formas de convertir la información en este formato de "donut":

1. El método "Clifford" (El toro plano): Es como intentar estirar una goma elástica para que se vea plana. Funciona, pero a veces la goma se rompe (la IA se vuelve inestable y no aprende bien).
2. El método "Normalización" (El toro por pares): Este es el ganador. Imagina que tienes dos amigos (dos números) y siempre los mantienes a la misma distancia entre ellos, como si estuvieran bailando un vals. Al hacerlo con todos los números, creas una estructura de donut muy estable.
   • Resultado: Este método funciona tan bien como la "pelota" (hiperesfera) tradicional, pero es mucho más fácil de usar en computadoras sencillas.

4. La Prueba: ¿Funciona en la vida real?

El autor probó su idea en dos escenarios:

• Reconocimiento de imágenes: Usando fotos de gatos y perros (CIFAR). El método del "donut" funcionó casi tan bien como el método tradicional, pero era más eficiente.
• Reconocimiento de cantos de pájaros: Usando grabaciones de pájaros. Aquí, el método del "donut" fue incluso mejor en ciertas situaciones, especialmente cuando se usaban versiones muy comprimidas de los datos (como si guardaras la foto en blanco y negro en lugar de color).

5. ¿Por qué nos importa esto? (La analogía final)

Imagina que quieres enviar un mensaje por correo.

• El método actual (Hiperesfera): Es como enviar un paquete enorme y pesado en un camión de lujo (GPU). Es rápido, pero cuesta mucho dinero y energía, y no puedes usarlo en una bicicleta.
• El método del autor (Toro): Es como poner ese mismo paquete en una bicicleta ligera. El paquete es más pequeño, más ligero y puede viajar por cualquier camino (incluso por computadoras viejas o teléfonos baratos) sin gastar mucha batería.

En resumen

Este paper nos dice: "No necesitamos computadoras súper potentes para tener IA inteligente. Si cambiamos la forma geométrica de cómo guardamos los datos (de una pelota a un donut), podemos hacer que la IA funcione increíblemente bien en dispositivos pequeños, baratos y con poca batería."

Es un paso gigante hacia la IA verde y accesible, donde tu reloj inteligente o tu tostadora podrían tener su propia inteligencia sin necesitar una central eléctrica gigante.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Torus Embeddings" de Dan Stowell, traducido y estructurado en español:

Resumen Técnico: Torus Embeddings

1. El Problema

En el aprendizaje profundo (Deep Learning), las representaciones de datos (embeddings) suelen generarse en espacios euclidianos no acotados o restringidos a una hiperesfera. Si bien estas representaciones son efectivas, presentan un desajuste fundamental con la arquitectura de hardware de la mayoría de las computadoras modernas y antiguas:

• Ineficiencia de Representación: La representación numérica más eficiente y fundamental en la mayoría de los procesadores (CPU) son los enteros con desbordamiento (overflow), que operan bajo aritmética modular.
• Desconexión Topológica: Los vectores de enteros con desbordamiento no corresponden naturalmente a un espacio euclidiano ni a una hipersfera, sino a la topología de un toro (o hipertoro).
• Consecuencia: Forzar representaciones de hipersfera en hardware de enteros requiere esquemas de cuantización complejos y costosos (como esquemas esféricos o codificación-decodificación), lo que desperdicia capacidad de representación y añade complejidad computacional. Esto limita la eficiencia para implementaciones de "TinyML" en dispositivos con recursos limitados.

2. Metodología

El autor propone "invertir el problema": en lugar de adaptar los datos a la representación numérica del hardware, se elige un espacio topológico que se mapee naturalmente a la aritmética modular de los enteros.

• Topología del Toro: Se propone utilizar un hipertoro plano (flat square torus), donde cada dimensión es un ciclo (anillo) debido a la aritmética modular.
• Estrategias de Entrenamiento: Se investigan dos métodos para proyectar representaciones de alta dimensión en un hipertoro dentro de marcos de aprendizaje profundo estándar (usando PyTorch/TensorFlow):
  1. Proyección Clifford: Mapea las coordenadas $(x_1, ..., x_D)$ a un espacio de dimensión $2D$ utilizando funciones trigonométricas ($\sin, \cos$) para crear un toro Clifford (un subespacio de una hipersfera). Esto permite usar la distancia coseno durante el entrenamiento.
  2. Normalización L2 Pares (L2p): Una estrategia basada en la normalización que aplica la restricción de norma L2 a pares de dimensiones consecutivas. Mapea los datos a un toro Clifford manteniendo la dimensión intrínseca en $D/2$. Esta es la estrategia que demuestra mayor estabilidad.
• Regularización y Estabilidad: Se introduce el uso de la regularización KoLeo (inspirada en el estimador de entropía diferencial) para promover una distribución uniforme de los puntos de datos en el espacio, evitando el colapso de la representación. También se emplea recorte de gradiente (gradient clipping) para evitar la inestabilidad causada por actualizaciones de gradiente extremas que podrían "envolver" el espacio múltiples veces en la topología toroidal.
• Inferencia: Durante la inferencia, las representaciones se convierten de vuelta a su forma de "toro plano" (usando $\arctan2$) para aprovechar la aritmética de enteros con desbordamiento, permitiendo cálculos de distancia extremadamente rápidos y eficientes en hardware estándar.

3. Contribuciones Clave

• Adaptación de Frameworks: Demuestra que los frameworks de aprendizaje profundo estándar pueden adaptarse fácilmente para crear representaciones con topología toroidal intrínseca mediante modificaciones simples (reemplazando la normalización L2 estándar).
• Estabilidad de Entrenamiento: Identifica que la estrategia de normalización basada en pares (L2p) es más estable y performante que la proyección Clifford directa, especialmente en dimensiones bajas.
• Propiedades de Cuantización: Investiga y demuestra que las representaciones toroidales son una coincidencia natural para la cuantización de enteros. Mantiene una alta fidelidad incluso bajo cuantización de muy bajo bitrate (8-bit y 1-bit).
• Implementación Eficiente: Propone un camino directo hacia implementaciones de "TinyML" eficientes, donde los embeddings pueden ejecutarse en CPUs generales sin necesidad de hardware especializado (GPUs/TPUs) ni formatos de punto flotante complejos.

4. Resultados

Los experimentos se realizaron en tres escenarios: clasificación de imágenes (CIFAR-10/100), cuantización post-entrenamiento y clasificación de pocos ejemplos (few-shot) en datos de audio (cantos de aves, dataset BIRB).

• Rendimiento General: Las embeddings toroidales (específicamente el método torusN o L2p) logran un rendimiento comparable a las embeddings de hipersfera estándar. No superan sistemáticamente a las hipersferas en precisión de alta resolución, pero son competitivas.
• Estabilidad: El método torusC (Clifford directo) mostró inestabilidad en dimensiones bajas sin una fuerte regularización KoLeo y recorte de gradiente. El método torusN fue robusto y estable.
• Cuantización:
  • En 8-bit, el rendimiento se mantiene casi intacto para ambos tipos de embeddings.
  • En 1-bit y compresión extrema (Product Quantization - PQ), las representaciones toroidales a menudo superan a las de hipersfera en configuraciones de baja dimensión, aunque en general ambas son resilientes a la cuantización.
  • La cuantización de cuadrícula (grid quantisation) es trivial para el toro plano, mientras que la hipersfera requiere mapeos más complejos.
• Datos de Audio: En la tarea de clasificación de pocos ejemplos de cantos de aves, las representaciones toroidales de baja dimensión (16D y 32D) mostraron una mejor generalización que las de hipersfera en ciertos escenarios.

5. Significado e Impacto

El trabajo es significativo por varias razones:

• Eficiencia de Hardware: Cierra la brecha entre la teoría de representaciones de aprendizaje profundo y la realidad de la aritmética de enteros en CPUs. Permite que los embeddings se ejecuten de manera nativa y eficiente en hardware de bajo consumo y antiguo, alineándose con los principios de la "permacomputación".
• Simplicidad para TinyML: Ofrece una vía simple para implementar modelos de IA en dispositivos embebidos sin necesidad de hardware especializado, facilitando la implementación de modelos grandes en entornos con recursos limitados.
• Reevaluación de Topologías: Sugiere que la elección de la topología del espacio de embeddings (hipersfera vs. toro) es un hiperparámetro crítico que a menudo se pasa por alto, y que el toro es una opción natural y subutilizada para la era de la computación cuántizada y eficiente.

En conclusión, el artículo demuestra que los Toros Embeddings son una alternativa viable, estable y altamente eficiente para las representaciones de hipersfera, especialmente valiosa para aplicaciones que requieren inferencia en hardware limitado y cuantización agresiva.