🤖 machine learning

Quotient Tree Arithmetic: Deferred-Division Computation with Bounded Symbolic Depth and Cross-Subtree Cancellation

Este artículo introduce la Aritmética de Árbol de Cocientes (QTA, por sus siglas en inglés), un marco computacional que representa los valores como pares de cocientes diferidos para lograr aritmética racional exacta, profundidad simbólica acotada y cancelación entre subárboles, reduciendo así significativamente los errores numéricos y la sobrecarga de memoria en el entrenamiento de aprendizaje automático al conectar la teoría de localización algebraica con la aritmética IEEE nativa del hardware.

Autores originales: Gregory Magarshak

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gregory Magarshak

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas medir el mundo con una regla que tiene un pequeño defecto invisible. Durante décadas, científicos y programadores de computadoras han utilizado una herramienta de medición estándar llamada "aritmética de punto flotante" para hacer matemáticas en las computadoras. Es increíblemente rápida y funciona para casi todo, desde calcular trayectorias de cohetes hasta entrenar la IA que recomienda tu próxima canción favorita. Pero tiene un fallo famoso y molesto: no puede manejar ciertos números simples perfectamente. Si le pides a una computadora que sume 0.1 y 0.2, no te da exactamente 0.3; te da 0.30000000000000004. Es como intentar cortar una pizza en rebanadas perfectas con un cuchillo sin filo; eventualmente, las migajas se acumulan y tus rebanadas no son iguales. Este pequeño error puede causar grandes problemas, como que una IA se confunda porque sus cálculos internos se desvían, o que un sistema financiero pierda el rastro de un centavo.

Para solucionar esto, la gente suele usar herramientas "decimales" especiales que son más lentas, o usa matemáticas "simbólicas" que son súper precisas pero increíblemente pesadas y lentas, como intentar cargar una biblioteca en tu mochila solo para comprar un café. La gran pregunta siempre ha sido: ¿Podemos obtener la velocidad de la regla rápida y defectuosa y la precisión perfecta de la pesada y lenta al mismo tiempo? Este es el rompecabezas que un nuevo artículo de Gregory Magarshak intenta resolver. Él propone un truco ingenioso que convierte la matemática estándar de la computadora en un sistema de fracciones perfectas, manteniendo la velocidad del hardware mientras elimina los pequeños errores que suelen aparecer.

El artículo introduce un sistema llamado Aritmética de Par Racional (RPA, por sus siglas en inglés). En lugar de almacenar un número como 0.3 como un solo decimal ligeramente desordenado, la computadora lo almacena como un par de números enteros: un numerador (3) y un denominador (10). Piensa en ello como guardar una receta como "3 tazas de harina divididas por 10" en lugar de escribir "0.3 tazas". La magia ocurre porque las computadoras modernas son en realidad muy buenas manejando números enteros perfectamente, siempre y cuando no sean demasiado grandes. El artículo señala que las computadoras pueden manejar cualquier número entero hasta aproximadamente 9 cuadrillones ( $9 \times 10^{15}$ ) sin cometer un solo error. Dado que la mayoría de las mediciones del mundo real (como el dinero, las coordenadas de GPS o los datos científicos) caben cómodamente dentro de este enorme rango, la computadora puede hacer todas sus matemáticas usando estos pares de números enteros perfectos.

El sistema funciona retrasando la división final. Cuando sumas o multiplicas estos pares, la computadora simplemente hace las matemáticas en los números de arriba y abajo por separado, manteniendo la fracción "sin simplificar" hasta que absolutamente tiene que mostrarte el resultado decimal. Para evitar que los números se vuelquen demasiado grandes y desordenados, el sistema tiene un paso de "limpieza". Imagina que tienes una fracción como 6/10; el paso de limpieza la simplifica instantáneamente a 3/5 dividiendo ambos por su máximo común divisor. El artículo sugiere que los chips de las computadoras deberían tener un botón especial y súper rápido para hacer esta limpieza instantáneamente, haciendo que todo el proceso sea casi tan rápido como la matemática estándar y defectuosa.

Aún más genial, el artículo muestra que estos pares pueden apilarse uno dentro de otro, como las muñecas rusas. Puedes tener una fracción donde la parte superior o la inferior es, en sí misma, otra fracción. Esto crea un "árbol" de matemáticas que la computadora puede mantener en su memoria sin calcular la respuesta final de inmediato. Esto es un cambio de juego para el aprendizaje profundo (el tipo de IA que impulsa los autos autónomos y los chatbots). En estos sistemas de IA, un problema común es el "gradiente desvaneciente", donde las matemáticas se vuelven tan diminutas después de muchas capas de cálculo que efectivamente desaparecen, causando que la IA deje de aprender. El artículo demuestra que, debido a que este nuevo sistema utiliza números enteros exactos, las matemáticas nunca pueden encogerse accidentalmente a cero a menos que sean verdaderamente cero. Es como tener una escalera que nunca pierde un peldaño, sin importar qué tan alto subas.

Los autores también muestran que este método hace que los resultados de la computadora sean perfectamente predecibles. Actualmente, si ejecutas el mismo entrenamiento de IA en dos tipos diferentes de tarjetas gráficas, podrías obtener resultados ligeramente distintos debido a cómo manejan los errores de redondeo. Con este nuevo sistema, si sigues los mismos pasos, obtienes exactamente la misma respuesta cada vez, en cualquier máquina. El artículo no afirma que esto sea una solución mágica para todo; admite que para cadenas extremadamente largas de multiplicación sin el paso de "limpieza", los números podrían volverse demasiado grandes para que la computadora los maneje. Pero para la mayoría de los usos prácticos, sugiere una forma de hacer que la computación científica y el entrenamiento de la IA sean exactos, estables y reproducibles sin sacrificar demasiada velocidad. Es una propuesta para actualizar la base misma de cómo las computadoras hacen matemáticas, convirtiendo un sistema que adivina en uno que sabe.

Resumen Técnico: Aritmética de Árboles de Cocientes (QTA)

Planteamiento del Problema

La aritmética de punto flotante (IEEE 754), aunque es el estándar para la computación científica y el aprendizaje automático durante décadas, sufre limitaciones fundamentales:

Representación inexacta: Los valores decimales comunes (por ejemplo, 0.1) no pueden representarse exactamente, lo que genera errores como $0.1 + 0.2 \neq 0.3$ .
Subdesbordamiento (Underflow) y gradientes evanescentes: Los valores diminutos se redondean a cero, causando el problema de los gradientes evanescentes en redes neuronales profundas donde los productos de gradientes colapsan a cero.
No determinismo: Los resultados varían entre hardware, versiones de compiladores y el orden de los operandos debido a los modos de redondeo y la disponibilidad de la suma-producto con acümü (FMA).
Heurísticas de comparación: Las comprobaciones de igualdad requieren tolerancias $\epsilon$ arbitrarias, las cuales son poco fiables.

Los remedios existentes, como las librerías de precisión arbitraria (GMP, Decimal), imponen costos de rendimiento severos, mientras que la cuantización (INT8, FP8) sacrifica la precisión e introduce errores sistemáticos.

Metodología

El artículo propone la Aritmética de Pares Racionales (RPA) y su extensión, la Aritmética de Árboles de Cocientes (QTA), como un marco unificado para la computación exacta y casi exacta.

1. Aritmética de Pares Racionales (RPA)

La idea central se basa en la Ventana de Exactitud de Enteros IEEE 754: los números de punto flotante de doble precisión IEEE 754 representan exactamente todos los enteros en el rango $(-2^{53}, 2^{53})$ .

Representación: Las cantidades de valor real se almacenan como pares ordenados $(n, d)$ de dobles IEEE, tratados estrictamente como enteros. El valor es $n/d$ , evaluado de forma perezosa (lazily).
Aritmética: Las operaciones se realizan sobre los componentes enteros:
- $(a, b) + (c, d) = (ad + bc, bd)$
- $(a, b) \times (c, d) = (ac, bd)$
- La comparación se realiza mediante multiplicación cruzada ($ad < bc$).
Exactitud: Siempre que $|n|, |d| < 2^{53}$ , toda la aritmética es exacta sin necesidad de librerías de multiprecisión. Esto cubre dominios prácticos como la moneda (hasta $\approx \$ 90$ mil millones en centavos) y mediciones científicas.

2. La Operación de Limpieza (Cleanup)

Para evitar que las magnitudes del numerador y el denominador crezcan sin control (lo que excedería la ventana de $2^{53}$ ), el sistema emplea una operación de Limpieza:

Mecanismo: Dividir tanto $n$ como $d$ por $\gcd(|n|, |d|)$ .
Propuesta de Hardware: El artículo propone una nueva instrucción SIMD, RatCleanup, para realizar la reducción de GCD vectorizada, haciendo que la RPA sea competitiva con los flotantes de precisión simple en términos de rendimiento (throughput).
Cancelación Rastreada: Para computaciones estructuradas (por ejemplo, denominadores fijos en divisas), el compilador puede cancelar factores sin un algoritmo de GCD completo, reduciendo la sobrecarga a $O(1)$ .

3. Aritmética de Árboles de Cocientes (RPA Anidada)

El marco se extiende a Pares Racionales Anidados, donde los numeradores o denominadores pueden ser, a su vez, pares racionales, formando un árbol de expresión simbólica.

Evaluación Diferida: Las expresiones se mantienen como árboles. La evaluación (aplanamiento a un único par) se difiere hasta que se solicita explícitamente un resultado de punto flotante concreto.
Profundidad Acotada: El Teorema 4.2 demuestra que la profundidad del árbol crece como máximo 1 por operación aritmética ( $O(m)$ de tamaño total para $m$ operaciones), evitando la explosión combinatoria ( $O(2^m)$ ) observada en los sistemas de álgebra simbólica genéricos.
Cancelación Cruzada: El Teorema 4.3 establece que los factores comunes que aparecen tanto en los subárboles del numerador como del denominador pueden cancelarse simbólicamente antes de realizar cualquier división. Esto aplica incluso a valores trascendentales (por ejemplo, $e^x$ ) si son referencia-iguales.

Contribuciones Clave

Definición Formal de RPA: Explotar la ventana de exactitud de enteros IEEE 754 para crear un tipo racional de ancho fijo y acelerado por hardware.
La Primitiva de Limpieza: Una instrucción de hardware propuesta (RatCleanup) y la prueba teórica de que mantiene los valores dentro de la ventana de exactitud, asegurando la exactitud indefinidamente.
Álgebra de Pares Racionales Anidados: Un tratamiento formal de la anidación simbólica con pruebas de crecimiento de profundidad acotada, aplanamiento en $O(k)$ pasos y teoremas de cancelación cruzada.
la Estabilidad de la Evaluación Diferida: La evaluación diferida reduce el error de redondeo de $O(m)$ ULPs (evaluación ansiosa) a $O(1)$ ULPs.
Imposibilidad de Gradiente Evanescente (Teorema 8.1): Bajo RPA con limpieza, es estructuralmente imposible que un producto de pares racionales no nulos sea cero. Esto elimina el subdesbordamiento aritmético en los gradientes de redes profundas.
Determinismo Multi-Hardware: Dada una orden de computación fija, los resultados de RPA son independientes de los modos de redondeo del hardware, la disponibilidad de FMA o las versiones de los controladores.

Resultados y Reivindicaciones

El artículo proporciona pruebas teóricas y estimaciones analíticas en lugar de comparativas empíricas:

Rendimiento (Throughput): Las estimaciones analíticas sugieren que la RPA plana es $\sim 5\text{--}18\times$ más lenta que FP32 (dependiendo de la operación y el costo de limpieza) pero comparable a FP64. Con la instrucción RatCleanup propuesta, la sobrecarga es manejable para aplicaciones de alta precisión.
Estabilidad de Gradiente: La imposibilidad estructural de los gradientes evanescentes permite la viabilidad teórica de redes "planas" muy profundas (cientos de capas) sin conexiones de salto (skip connections) o mecanismos de compuerta, siempre que la aritmética permanezca dentro de la ventana de exactitud.
Convergencia Exacta: Los criterios de convergencia pueden definirse como igualdad exacta ( $L_t = L_{t-1}$ ) en lugar de umbrales heurísticos ( $|L_t - L_{t-1}| < \epsilon$ ).
Eficiencia de Ancho de Banda: Al tratar la computación como una fase simbólica (construcción de árboles y cancelación) seguida de una fase numérica (materialización), la QTA reduce el tráfico de memoria. Los subárboles compartidos (por ejemplo, pesos) se cargan una sola vez, y las cancelaciones simbólicas eliminan las escrituras intermedias en memoria.

Significado

El artículo posiciona a la QTA no meramente como un formato numérico, sino como un sustrato computacional que desacopla la manipulación simbólica de la evaluación numérica.

Inteligencia Estructural: Argumenta que los sistemas de IA modernos pagan un "costo de peor caso" para cada consulta. La QTA introduce una capa de inteligencia estructural que explota las propiedades algebraicas (cancelación, división diferida) para reducir la computación real requerida, de manera similar a cómo funciona el caching o la atención dispersa (sparse attention), pero con garantías exactas.
Seguridad y Certificación: Para dominios críticos de seguridad (vehículos autónomos, IA médica), la capacidad de proporcionar derivadas certificadas (pruebas exactas de estacionariedad) y un entrenamiento reproducible representa un cambio de paradigma frente a las heurísticas probabilísticas.
Independencia de Hardware: Ofrece un camino hacia la computación científica determinista, eliminando la "corrupción de bits" (bit-rot) de los resultados a través de diferentes generaciones de GPU o versiones de CUDA.

Los autores concluyen que, si bien la RPA intercambia rendimiento bruto por exactitud, este compromiso es esencial para la computación científica y el aprendizaje automático de seguridad crítica, donde el costo del error es mayor que el costo de la computación. La instrucción propuesta RatCleanup se identifica como el habilitador clave para hacer que este marco sea práctico en las arquitecturas de hardware existentes.