Quotient Tree Arithmetic: Deferred-Division Computation with Bounded Symbolic Depth and Cross-Subtree Cancellation
Dieses Paper führt die Quotient Tree Arithmetic (QTA) ein, ein Rechenmodell, das Werte als aufgeschobene Quotientenpaare darstellt, um exakte rationale Arithmetik, begrenzte symbolische Tiefe und Subtree-übergreifende Kancellation zu erreichen, wodurch numerische Fehler und den Speicherbedarf beim Training von maschinellem Lernen signifikant reduziert werden, während gleichzeitig die algebraische Lokalisierungstheorie mit der hardware-nativen IEEE-Arithmetik verknüpft wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die Welt mit einem Lineal zu messen, das einen winzigen, unsichtbaren Makel hat. Seit Jahrzehnten verwenden Wissenschaftler und Programmierer ein Standard-Messwerkzeug namens „Fließkomma-Arithmetik“, um Berechnungen auf Computern durchzuführen. Es ist unglaublich schnell und funktioniert für fast alles, von der Berechnung von Raketenbahnen bis hin zum Training der KI, die Ihnen das nächste Lieblingslied empfiehlt. Aber es hat einen berühmten, nervigen Fehler: Es kann bestimmte einfache Zahlen nicht perfekt handhaben. Wenn Sie einen Computer bitten, 0,1 und 0,2 zu addieren, liefert er Ihnen nicht exakt 0,3, sondern 0,30000000000000004. Es ist, als würde man versuchen, eine Pizza mit einem stumpfen Messer in perfekte Stücke zu schneiden; irgendwann häufen sich die Krümel an, und Ihre Stücke sind nicht mehr gleich groß. Dieser winzige Fehler kann große Probleme verursachen, wie zum Beispiel eine KI, die durcheinandergerät, weil ihre internen Berechnungen auseinanderdriften, oder ein Finanzsystem, das den Überblick über einen Cent verliert.
Um dies zu beheben, verwenden die Leute normalerweise spezielle „Dezimal“-Werkzeuge, die langsamer sind, oder sie nutzen „symbolische“ Mathematik, die supergenau, aber unglaublich schwerfällig und langsam ist – wie der Versuch, eine Bibliothek in seinem Rucksack zu tragen, nur um einen Kaffee zu kaufen. Die große Frage war schon immer: Können wir die Geschwindigkeit des schnellen, fehlerhaften Lineals und die perfekte Genauigkeit des schweren, langsamen Werkzeugs gleichzeitig erreichen? Dies ist das Rätsel, das eine neue Arbeit von Gregory Magarshak zu lösen versucht. Er schlägt einen cleveren Trick vor, der die Standardmathematik des Computers in ein System perfekter Brüche verwandelt und so die Geschwindigkeit der Hardware beibehält, während er die winzigen Fehler eliminiert, die normalerweise entstehen.
Die Arbeit stellt ein System namens Rational Pair Arithmetic (RPA) vor. Anstatt eine Zahl wie 0,3 als eine einzige, leicht ungenaue Dezimalzahl zu speichern, speichert der Computer sie als Paar ganzer Zahlen: einen Zähler (3) und einen Nenner (10). Denken Sie daran, wie man ein Rezept als „3 Tassen Mehl geteilt durch 10“ aufschreibt, anstatt „0,3 Tassen Mehl“. Die Magie liegt darin, dass moderne Computer tatsächlich sehr gut darin sind, ganze Zahlen perfekt zu handhaben, solange diese nicht zu groß sind. Die Arbeit weist darauf hin, dass Computer jede ganze Zahl bis etwa 9 Billiarden () ohne einen einzigen Fehler verarbeiten können. Da die meisten realen Messungen (wie Geld, GPS-Koordinaten oder wissenschaftliche Daten) bequem in diesen riesigen Bereich passen, kann der Computer all seine Berechnungen mit diesen perfekten Ganzzahl-Paaren durchführen.
Das System funktioniert, indem es die endgültige Division aufschiebt. Wenn Sie diese Paare addieren oder multiplizieren, rechnet der Computer einfach mit den oberen und unteren Zahlen separat und behält den Bruch „unkonvertiert“ bei, bis er absolut notwendig ist, das Dezimalergebnis anzuzeigen. Um zu verhindern, dass die Zahlen zu groß und unordentlich werden, hat das System einen „Bereinigungs“-Schritt. Stellen Sie sich vor, Sie haben einen Bruch wie 6/10; der Bereinigungsschritt vereinfacht ihn sofort zu 3/5, indem er beide Zahlen durch ihren größten gemeinsamen Teiler teilt. Die Arbeit legt nahe, dass Computerchips einen speziellen, superschnellen Knopf haben sollten, um diese Bereinigung sofort durchzuführen, was den gesamten Prozess fast so schnell wie die standardmäßige, fehlerhafte Mathematik macht.
Noch cooler ist, dass diese Paare ineinander gestapelt werden können, wie russische Matroschka-Puppen. Man kann einen Bruch haben, bei dem der obere oder untere Teil selbst wieder ein Bruch ist. Dies erzeugt einen mathematischen „Baum“, den der Computer in seinem Speicher halten kann, ohne das Endergebnis sofort berechnen zu müssen. Dies ist ein Wendepunkt für das Deep Learning (die Art von KI, die selbstfahrende Autos und Chatbots antreibt). In diesen KI-Systemen gibt es ein häufiges Problem, den „verschwindenden Gradienten“ (vanishing gradient), bei dem die Mathematik nach vielen Schichten der Berechnung so winzig wird, dass sie effektiv verschwindet, was dazu führt, dass die KI aufhört zu lernen. Die Arbeit beweist, dass dieses neue System, da es exakte ganze Zahlen verwendet, niemals versehentlich auf Null schrumpfen kann, es sei denn, es ist tatsächlich Null. Es ist wie eine Leiter, die niemals eine Sprosse verliert, egal wie hoch man klettert.
Die Autoren zeigen auch, dass dieses Verfahren die Computerergebnisse perfekt vorhersagbar macht. Momentan könnten Sie, wenn Sie dasselbe KI-Training auf zwei verschiedenen Grafikkarten ausführen, leicht unterschiedliche Ergebnisse erhalten, weil diese Rundungsfehler unterschiedlich handhaben. Mit diesem neuen System erhalten Sie, wenn Sie die gleichen Schritte befolgen, auf jeder Maschine exakt das gleiche Ergebnis. Die Arbeit behauptet nicht, dass dies eine magische Lösung für alles ist; sie räumt ein, dass bei extrem langen Multiplikationsketten ohne den „Bereinigungsschritt“ die Zahlen zu groß für den Computer werden könnten. Aber für die meisten praktischen Anwendungen schlägt sie einen Weg vor, das wissenschaftliche Rechnen und das KI-Training exakt, stabil und reproduzierbar zu machen, ohne dabei zu viel Geschwindigkeit einzubüßen. Es ist der Vorschlag, das Fundament, auf dem Computer rechnen, aufzuwerten – von einem System, das rät, zu einem, das weiß.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.