Function approximation and nonparametric regression with binary and ternary ReLU networks

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Katze auf einem Foto zu erkennen oder das Wetter vorherzusagen. Um dies zu tun, verwendet der Roboter ein „neuronales Netz“, das im Grunde ein riesiges, vielschichtiges Geflecht aus mathematischen Schaltern ist. Betrachten Sie diese Schalter als winzige Entscheidungsträger, die Informationen weitergeben. In der realen Welt sind diese Netzwerke unglaublich leistungsstark, aber sie sind auch massiv, hungrig nach Elektrizität und benötigen riesige Mengen an Speicherplatz, um all ihre Einstellungen zu speichern. Das macht es schwierig, sie auf kleinen Geräten wie einer Smartwatch oder einer Drohne laufen zu lassen.

Wissenschaftler haben versucht, diese Netzwerke zu verkleinern, ohne dass sie dabei ihre Intelligenz verlieren. Eine beliebte Idee ist es, die „Einstellungen“ (die sogenannten Gewichte) des Netzwerks auf sehr einfache Zahlen zu beschränken, wie zum Beispiel nur 0, 1 oder -1. Es ist so, als würde man einem Koch sagen: „Du darfst nur Salz, Pfeffer oder gar keine Würze verwenden“, anstatt ihm ein ganzes Gewürzregal zur Verfügung zu stellen. Die große Frage ist: Kann ein Koch ein Gourmet-Menü mit einem so kleinen Vorrat an Zutaten zubereiten? Dieses Paper untersucht genau diese Frage und schaut sich dabei an, wie gut diese „einfache-Zahlen“-Netzwerke lernen können, komplexe, geschwungene Kurven (mathematische Funktionen) nachzuahmen und genaue Vorhersagen zu treffen, selbst wenn die Daten unordentlich sind.

Die große Idee des Papers: Kleine Werkzeuge, große Aufgaben

Der Autor dieses Papers, Aleksandr Beknazaryan, wollte beweisen, dass man kein riesiges Gewürzregal braucht, um ein Gourmet-Menü zu kochen. Er zeigt, dass tiefe neuronale Netze, die nur die einfachsten möglichen Zutaten verwenden – speziell binäre Gewichte (nur +1 und -1) und ternäre Gewichte (0, +1 und -1) – immer noch die schwere Arbeit leisten können, komplexe Muster zu erlernen.

Stellen Sie sich eine komplexe Funktion (wie die Form einer Wolke oder den Pfad eines springenden Balls) als eine sehr komplizierte Skulptur vor. Normalerweise würde man denken, dass man zur Erstellung einer perfekten Kopie ein Werkzeugkasten mit unendlich präzisen Werkzeugen benötigt. Dieses Paper argumentt, dass man tatsächlich eine nahezu perfekte Kopie mit einem „binären“ oder „ternären“ Werkzeugkasten bauen kann, vorausgesetzt, das Netzwerk ist tief genug (hat genügend Schichten) und klug darin, seine wenigen Werkzeuge einzusetzen.

Die Hauptergebnisse

Das Paper beweist zwei wesentliche Dinge und fungiert damit wie ein Bauplan für den Bau dieser schlanken, effizienten Maschinen:

1. Sie können komplexe Formen nachahmen: Der Autor demonstrierte, dass tiefe Netzwerke mit diesen einfachen Gewichten „β-Hölder-Funktionen“ approximieren können. Auf Deutsch bedeutet das, dass sie glatte, komplexe Kurven mit hoher Genauigkeit kopieren können. Obwohl das Netzwerk darauf beschränkt ist, nur +1, -1 oder 0 zu verwenden, kann es sich dennoch der Zielform unglaublich nah annähern, sofern das Netzwerk tief genug ist und eine bestimmte Anzahl von Verbindungen nutzt.
2. Sie können so gut vorhersagen wie die Besten: Das Paper untersuchte auch die „nichtparametrische Regression“, was eine schicke Art zu sagen: „einen Wert basierend auf Daten vorhersagen, ohne eine spezifische Formel vorauszusetzen“. Der Autor zeigte, dass diese spärlichen, ternären Netzwerke (die 0, +1, -1 verwenden) die Minimax-Rate der Vorhersage erreichen können. Das ist ein sperriger Begriff, aber er bedeutet einfach, dass sie so gut sind wie der theoretisch bestmögliche Prädiktor für diese Art von Problem, abgesehen von einem winzigen „logarithmischen Faktor“ (einem sehr kleinen Strafwert, der nur langsam wächst).

Kurz gesagt: Das Paper beweist, dass man ein neuronales Netz bis auf das Skelett reduzieren kann – indem man nur die einfachsten Zahlen für seine Einstellungen verwendet – und es dennoch immer noch zur Spitze seiner Klasse gehört.

Wie sie es gemacht haben (Der Zaubertrick)

Der Autor hat nicht nur geraten; er hat eine mathematische Brücke gebaut. Er begann mit einem bekannten Ergebnis: Ein Netzwerk, das einen etwas größeren Satz an Zahlen verwendet (0, ±0,5, ±1, ±2), konnte die Aufgabe bereits bewältigen. Dann zeigte er, wie man dieses Netzwerk in eines umwandelt, das nur die einfachsten Zahlen verwendet.

Stellen Sie sich vor, Sie haben ein Rezept, das „einen halben Becher Zucker“ und „zwei Tassen Mehl“ verlangt. Der Autor zeigte, wie man dieses Rezept so umschreibt, dass es nur noch „einen Becher“ und „minus einen Becher“ (was in der Welt dieser Netzwerke wie ein Schalter wirkt, um etwas zu neutralisieren) verwendet. Er bewies, dass man durch das Hinzufügen einiger zusätzlicher Schichten zum Netzwerk (es also tiefer zu machen) die Wirkung dieser ausgeklügelten Zahlen simulieren kann, indem man nur die einfachen verwendet.

Er zeigte auch, dass für die ternären Netzwerke (die 0, +1, -1 verwenden) die Anzahl der Verbindungen (Gewichte), die benötigt werden, um diese hohe Genauigkeit zu erreichen, überraschend gering ist. Das Netzwerk ist „sparse“ (dünnbesiedelt), was bedeutet, dass die meisten seiner Verbindungen Null sind (ausgeschaltet sind), was noch mehr Speicher und Energie spart.

Das Fazit

Das Paper kommt zu dem Schluss, dass diese binären und ternären Netzwerke nicht nur theoretische Kuriositäten sind, sondern leistungsstarke Werkzeuge. Sie können komplexe Funktionen approximieren und Ergebnisse mit einer Genauigkeit vorhersagen, die mit den besten Methoden konkurriert, obwohl sie aus sehr einschränkenden, einfachen Zutaten bestehen.

Der Autor ist sich dessen sehr sicher, da er einen mathematischen Beweis geliefert hat. Er hat nicht nur eine Computersimulation durchgeführt und gesagt: „Es sieht so aus, als würde es funktionieren.“ Er hat Schritt für Schritt gezeigt, dass diese Netzwerke innerhalb bestimmter Grenzen arbeiten müssen. Obwohl das Paper anmerkt, dass die Genauigkeit mit einem kleinen logarithmischen Penalty (einem kleinen Preis für die Einfachheit) einhergeht, ist das Ergebnis eine starke Bestätigung dafür, dass wir hocheffiziente KI-Modelle mit kleinem Fußabdruck bauen können, ohne deren Fähigkeit zu lernen und vorherzusagen zu opfern. Dies öffnet die Tür, um hochentwickelte KI auf Geräten laufen zu lassen, die die schwere Last herkömmlicher, massiver neuronaler Netze derzeit noch nicht bewältigen können.