Neural Network Training with Approximate Logarithmic Computations
Dieses Paper schlägt ein End-to-End-Schema für das Training und die Inferenz tiefer neuronaler Netze unter Verwendung von Berechnungen mit approximativen logarithmischen Zahlensystemen mit Festkomma-Arithmetik vor und zeigt auf, dass eine 16-Bit-Logarithmen-Domänen-Verarbeitung eine Klassifizierungsgenauigkeit innerhalb von etwa 1 % der Floating-Point-Baselines erreicht, während gleichzeitig die Notwendigkeit von Hardware-Multiplizierern eliminiert wird.
In der modernen Welt sind Computer bemerkenswert gut darin geworden, Muster zu erkennen, von der Identifizierung einer Katze in einem Foto bis hin zum Verständnis gesprochener Wörter. Diese Fähigkeit stammt von einer Art von Software namens neuronalem Netzwerk, das darauf ausgelegt ist, die Art und Weise, wie das menschliche Gehirn Informationen verarbeitet, durch das Verbinden vieler einfacher Verarbeitungseinheiten nachzuahmen. Um diese Netzwerke intelligent zu machen, müssen sie unter Verwendung riesiger Datenmengen trainiert werden, ein Prozess, der den Computer dazu zwingt, Milliarden komplexer Berechnungen durchzuführen. Traditionell verlassen sich diese Berechnungen stark auf die Multiplikation, eine Operation, die mathematisch unkompliziert ist, aber erhebliche Energie und spezialisierte Hardware erfordert, um sie schnell auszuführen. Da wir versuchen, diese intelligenten Systeme auf kleineren, batteriebetriebenen Geräten wie Smartphones oder Sensoren auszuführen, wird der hohe Bedarf an Multiplikation zu einem Engpass, der Energie verbraucht und den Lernprozess verlangsamt.
Ein Forschungsteam an der University of Southern California hat einen anderen Weg vorgeschlagen, um diese Berechnungen zu bewältigen, der das Training dieser Netzwerke viel effizienter machen könnte. Anstatt die Standardmultiplikation durchzuführen, die von traditionellen Methoden gefordert wird, schlagen sie vor, alle Zahlen in ein logarithmisches Format umzuwandeln. In diesem System wird die schwierige Aufgabe, zwei Zahlen zu multiplizieren, durch die viel einfachere Aufgabe ersetzt, sie zu addieren. Obwohl diese Umwandlung vielversprechend klingt, führt sie eine neue Herausforderung ein: Das Addieren von Zahlen in diesem logarithmischen Format ist nicht so einfach wie die Standardaddition und erfordert in der Regel komplexe Nachschlagetabellen oder Approximationen, um korrekt zu funktionieren. Die Forscher machten sich daran zu untersuchen, ob sie diese Additionen durch die Verwendung grober Approximationen, die für die Hardware leicht zu bauen sind, noch weiter vereinfachen können, ohne die Genauigkeit des Endergebnisses zu ruinieren.
Die Forscher entwickelten ein vollständiges System, bei dem der gesamte Trainings- und Testprozess eines neuronalen Netzwerks innerhalb dieser logarithmischen Welt stattfindet. Sie ersetzten die Standard-Multiplikationsschritte durch Addition und bewältigten die schwierigen Teile der logarithmischen Addition mithilfe von zwei spezifischen Abkürzungen. Eine Abkürzung nutzt eine kleine Tabelle mit vorberechneten Werten, ähnlich einem Spickzettel, während die andere eine einfache Bit-Shifting-Technik verwendet, die eine schnelle Methode für Computer ist, um mit Zweierpotenzen zu multiplizieren. Um ihre Idee zu testen, bauten sie eine digitale Simulation eines neuronalen Netzwerks und trainierten es auf mehreren bekannten Bilddatensätzen, darunter Bilder von handgeschriebenen Ziffern und Kleidungsstücken. Sie verglichen ihre neue logarithmische Methode mit der standardmäßigen, hochpräzisen Gleitkomma-Methode, die derzeit in den meisten leistungsstarken Computern verwendet wird.
Die Ergebnisse waren überraschend ermutigend. Als die Forscher eine 16-Bit-Repräsentation für ihre Zahlen verwendeten, erreichte die logarithmische Methode eine Klassifizierungsgenauigkeit, die innerhalb von etwa einem Prozent der standardmäßigen Gleitkomma-Methode lag. Das bedeutet, dass das Netzwerk trotz der Verwendung vereinfachter Mathematik und Approximationen lernte, Bilder fast so gut zu erkennen wie das traditionelle System. Sie fanden heraus, dass das System selbst mit einer sehr kleinen Nachschlagetabelle, die nur zwanzig Einträge enthielt, gut funktionierte, und in vielen Fällen die einfache Bit-Shifting-Abkürzung ausreichte, um eine hohe Genauigkeit aufrechtzuerhalten. Die Studie legt nahe, dass für viele gängige Aufgaben eine 16-Bit-Festkomma-Repräsentation im logarithmischen Bereich ausreicht, um sich der Leistung viel komplexerer Gleitkomma-Berechnungen anzunähern.
Diese Arbeit zeigt, dass es möglich ist, tiefe neuronale Netze zu trainieren, ohne auf teure Multiplikations-Hardware angewiesen zu sein, vorausgesetzt, dass die Additionsoperationen mit diesen spezifischen Approximationen gehandhabt werden. Die Forscher zeigten, dass die Verschlechterung der Genauigkeit minimal ist, was darauf hindeutet, dass zukünftige Hardware-Designs potenzielle Multiplikatoren für Trainings- und Inferenzaufgaben vollständig eliminieren könnten. Dies würde zu Geräten führen, die kleiner, schneller und energieeffizienter sind und in der Lage sind, direkt am Edge zu lernen und sich anzupassen, ohne Daten an einen großen Server zurücksenden zu müssen. Während sich die Studie auf spezifische Arten von Netzwerken und Datensätzen konzentrierte, deuten die Ergebnisse auf einen praktikablen Weg hin, um fortschrittliche künstliche Intelligenz für alltägliche Geräte zugänglicher und praktischer zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.