Sparse by Command: Task-Conditional Compute Skipping for Multi-Task Inference Accelerators
Dieses Paper präsentiert „Sparse by Command“, einen Hardware-Software-ko-designeden Ansatz, der Aufgabenbefehle nutzt, um unnötige Berechnungen durch leichtgewichtige Gating-Netzwerke und einen spezialisierten tiled Beschleuniger dynamisch zu überspringen, wodurch ohne Änderung der Modellarchitektur eine Reduktion der FLOPs um bis zu 76 % und eine 2,4-fache Latenzbeschleunigung für Multi-Task-Inferenz erreicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Dirigent eines riesigen, hochtechnologischen Orchesters. In der Welt der künstlichen Intelligenz ist dieses Orchester ein „neuronales Netzwerk“, ein gehirnähnliches Computerprogramm, das darauf ausgelegt ist, Entscheidungen zu treffen. Normalerweise, wenn dieses Orchester ein Musikstück spielt, greift jeder einzelne Musiker zu seinem Instrument und spielt, egal welche Art von Lied gerade aufgeführt wird. Wenn das Lied ein sanftes Schlaflied ist, spielen die schweren Trommeln und die dröhnenden Trompeten trotzdem mit voller Lautstärke, obwohl das Lied sie nicht benötigt. Das ist unglaublich verschwenderisch. Es verbraucht viel Energie und braucht viel Zeit, genau so, als würde man mit einem riesigen Lastwagen zum Kiosk fahren, um nur einen einzigen Apfel zu kaufen.
In dem speziellen Bereich des „Multi-Task-Inference“ ist dieses Problem noch größer. Hier wird ein einziger Computer-Verstand gleichzeitig gebildet, viele verschiedene Aufgaben gleichzeitig zu erledigen, wie etwa ein Auto zu steuern, zu bremsen oder nach links zu lenken. Das Problem ist, dass der Computer nicht weiß, welche Aufgabe er gerade ausführt, bis er mit der Arbeit beginnt, also bereitet er sich auf alle Aufgaben gleichzeitig vor und verschwendet dadurch Energie für Dinge, die er in diesem Moment gar nicht braucht. Wissenschaftler haben versucht, dieses Problem zu lösen, indem sie den Computer „sparse“ (dünnbesetzt) machen, was ein schickes Wort für „leer“ ist. Sie haben versucht, dem Computer zu sagen, dass er einige Noten überspringen soll, aber normalerweise muss der Computer trotzdem jede einzelne Note prüfen, um zu sehen, ob er sie überspringen soll, was Zeit und Energie kostet. Diese Arbeit stellt eine einfache Frage: Was wäre, wenn der Computer schon wüsste, welche Aufgabe er ausführen wird, bevor er überhaupt anfängt zu spielen, sodass er den Musikern sagen könnte, sie sollen ihre Instrumente schon vor dem Aufheben wieder beiseitelegen?
Die Autoren dieser Arbeit, ein Team aus Hongkong und Huawei, haben ein cleveres neues System namens „Sparse by Command“ entwickelt, das dieses Problem löst. Sie haben erkannt, dass in Aufgaben wie dem autonomen Fahren der „Befehl“ (wie „links abbiegen“ oder „bremsen“) schon viel früher bekannt ist, als der Computer anfängt, die Straße zu beobachten. Sie nutzten diese kostenlose Information, um eine intelligente Schaltzentrale zu erschaffen. Anstatt dass der Computer raten muss, welche Teile seines Gehirns er verwenden soll, schaltet ein winziges, superschnelles Hilfsnetzwerk basierend auf dem Befehl sofort einen Schalter um, der die spezifischen Teile des Hauptgehirns ausschaltet, die in diesem Moment nicht benötigt werden.
Denken Sie an ein Smart Home. Wenn Sie Ihrem Haus sagen: „Ich gehe jetzt schlafen“, dimmt das System nicht nur das Licht im Wohnzimmer; es weiß auch, dass Sie nicht in der Küche sind, und unterbricht die Stromzufuhr für die Küchenlichter komplett, noch bevor Sie überhaupt den Raum betreten. Die Autoren haben einen speziellen Computerchip (auf einem FPGA, was wie eine programmierbare Lego-Platte für Elektronik ist) gebaut, der diese Schalter versteht. Wenn der Befehl „bremsen“ lautet, überspringt der Chip 76 % der Arbeit. Wenn er „links abbiegen“ sagt, überspringt er etwa 71 %. Da der Chip die Arbeit physisch stoppt, anstatt nur so zu tun, als würde er sie ausführen, spart er eine gewaltige Menge an Zeit und Batterieleistung.
Die Ergebnisse sind äußerst beeindruckend. Als sie dies in einem simulierten Fahrspiel namens CARLA testeten, wurde das System viel schneller. Die Zeit, die es brauchte, um eine Entscheidung zu treffen, sank von 9,12 Millisekunden auf zwischen 3,74 und 4,44 Millisekunden. Das ist eine Beschleunigung um etwa das 2,1- bis 2,4-fache! Es wurde auch weniger Energie verbraucht, der Wert sank von 263 Millijoule auf etwa 108–128 Millijoule pro Entscheidung. Entscheidend war, dass das Auto nicht krachte oder den Weg verlor; es absolvierte immer noch 100 % der Fahrstrecken perfekt.
Die Arbeit zeigt auch, warum dieser Ansatz besser ist als ältere Methoden. Sie haben versucht, Teile des Gehirns permanent zu „prunen“ (auszuscheiden), also wie das dauerhafte Entfernen der Trommeln aus einem Orchester. Aber das funktionierte nicht gut, denn manchmal braucht man die Trommeln und manchmal nicht. Wenn man sie dauerhaft entfernt, kann das Orchester keine Lieder mehr spielen, die sie benötigen. Das „Sparse by Command“-System ist klüger, weil es alle Musiker bereit hält, sie aber nur dann herbeiruft, wenn das spezifische Lied sie tatsächlich braucht. Sie haben dies sogar an einem anderen Typ von Computer-Gehirn (einem Transformer) getestet und festgestellt, dass es dort ebenfalls funktioniert, was darauf hindeutet, dass diese Idee für viele verschiedene Arten von intelligenten Maschinen verwendet werden kann, nicht nur für Autos.
Kurz gesagt: Diese Arbeit beweist, dass man einem Computer, wenn man ihm eine klare Anweisung gibt, was er tun soll, sagen kann, er solle all die unnötige Mühe überspringen. Indem sie einen maßgeschneiderten Chip bauten, der diesen Anweisungen lauscht und die unnötige Arbeit physisch überspringt, haben sie ein intelligentes System geschaffen, das schneller, kostengünstiger im Betrieb und ebenso gut in seiner Aufgabe ist. Es ist eine Erinnerung daran, dass der beste Weg zur Effizienz manchmal nicht darin besteht, härter zu arbeiten, sondern genau zu wissen, was man nicht tun muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.