Native Multi-Dimensional Subquadratic Operators via Input Dependent Long Convolutions
Dieses Paper führt HyenaND ein, einen subquadratischen, eingabebestimmten Operator, der globale Faltungen direkt auf nativen mehrdimensionalen Datenstrukturen anwendet, um die Einschränkungen von Standard-Attention- und rekurrenten Modellen zu überwinden und durch eine spezialisierte CUDA-Implementierung wettbewerbsfähige Genauigkeit sowie signifikante Geschwindigkeitssteigerungen zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, die Welt zu verstehen. Momentan nutzen die besten Roboter ein Werkzeug namens „Attention“ (Aufmerksamkeit), um alles gleichzeitig zu betrachten, so wie ein Schüler, der eine ganze Textseite scannt, um die wichtigsten Wörter zu finden. Das funktioniert hervorragend bei kurzen Geschichten, aber wenn man dem Roboter eine ganze Bibliothek, einen 3D-Film oder eine komplexe Wetterkarte gibt, wird das „Attention“-Werkzeug überfordert. Es muss jedes einzelne Datenteil mit jedem anderen vergleichen, was so viel Zeit und Energie kostet, dass der Roboter abstürzt oder durch ein winziges Schlüsselloch auf die Daten starren muss (ein Prozess, der als „Patchification“ bezeichnet wird), nur um zu überleben.
Um dies zu beheben, versuchen Wissenschaftler, schnellere Werkzeuge zu bauen. Eine populäre Idee ist die Verwendung von „rekurrenten“ Modellen, die Daten wie eine Textzeile lesen, Wort für Wort nacheinander. Aber das ist so, als würde man versuchen, eine 3D-Skulptur zu verstehen, indem man sie nur aus einem einzigen Winkel betrachtet und den Rest errät; dies zerstört die natürliche Form des Objekts. Eine andere Idee ist die Verwendung von „Convolutions“ (Faltungen), die wie das Gleiten einer Lupe über ein Bild funktionieren, um Muster zu entdecken. Diese sind schnell und bewahren die 3D-Form, aber sie wirken meist wie ein starrer Stempel, der das exakt gleiche Muster auf jeden Teil des Bildes anwendet, ohne darauf zu achten, was tatsächlich dort ist. Die große Frage in dieser Ecke der Informatik lautet: Können wir ein Werkzeug bauen, das schnell genug ist, um massive 3D-Daten zu verarbeiten, die natürliche Form dieser Daten bewahrt und klug genug ist, seine „Lupe“ basierend auf dem, was es sieht, zu verändern?
Dieses Paper stellt ein neues Werkzeug namens HyenaND vor, das „Ja“ sagt. Betrachten Sie HyenaND als eine magische, formverändernde Lupe, die über ein 3D-Objekt (wie einen medizinischen Scan oder eine Wettersimulation) gleiten kann, ohne es jemals in eine 1D-Linie abzuflachen. Im Gegensatz zu den starren Stempeln der Vergangenheit kann dieses Werkzeug zuerst das gesamte Objekt betrachten, entscheiden, welche Art von Muster es finden muss, und dann sofort seine Linse anpassen, um passend zu sein. Dies geschieht durch einen cleveren mathematischen Trick unter Verwendung von „Fourier-Transformationen“ (einer Methode, Bilder in Schallwellen umzuwandeln, um sie schneller zu verarbeiten), der die Geschwindigkeit extrem hoch hält, da sie nur geringfügig langsamer wächst, wenn die Daten größer werden, anstatt in den Kosten zu explodieren.
Die Autoren fanden heraus, dass HyenaND ein Game-Changer für die Handhabung komplexer, mehrdimensionaler Daten ist. In ihren Tests zeigten sie, dass HyenaND Aufgaben bewältigen kann, die Standard-„Attention“-Werkzeuge aufgrund von Speicherlimits zum Absturz bringen würden, wie etwa die Analyse von 3D-medizinischen Bildern oder die Simulation von Fluiddynamik. Als sie es in einem „Kopierspiel“ testeten, bei dem der Roboter eine bestimmte Farbe aus einem 3D-Gitter sich merken musste, war HyenaND tausendmal genauer als die alten Methoden. Sie entwickelten auch eine spezielle Software-Engine namens nSubQ, um sicherzustellen, dass dieser mathematische Trick auf echten Computerchips blitzschnell läuft und den theoretischen Geschwindigkeitsvorteil in tatsächliche Zeitersparnis verwandelt.
Das Paper legt nahe, dass HyenaND, obwohl es für sich genommen bereits unglaublich leistungsstark ist, noch besser funktioniert, wenn es mit den alten „Attention“-Werkzeugen in einem Hybrid-Team kombiniert wird. In Experimenten mit DNA-Sequenzen, Computer Vision (ImageNet) und medizinischer Bildgebung übertrafen diese Hybrid-Teams sowohl reine Attention-Modelle als auch andere schnelle Modelle, die versuchen, Daten in einer Linie zu lesen. Die Autoren argumentieren, dass wir uns nicht mehr zwischen Geschwindigkeit und Intelligenz entscheiden müssen; wir können ein Werkzeug haben, das die 3D-Geometrie unserer Daten respektiert, auf massive Größen skaliert und dennoch genau auf die Details achtet. Sie kommen zu dem Schluss, dass dieser Ansatz einen großen Flaschenhals beseitigt, der es zukünftiger KI ermöglicht, die Welt endlich in ihrer nativen, hochauflösenden 3D-Pracht zu „sehen“, ohne durch ein winziges Schlüsselloch starren zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.