ONNX-Net: Towards Universal Representations and Instant Performance Prediction for Neural Architectures

In der Welt der künstlichen Intelligenz sind die leistungsfähigsten Werkzeuge oft neuronale Netze – Systeme, die sich lose am menschlichen Gehirn orientieren und lernen, Muster zu erkennen, Sprachen zu übersetzen oder Autos zu steuern. Jahrzehntelang haben Wissenschaftler versucht, diese Netzwerke von Hand zu bauen, indem sie ihre Struktur wie ein Mechaniker, der einen Motor justiert, anpassten. Doch als diese Systeme komplexer wurden, wurde die menschliche Intuition zu einem Flaschenhals. Dies führte zur Entstehung eines Feldes namens Neural Architecture Search (neuronale Architektur-Suche), bei dem Computer die Aufgabe erhalten, ihre eigenen Netzwerke zu entwerfen. Das Ziel ist es, Maschinen die Arbeit verrichten zu lassen, die bestmögliche Struktur für eine bestimmte Aufgabe zu finden. Dieser Prozess ist jedoch ins Stocken geraten. Um zu wissen, ob ein Design gut ist, muss der Computer es bauen und von Grund auf neu trainieren – ein Prozess, der auf massiven Supercomputern Tage oder sogar Wochen dauern kann. Dies macht die Suche unglaublich langsam und teuer, was den Umfang der Experimente einschränkt.

Ein Forschungsteam hat nun einen Weg vorgeschlagen, diesen Flaschenhals zu durchbrechen – nicht durch schnellere Computer, sondern indem es ändert, wie über die Designs gesprochen wird. Sie führten ein neues System namens ONNX-Net ein, das als universeller Übersetzer für neuronale Netze fungiert. Anstatt jedes neue Design in eine starre, vordefinierte Box zu zwängen, liest dieses System den Bauplan des Netzwerks so, als wäre er ein einfacher Satz. Durch die Umwandlung komplexer technischer Diagramme in einfache Textbeschreibungen trainierten die Forscher ein Sprachmodell darauf, die Leistung eines Netzwerks vorherzusagen, indem es lediglich diesen Text liest. Das Ergebnis ist ein Werkzeug, das den Erfolg eines neuronalen Netzwerkdesigns sofort erraten kann, ohne es jemals bauen oder trainieren zu müssen, was enorme Mengen an Zeit und Energie spart.

Das Kernproblem, das die Forscher angegangen sind, war, dass frühere Versuche, diesen Prozess zu beschleunigen, zu eng gefasst waren. Frühere Methoden funktionierten gut nur für Netzwerke, die aus kleinen, sich wiederholenden Blöcken bestanden, vergleichbar mit dem Stapeln identischer Lego-Steine. Doch als Wissenschaftler begannen, flexiblere und komplexere Netzwerke zu entwerfen, versagten jene alten Methoden, da sie die neuen, unregelmäßigen Formen nicht verstehen konnten. Zudem waren die Daten, die für diese Vorhersagewerkzeuge verwendet wurden, über verschiedene Formate verstreut, was es unmöglich machte, einen einzigen, intelligenten Prädiktor zu erstellen, der jeden Typ von Netzwerk handhaben konnte. Um dies zu lösen, baute das Team zunächst eine massive, vereinheitlichte Bibliothek namens ONNX-Bench auf. Sie sammelten fast 650.000 verschiedene neuronale Netzwerkdesigns aus verschiedenen Quellen und konvertierten sie alle in ein einziges, Standard-Dateiformat namens ONX. Dieses Format ist wie eine universelle Sprache für neuronale Netze, die in der Lage ist, jede Struktur zu beschreiben, egal wie komplex oder ungewöhnlich sie ist.

Nachdem sie diese massive Sammlung standardisierter Designs zusammengetragen hatten, standen die Forscher vor der Herausforderung, wie sie diese Informationen in ein Computerprogramm einspeisen sollten. Sie erkannten, dass der flexibelste Weg, ein Netzwerk zu beschreiben, nicht über komplexe Graphen oder Matrizen war, sondern durch natürliche Sprache. Sie entwickelten eine Methode, um die technischen Details jedes Netzwerks – welche Operationen es ausführt, wie seine Teile miteinander verbunden sind und die spezifischen Einstellungen für jede Komponente – in eine lesbare Textbeschreibung zu übersetzen. Stellen Sie sich ein Netzwerk als eine Reihe von Anweisungen vor: „Nimm einen Input, leite ihn durch einen Filter, wende dann eine Korrektur an und gib schließlich ein Ergebnis aus.“ Die Forscher schrieben Software, um diese Anweisungen für jedes der 650.000 Netzwerke in ihrer Bibliothek zu generieren.

Sie nutzten diesen Text dann, um ein Large Language Model zu trainieren – eine Art von künstlicher Intelligenz, die mit menschlicher Sprache vertraut ist –, um als Leistungsvorhersager zu fungieren. Anstatt zu lernen, Poesie zu schreiben oder Fragen zu beantworten, lernte dieses Modell, die technischen „Sätze“ zu lesen, die neuronale Netze beschreiben, und deren Genauigkeit vorherzusagen. Das Training war überraschend effizient. Das Modell lernte, präzise Vorhersagen zu treffen, nachdem es nur einen winzigen Bruchteil der für bisherige Methoden erforderlichen Daten gesehen hatte. Tatsächlich erreichte es das gleiche Leistungsniveau wie ältere Systeme unter Verwendung von weniger als einem Prozent der Trainingsdaten. Dies deutet darauf hin, dass der Computer durch die Beschreibung der Netzwerke in einem klaren, textbasierten Format die wesentlichen Merkmale eines Designs viel schneller erfassen kann als zuvor.

Der wahre Test für diesen neuen Ansatz war, ob er auf Designs generalisieren konnte, die er noch nie gesehen hatte. Die Forscher testeten das Modell, indem sie es auf Netzwerke aus einer spezifischen Familie trainierten und es dann fragten, die Leistung völlig anderer Netzwerke aus anderen Familien vorherzusagen. Die Ergebnisse waren beeindruckend. Das Modell sagte die Leistung dieser ungesehenen Designs mit hoher Genauigkeit voraus, eine Fähigkeit, die als Zero-Shot-Transfer bekannt ist. Das bedeutet, dass das System nicht für die neuen Arten von Netzwerken neu trainiert oder angepasst werden musste; es wandte einfach das Gelernte aus den Textbeschreibungen an, um die neuen Strukturen zu verstehen. Dies ist ein bedeutender Fortschritt, da frühere Werkzeuge oft auf die spezifischen Arten von Netzwerken beschränkt waren, für die sie trainiert wurden, und nicht in der Lage waren, sich an neue, komplexere Designs anzupassen.

Die Forscher untersuchten auch genau, welche Informationen das Modell benötigte, um diese Vorhersagen zu treffen. Sie zerlegten die Textbeschreibungen in verschiedene Teile, wie etwa die Namen der Operationen, die Formen der durch sie fließenden Daten und die vom Designer festgelegten Parameter. Sie fanden heraus, dass die Einbeziehung von Details darüber, wie die Netzwerkteile miteinander verbunden sind und welche Formen die Daten aufweisen, der entscheidende Faktor für den Erfolg war. Während das Modell bereits mit der Basiskonstruktion gut funktionierte, ermöglichte das Hinzufügen dieser spezifischen Details wesentlich präzisere Vorhersagen. Dies bestätigt, dass der textbasierte Ansatz die notwendigen Details eines Netzwerkdesigns erfasst, ohne sich in den unwichtigen Variationen des Codes zu verlieren.

Trotz dieser Erfolge weisen die Forscher vorsichtig auf die Grenzen ihrer Arbeit hin. Das System wurde primär auf Netzwerke trainiert und getestet, die für Bilderkennungsaufgaben unter Verwendung eines spezifischen Datensatzes namens CIFAR-10 entwickelt wurden. Obwohl die Methode theoretisch in der Lage ist, jedes Netzwerk zu handhaben, das in ihr Standardformat konvertiert werden kann, sind die aktuellen Ergebnisse auf diesen spezifischen Bereich beschränkt. Das Team räumt ein, dass die Vielfalt ihrer Trainingsdaten, obwohl groß, immer noch aus bestehenden Benchmarks stammt und noch nicht jeden möglichen Typ von neuronalem Netzwerk oder Aufgabe abdeckt. Sie weisen auch darauf hin, dass ihr textbasierter Ansatz zwar flexibler als frühere graphbasierte Ansätze ist, diese älteren Methoden jedoch in sehr spezifischen, eingeschränkten Szenarien immer noch besser abschneiden können.

Die Veröffentlichung dieses neuen Benchmarks und des dazugehörigen Vorhersagewerkzeugs öffnet eine Tür für eine effizientere Exploration in der künstlichen Intelligenz. Indem sie einen Weg bereitstellen, Designs sofort zu bewerten, ohne die hohen Kosten eines Trainings, können Forscher nun tausende Ideen in der Zeit testen, in der sie früher nur wenige testen konnten. Die Arbeit legt nahe, dass die Zukunft des Entwerfens neuronaler Netze nicht im Bau schnellerer Hardware liegen könnte, sondern im Finden besserer Wege, die Designs selbst zu beschreiben und zu verstehen. Die Forscher hoffen, dass sie durch die Bereitstellung ihrer Werkzeuge und Daten andere dazu ermutigen werden, Suchmethoden zu entwickeln, die nicht auf spezifische Arten von Netzwerken beschränkt sind, sondern sich an die stetig wandelnde Landschaft der künstlichen Intelligenz anpassen können.