LEMUR 2: Unlocking Neural Network Diversity for AI
LEMUR 2 führt ein groß angelegtes, erweiterbares Framework ein, das generative, evaluative und Deployment-Pipelines vereinigt, um über 14.000 diverse neuronale Architekturen mit umfassenden Leistungsmetadaten zu erzeugen und damit eine neue Grundlage für reproduzierbares, datengesteuertes KI-Design und LLM-gesteuertes AutoML über multimodale Aufgaben und heterogene Hardware hinweg zu schaffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, das perfekte Haus zu bauen. Jahrelang haben Architekten (KI-Forscher) diese Häuser von Hand entworfen, Stein für Stein. Sie haben ein paar Standard-Blaupausen, die sie gerne verwenden, aber sie haben nicht wirklich untersucht, was passiert, wenn sie Steine aus verschiedenen Epochen mischen und kombinieren oder wenn sie versuchen, ein Haus zu bauen, das gleichermaßen gut in einer Wüste, einem Regenwald oder einem verschneiten Berg funktioniert.
LEMUR 2 ist ein riesiges neues Projekt, das alles verändert. Anstatt nur auf ein paar Lieblings-Blaupausen zu schauen, haben die Forscher eine gigantische, automatisierte „Baustelle“ errichtet, die über 14.000 einzigartige neuronale Netzwerkdesigns (die „Häuser“) produziert und alle testet.
So haben sie es gemacht, unter Verwendung einfacher Analogien:
1. Die Baucrew (Wie sie die Modelle erstellt haben)
Das Team hat nicht einfach nur eine Blaupause gezeichnet und sie kopiert. Sie haben sechs verschiedene „Crews“ eingesetzt, um diese 14.000 Designs zu generieren, was sicherstellt, dass die Sammlung unglaublich vielfältig ist:
- Die Genetischen Ingenieure (Evolution): Stellen Sie sich eine Population digitaler Kreaturen vor. Der Computer lässt sie über viele Generationen hinweg „brüten“ und „mutieren“, wobei er die stärksten Designs behält und die schwachen verwirft. Dies fand etwa 2.000 neue, starke Architekturen.
- Die Code-Mutatoren (AST-Editing): Dies ist wie ein Roboter, der eine bestehende Haus-Blaupause nimmt und die Breite der Flure oder die Größe der Fenster ändert. Er passt den Code leicht an, um zu sehen, ob das Haus immer noch steht.
- Die Fraktal-Bauer: Diese Baumeister nutzen ein mathematisches Muster, bei dem sich ein kleines Design immer wieder selbst wiederholt, um eine komplexe, selbstähnliche Struktur zu erstellen (wie ein Farnblatt oder eine Schneeflocke).
- Die Sammler (NN-RAG): Dies ist wie ein Roboter, der durch eine riesige Bibliothek von öffentlichem Code (wie einen riesigen Online-Baumarkt) geht, nützliche, vorgefertigte Teile findet (wie eine bestimmte Tür oder ein Fenster) und prüft, ob sie funktionieren, bevor er sie seinem Werkzeugkasten hinzufügt. Auf diese Weise fanden sie über 900 wiederverwendbare Teile.
- Die KI-Architekten (LLM & Reinforcement Learning): Sie haben ein superintelligentes KI-Modell (ein Large Language Model) gebeten, neue Blaupausen von Grund auf neu zu schreiben. Manchmal gaben sie ihm ein paar Beispiele für gute Häuser zum Kopieren (Few-Shot), und ein anderes Mal ließen sie die KI versuchen, ein Haus zu bauen, scheitern, eine „Standpauke“ (negative Belohnung) erhalten und es erneut versuchen, bis sie es richtig gemacht hatte (Reinforcement Learning).
- Die Daten-Mixer: Sie testeten auch 6.000 verschiedene Möglichkeiten, die „Zutaten vorzubereiten“ (Data Augmentation), bevor sie das Essen kochten, um zu sehen, welches Rezept das Modell am besten schmecken lässt.
2. Die Testgelände (Was sie getestet haben)
In der Vergangenheit konzentrierten sich die meisten Tests nur darauf, wie gut ein Modell eine Katze oder einen Hund auf einem Foto erkennen kann. LEMUR 2 ist viel breiter aufgestellt. Sie testeten diese 14.000 Modelle auf:
- Beschreiben von Bildern: Die KI eine Beschreibung eines Fotos schreiben lassen.
- Zeichnen von Bildern: Die KI eine Aufgabe geben, ein Bild aus einer Textbeschreibung zu erstellen.
- Schreiben von Texten: Die KI die Aufgabe geben, das nächste Wort in einer Geschichte vorherzusagen.
- Mischen von Experten: Ein „Team“ aus verschiedenen kleinen Modellen erstellen, die über die Antwort abstimmen, anstatt sich nur auf ein einziges großes Modell zu verlassen.
3. Der Realitätscheck (Deployment)
Dies ist die größte Innovation des Papers. Normalerweise testen Forscher Modelle auf riesigen, superschnellen Computern in einem Labor. LEMUR 2 fragt: „Funktioniert dieses Modell tatsächlich auf einem echten Telefon oder in einem Virtual-Reality-Headset?“
- NN-Lite (Der Telefon-Test): Sie nahmen tausende Modelle und versuchten, sie so weit zu verkleinern, dass sie auf einem Android-Smartphone laufen können. Sie maßen, wie schnell das Telefon unter Verwendung dieser Modelle „denken“ konnte.
- NN-VR (Der VR-Test): Sie versuchten, diese Modelle innerhalb einer Virtual-Reality-Game-Engine (Unity) laufen zu lassen. Sie prüften, ob das Modell schnell genug war, um mit einem 90Hz-VR-Headset Schritt zu halten (was bedeutet, dass das Modell 90 Mal pro Sekunde denken muss, sonst tritt beim Nutzer Schwindel auf).
4. Das Ergebnis: Eine massive Bibliothek
Das Endergebnis ist eine riesige Datenbank, die Folgendes enthält:
- Über 14.000 distinkte Modell-Designs.
- Über 750.000 Trainingsdatensätze (wie ein Logbuch für jeden einzelnen Testlauf).
- Echtzeit-Geschwindigkeitsdaten von Telefonen und VR-Headsets.
Warum ist das wichtig?
Denken Sie an die bisherige KI-Forschung als ein kleines Set von Lego-Steinen. Sie konnten ein paar coole Dinge bauen, aber Sie waren durch die Steine begrenzt, die Sie hatten.
LEMUR 2 entleert ein ganzes Lagerhaus voller verschiedener Lego-Steine, verschiedener Bauanleitungen und sogar Anleitungen dazu, wie man eine Lego-Burg baut, die in einen winzigen Rucksack (Mobiltelefon) oder einen Helm (VR) passt.
Durch diese massive, vielfältige Bibliothek können Forscher nun KI nutzen, um bessere KI zu entwerfen. Anstatt dass ein Mensch rät, welche Blaupause die beste ist, können sie diese Daten nutzen, um einen „Meisterarchitekten“ (ein Large Language Model) zu trainieren, um zu verstehen, was ein neuronales Netzwerk funktionsfähig macht, was zu klügeren, schnelleren und effizienteren KIs in der Zukunft führt.
Kurz gesagt: Sie haben eine massive, automatisierte Fabrik gebaut, um Tausende von verschiedenen KI-Gehirnen zu erschaffen und zu testen – nicht nur, um zu sehen, wie intelligent sie sind, sondern um zu sehen, ob sie tatsächlich auf den Geräten laufen können, die wir jeden Tag benutzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.