Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU

Stellen Sie sich vor, Sie versuchen, einem Roboter das Sprechen, Zeichnen oder das Lösen von Rätseln beizubringen. Um dies zu tun, müssen Sie ein „Gehirn“ für ihn bauen, was Wissenschaftler ein neuronales Netz nennen. Aber hier liegt der knifflige Teil: Sie wissen nicht genau, wie groß dieses Gehirn sein sollte, wie viele Schichten es benötigt oder wie Sie seine Einstellungen optimieren sollen. Hier kommt die Neural Architecture Search (NAS) ins Spiel. Stellen Sie sich NAS als einen superorganisierten, unermüdlichen Roboter-Architekten vor, der tausende verschiedene Gehirnentwürfe ausprobiert, um zu sehen, welcher am besten funktioniert.

Normalerweise wird diese Aufgabe in riesigen, teuren Rechenzentren erledigt, die mit leistungsstarken Computerchips der Firma NVIDIA gefüllt sind, was Tausende von Dollar an Strom und Zeit kostet. Es ist, als würde man versuchen, einen Wolkenkratzer nur mit einer Flotte von riesigen Kränen zu bauen. Aber was wäre, wenn man dies auf einem normalen Laptop oder einem Gaming-Computer, den man bereits besitzt, erledigen könnte? Das ist die große Frage, die dieses Paper behandelt: Können wir das perfekte KI-Gehirndesign mit einer gewöhnlichen, erschwinglichen Grafikkarte eines anderen Unternehmens (AMD) finden, ohne auf diese schicken, teuren Rechenzentren angewiesen zu sein? Die Antwort ist wichtig, weil sie es jedem ermöglichen könnte – vom Studenten im Schlafzimmer bis zum Forscher mit einem kleinen Budget – an KI-Designs zu experimentieren, ohne das Budget oder den Planeten zu sprengen.

---

Die Geschichte des budgetfreundlichen KI-Architekten

Treffen Sie GaaR (Goal-Aware Adaptive Regulation). Betrachten Sie GaaR als einen cleveren, einspurigen Roboter-Architekten, der auf Ihrem Computer lebt. In einem früheren Abenteuer hat dieser Roboter erfolgreich ein Visionssystem (ein Gehirn, das Bilder „sieht“) unter Verwendung einer AMD-Grafikkarte für Endverbraucher entworfen. Er fand ein Design, das eine Genauigkeit von 94,36 % bei der Erkennung von Bildern in 45 Minuten erreichte und dabei jeden einzelnen Schritt in einer einfachen lokalen Datenbank protokollierte.

Nun stellt der Autor, Leon Sandler, die Frage: „Kann dieser gleiche Roboter-Architekt auch eine völlig andere Aufgabe bewältigen?“ Anstatt der KI das Sehen beizubringen (wie bei der vorherigen Bildaufgabe), kann er ihr das Sprechen beibringen? Diese neue Aufgabe beinhaltet Transformer-Sprachmodelle, die Art von Technologie, die Chatbots und Textgeneratoren antreibt. Diese sind sehr unterschiedlich von Bildgehirnen; sie sagen das nächste Wort in einem Satz voraus, anstatt Objekte in einem Bild zu identifizieren.

Das Experiment: Ein winziges Shakespeare-Theaterstück

Um dies zu testen, richtete der Forscher ein Rennen auf derselben alten AMD-Grafikkarte ein (eine RX 5700 mit 8 GB Speicher). Diese Karte ist besonders, weil sie nicht gut mit der üblichen „CUDA“-Software zusammenarbeitet, die die meisten KI-Tools verwenden; sie benötigt einen anderen Pfad namens DirectML. Der Roboter-Architekt musste diesen Pfad navigieren, ohne Hilfe von den üblichen Big-Data-Tools.

Die Aufgabe war einfach, aber streng:

1. Das Ziel: Die KI darauf trainieren, den nächsten Buchstaben in einem Text der „Gesammelten Werke von William Shakespeare“ (speziell der „Tiny Shakespeare“-Version) vorherzusagen.
2. Die Regeln: Der Roboter durfte ein Design nur für eine sehr kurze Zeit ausprobieren – genau 300 Schritte des Lernens pro Design. Er konnte nicht einfach ewig weiterlaufen; er musste effizient sein.
3. Die Variablen: Der Roboter konnte sechs Dinge über das KI-Gehirn anpassen: wie breit es ist, wie viele „Köpfe“ (Attention-Mechanismen) es hat, wie tief es ist, wie viel Text es gleichzeitig merken kann, wie viele Beispiele es gleichzeitig betrachtet und wie schnell es lernt.

Die Ergebnisse: Geschwindigkeit vs. Größe

Der Roboter ging an die Arbeit und durchlief acht Generationen von Designs. In nur 3 Minuten und 16 Sekunden echter Zeit fand er ein Champion-Design.

• Der Gewinner: Das beste Design hatte 0,8 Millionen Parameter (ein Maß für die Gehirngröße).
• Die Punktzahl: Es reduzierte die „Verwirrung“ (Validation Loss) der KI von 2,171 auf 2,021. Auf Deutsch gesagt: Die KI wurde besser darin, den nächsten Buchstaben in der Geschichte zu erraten.
• Die Überraschung: Der Roboter wählte nicht das größte, tiefste oder komplexeste Gehirn. Stattdessen entschied er sich für ein breites, aber flaches Gehirn mit einem kurzen Gedächtnis (Kontext).

Warum? Wegen des Budget-Effekts. Da jedes Design nur 300 Schritte zum Lernen erhielt, gewannen die Designs, die diese Schritte am schnellsten verarbeiten konnten. Ein riesiges, tiefes Gehirn ist langsam zu trainieren; ein breites, flaches Gehirn ist schnell. Bei einem Zeitbudget lernte der Roboter, dass „schnell und einfach“ besser ist als „langsam und komplex“. Es ist wie ein Rennen, bei dem jeder genau 100 Meter laufen muss; die Person, die am schnellsten sprinten kann, gewinnt, selbst wenn sie nicht die stärkste Läuferin ist.

Der Realitätscheck: Wann gewinnt der Roboter tatsächlich?

Dies ist der ehrlichste Teil der Geschichte. Der Forscher sagte nicht einfach: „Der Roboter ist ein Genie!“ Er testete ihn gegen einen Zufalls-Raten-Strategen. Er führte das Rennen 10 Mal durch und verglich die „gierige“ Strategie des Roboters (immer das Beste auswählen, was bisher gefunden wurde, und es dann leicht zu verändern) mit jemandem, der einfach völlig zufällig Designs auswählt.

• Das Ergebnis: Mit nur 8 Versuchen (dem kleinen Budget des Hauptexperiments) schnitten der Roboter und der Zufalls-Rate-Stratege gleich gut ab. Der Robocher gewann nicht gegen den Zufalls-Strategen; sie glichen.
• Die Lektion: Die „smarte“ Strategie des Roboters funktioniert nur, wenn das Problem groß genug und das Budget lang genug ist, um Muster zu erkennen. Auf einer winzigen, glatten Landschaft mit sehr wenigen Versuchen hilft es nicht viel, klug zu sein.
• Der Beweis: Um zu zeigen, dass der Roboter fähig ist, testete der Forscher ihn auf einem viel größeren, komplexeren Problem (einer Physiksimulation mit 6.000 möglichen Designs). Dort fand der Roboter die perfekte Lösung in 70 % der Fälle, während der Zufalls-Strategen sie in 0 % der Fälle fand.

Was das für Sie bedeutet

Dieses Paper beweist, dass Cross-Modal NAS (die Nutzung derselben Suchmaschine für verschiedene Arten von KI) auf günstiger Consumer-Hardware funktioniert. Es zeigt, dass Sie eine textgenerierende KI auf einer Standard-AMD-Grafikkarte in Minuten entwerfen können, ohne einen Supercomputer zu benötigen.

Es setzt jedoch auch eine klare Grenze: Wenn Sie nur eine sehr geringe Menge an Zeit oder Geld haben, um Designs zu testen, ist eine „smarte“ Suchstrategie vielleicht nicht besser als das bloße Zufallraten. Sie benötigen genügend Raum, um die Strategie wirken zu lassen.

Der Autor hat den gesamten Code, die Protokolle und die Datenbank geteilt, damit jeder dieses Experiment wiederholen kann. Die Botschaft ist klar: KI-Forschung muss nicht hinter teuren Türen verschlossen sein. Mit den richtigen Werkzeugen kann ein gewöhnlicher Computer ein leistungsstarkes Labor werden, um herauszufinden, wie man smartere, effizientere KI-Gehirne baut.