Stellen Sie sich vor, Sie versuchen, einen riesigen, sprechenden Roboter zu bauen, der Geschichten schreiben, Matheaufgaben lösen und wie ein Mensch chatten kann. Dieser Roboter wird eine Large Language Model (LLM) genannt. Um ihn zum Laufen zu bringen, benötigen Sie ein superschnelles Computergehirn, normalerweise eine Graphics Processing Unit (GPU), also denselben Typ Chip, der auch in High-End-Gaming-Computern zu finden ist. Aber hier ist der Haken: Diese Roboter werden immer größer und klüger, wodurch sie unglaublich teuer im Betrieb werden. Sie verschlingen gewaltige Mengen an Elektrizität und brauchen lange, um nachzudenken, was es schwierig macht, sie in realen Situationen wie Krankenhäusern oder Schulen einzusetzen.

Die große Frage, die sich Wissenschaftler stellen, lautet: „Wie können wir genau wissen, wie viel Energie und Zeit ein Roboter benötigen wird, noch bevor wir ihn überhaupt bauen?“ Momentan muss man, um das herauszufinden, den Roboter meist erst bauen, ihn laufen lassen und ihn mit speziellen Werkzeugen messen. Das ist langsam, teuer und erfordert, dass man den eigentlichen Supercomputer griffbereit hat. Wenn man tausend verschiedene Roboter-Designs ausprobieren möchte, um das effizienteste zu finden, müsste man sie alle nacheinander bauen und testen, was ewig dauern würde und ein Vermögen kosten würde.

Hier kommt ein Team von Forschern der University of Southern California mit einer neuen Idee namens HYMELL ins Spiel. Stellen Sie sich HYMELL als ein „Kristallglas“ für Informatiker vor. Anstatt den Roboter zu bauen und zu testen, ermöglicht Ihnen dieses neue Werkzeug, genau vorherzusagen, wie schnell und wie energiehungrig ein Roboter sein wird, indem Sie nur auf seine Baupläne schauen. Es nutzt eine geschickte Mischung aus klassischer Mathematik und modernem maschinellem Lernen, um die Kosten des Betriebs dieser riesigen Modelle zu schätzen. Die Forscher haben ihr Kristallglas auf einem leistungsstarken Computerchip, dem NVIDIA H100, getestet und festgestellt, dass es die Geschwindigkeit und den Energieverbrauch des Roboters mit erstaunlicher Genauigkeit vorhersagt – oft mit einer Abweichung von weniger als 5 %. Das bedeutet, dass Ingenieure nun tausende verschiedene Roboter-Designs auf einem Laptop ausprobieren können, um das effizienteste zu finden, ohne einen Supercomputer kaufen oder tagelang auf Ergebnisse warten zu müssen.

Der Detektiv auf drei Ebenen

Um zu verstehen, wie HYMELL funktioniert, stellen Sie sich vor, Sie versuchen abzuschätzen, wie lange es dauert, einen riesigen, mehrschichtigen Kuchen zu backen, und wie viel Strom Ihr Ofen verbrauchen wird. Sie könnten versuchen, die Gesamtzeit zu schätzen, indem Sie nur auf den fertigen Kuchen schauen, aber das ist oft ungenau, weil Sie die kleinen Details übersehen. Stattdessen agiert HYMELL wie ein Detektiv auf drei Ebenen, der das Problem in kleinere, handhabbare Teile zerlegt.

Ebene 1: Die winzigen Zutaten (Analytische Modellierung)
Zuerst betrachtet das System die kleinsten „Zutaten“ des Robotergehirns. Dies sind grundlegende mathematische Operationen wie das Multiplizieren riesiger Zahlenmatrizen (genannt GEMM), das Normalisieren von Daten (RMSNorm) und das Berechnen von Attention-Scores (Softmax). Die Forscher haben erkannt, dass sich diese winzigen Operationen unterschiedlich verhalten, je nachdem, wie groß die Aufgabe ist.

• Die Analogie: Denken Sie an eine kleine Küchenaufgabe wie das Schneiden einer einzigen Zwiebel. Wenn Sie nur eine Zwiebel haben, hängt die Zeit hauptsächlich davon ab, wie lange es dauert, zum Kühlschrank zu gehen, das Messer zu greifen und mit dem Schneiden zu beginnen (dies ist „launch-bound“ bzw. startgebunden). Aber wenn Sie einen Berg von Zwiebeln schneiden müssen, hängt die Zeit hauptsächlich von der tatsächlichen Schneidegeschwindigkeit und der Geschwindigkeit ab, mit der Sie die Zwiebeln bewegen können (dies ist „memory-bound“ bzw. speichergebunden).
• HYMELL verwendet mathematische Formeln, um die Kosten dieser winzigen Zutaten basierend darauf zu berechnen, ob die Aufgabe klein oder riesig ist. Es rät nicht; es nutzt physikbasierte Regeln, um die Basiskosten dieser Operationen zu ermitteln.

Ebene 2: Die Rezept-Blöcke (Maschinelles Lernen)
Als Nächstes gruppiert das System diese winzigen Zutaten in größere „Blöcke“, wie den Attention-Block (der dem Roboter hilft, sich auf wichtige Wörter zu konzentrieren) und das Feed-Forward-Netzwerk (das ihm hilft, Informationen zu verarbeiten).

• Die Analogie: Stellen Sie sich vor, Sie wissen genau, wie lange es dauert, eine Zwiebel zu schneiden und wie lange es dauert, Eier aufzuschlagen. Aber wenn Sie diese kombinieren, um ein Omelett zu machen, gibt es zusätzliche Schritte: die Schale aufbrechen, die Schüssel reinigen und vielleicht ein wenig warten. Diese zusätzlichen Schritte sind mit einfacher Mathematik schwer zu berechnen.
• Daher nutzt HYMELL ein kleines, intelligentes Computerprogramm (ein Modell des maschinellen Lernens), um diese „zusätzlichen Schritte“ zu erlernen. Es betrachtet die mathematischen Schätzungen aus Ebene 1 und fügt einen Korrekturfaktor für die unordentlichen, realen Overheads wie das Umformen von Daten oder den Wechsel zwischen Aufgaben hinzu. Dies ermöglicht es ihm, die Kosten eines ganzen „Rezept-Blocks“ sehr genau vorherzusagen.

Ebene 3: Der ganze Kuchen (End-to-End-Vorhersage)
Schließlich setzt das System alle Blöcke zusammen, um die Kosten des gesamten Roboters während eines vollständigen Gesprächs vorherzusagen.

• Die Analogie: Jetzt haben Sie die Zeit für das Omelett, den Kuchen und den Salat. Aber das Backen eines ganzen Banketts beinhaltet mehr, als nur die Zeiten zusammenzuzählen. Sie müssen sich darum kümmern, dass der Ofen heiß wird, die Küche voll wird und wie lange es dauert, die Teller vom Tresen zum Tisch zu bringen.
• HYMELL nutzt ein weiteres intelligentes Computerprogramm, um die Kosten aller Blöcke zu nehmen und diese „System-Ebene“-Effekte hinzuzufügen. Es berücksichtigt Dinge wie die Anzahl der Menschen, die gleichzeitig Fragen stellen (Batch-Größe), und ob der Roboter gerade einen langen Prompt liest oder nur ein Wort nach dem anderen generiert. Dies liefert eine endgültige, genaue Vorhersage der benötigten Gesamtzeit und Energie.

Was sie herausgefunden haben

Die Forscher haben ihren dreistufigen Detektiv auf einem leistungsstarken NVIDIA H100 GPU unter Verwendung bekannter Roboter-Modelle wie LLaMA 3, Mistral und Qwen getestet. Die Ergebnisse waren beeindruckend.

• Hohe Genauigkeit: Für die winzigen Zutaten (Ebene 1) lagen die Vorhersagen unglaublich nah an der Realität, wobei die Fehler oft unter 4 % lagen. Für den gesamten Roboter (Ebene 3) sagte das System die Zeit und den Energieverbrauch mit einem Fehler von weniger als 5 % für viele Modelle voraus. Beispielsweise war beim Testen des LLaMA 3 8B Modells der Fehler während der „Prefill“-Phase (Lesen des Prompts) nur 4,19 % für die Zeit und 2,92 % für die Energie, und sogar noch niedriger (etwa 1,5 %) während der „Decode“-Phase (Generieren von Wörtern).
• Geschwindigkeit und Flexibilität: Da HYMELL basierend auf dem Bauplan (architektonische Parameter) statt durch das Ausführen des Roboters vorhersagt, ist es unglaublich schnell. Es ermöglicht Ingenieuren, tausende Designänderungen sofort zu erforschen. Sie könnten beispielsweise fragen: „Was passiert, wenn wir die Anzahl der Attention-Heads verdoppeln?“ und innerhalb von Sekunden eine Antwort erhalten, die zeigt, dass 64 Heads für ein spezifisches Setup die energieeffizienteste Wahl sind.
• Funktionsweise auf unterschiedlicher Hardware: Das Team hat auch gezeigt, dass diese Methode nicht an einen bestimmten Computertyp gebunden ist. Sie testeten sie auf einer anderen GPU (der NVIDIA RTX A6000), und das System funktionierte immer noch gut, mit Fehlern um die 8 %. Dies deutet darauf hin, dass, wenn Sie HYMELL auf einem neuen Computerchip verwenden möchten, Sie das Rad nicht neu erfinden müssen; Sie müssen lediglich einmal die grundlegenden Verhaltensweisen des neuen Chips messen, und der Rest des Systems passt sich automatisch an.

Was es nicht ist

Es ist wichtig zu beachten, was HYMELL nicht tut. Es ist kein Zauberstab, der Ihnen sagt, wie Sie einen Roboter von Grund auf neu bauen, noch ersetzt es vollständig die Notwendigkeit echter Tests. Es ist ein Vorhersagewerkzeug. Die Forscher betonen ausdrücklich, dass ihr Modell zwar sehr genau ist, aber dennoch kleine Fehler aufweist, insbesondere beim Umgang mit sehr komplexen Interaktionen zwischen verschiedenen Teilen des Roboters oder beim Wechsel zwischen verschiedenen Arten von Speicheroptimierungen. Außerdem merkten sie an, dass ihre Tests auf einzelnen Computern basierten und die Vorhersage, wie diese Roboter über viele Computer hinweg arbeiten, die zusammenarbeiten (Multi-GPU), weitere Schritte im System erfordern würde, die sie noch nicht vollständig gelöst haben.

Warum das wichtig ist

Die Schönheit von HYMELL liegt darin, dass es ein langsames, teures Ratespiel in eine schnelle, präzise Wissenschaft verwandelt. Durch die Kombination der Zuverlässigkeit mathematischer Formeln mit der Flexibilität des maschinellen Lernens gibt es Designern ein mächtiges Werkzeug, um grünere, schnellere und effizientere KI zu bauen. Anstatt durch das Testen jeder Idee Strom und Zeit zu verbrennen, können sie diesen „Kristallglas“-Ansatz nutzen, um die besten Designs zu finden, noch bevor sie sie überhaupt bauen – und so den Weg für eine nachhaltigere Zukunft der künstlichen Intelligenz ebnen.