Stellen Sie sich vor, Sie versuchen, das perfekte Videospiel für eine Handheld-Konsole auszuwählen. Sie haben eine riesige Bibliothek an Spielen, von winzigen Puzzle-Abenteuern bis hin zu massiven, weitläufigen Rollenspiel-Epen. Aber hier ist der Haken: Ihre Konsole ist ein wenig eigenwillig. Sie wird heiß, wenn man zu lange spielt, der Akku entlädt sich schnell und sie reagiert je nach der Art, wie man sie hält oder zu welcher Tageszeit man spielt, unterschiedlich auf verschiedene Spiele. Wenn Sie versuchen würden, jedes einzelne Spiel herunterzuladen und zu testen, um zu sehen, ob es reibungslos läuft, würden Sie den ganzen Tag mit dem Warten auf Downloads verbringen, nur um dann festzustellen, dass die Hälfte davon abstürzt oder laggt. Sie brauchen eine Möglichkeit, allein durch den Blick auf die Spielbeschreibung und die aktuelle Stimmung Ihrer Konsole zu erraten, welches Spiel tatsächlich funktionieren wird. Dies ist genau das Problem, vor dem die Welt der Künstlichen Intelligenz auf unseren Telefonen und kleinen Gadgets steht.

Wissenschaftler versuchen, „Large Language Models“ (LLMs) – superintelligente KI-Gehirne, die Geschichten schreiben, Fragen beantworten und Probleme lösen können – direkt auf unseren Geräten auszuführen, anstatt Daten an riesige Cloud-Server zu senden. Das ist großartig für den Datenschutz und die Geschwindigkeit, aber ein Albtraum für die Vorhersagbarkeit. Ein KI-Modell läuft vielleicht perfekt auf einem Telefon, friert aber auf einem anderen ein, selbst wenn die Telefone ähnlich aussehen. Warum? Weil die Geschwindigkeit einer KI von einer chaotischen Mischung aus Dingen abhängt: wie lang die Frage ist, wie heiß das Telefon wird, wie viel Akku noch übrig ist und sogar der spezifischen Software, die zur Ausführung der KI verwendet wird. Wenn wir nicht vorhersagen können, wie schnell eine KI laufen wird, bevor wir sie tatsächlich ausprobieren, verschwenden wir enorme Mengen an Zeit und Energie beim Testen von Modellen, die möglicherweise scheitern werden. Hier kommt die Geschichte der „Vorhersage der Zukunft“ ins Spiel.

Die Kristallkugel für die KI-Geschwindigkeit

In dieser Arbeit hat ein Team von Forschern der Georgia State University und des Army Research Laboratory eine „Kristallkugel“ für die KI-Geschwindigkeit gebaut. Sie nennen das ein runtime-aware latency prediction framework (ein lazuenzvorhersage-Framework mit Laufzeitbewusstsein). Lassen Sie uns das aufschlüsseln. „Latenz“ ist nur ein schicker Begriff dafür, wie lange etwas dauert, um zu geschehen. „Runtime-aware“ bedeutet, dass das System darauf achtet, was während die KI arbeitet, passiert, und nicht nur darauf, wie die KI auf dem Papier aussieht. Und „transferable“ bedeutet, dass diese Kristallkugel funktioniert, auch wenn man von einem Gerätetyp auf einen anderen wechselt.

Die Forscher erkannten, dass der Versuch, jedes KI-Modell auf jedem einzelnen Gerät zu testen, so ist, als würde man jede Eissorte der Welt probieren wollen, um seine Lieblingssorte zu finden. Das ist zu langsam und zu teuer. Stattdessen wollten sie ein System schaffen, das ein neues Gerät und ein neues KI-Modell betrachten und sagen kann: „Hey, diese Kombination wird wahrscheinlich etwa 10 Sekunden brauchen, um zu antworten.“

Wie die Kristallkugel funktioniert

Das Geheimnis ihres Systems ist, dass es nicht nur statische Fakten betrachtet. Stellen Sie sich vor, Sie versuchen zu erraten, wie schnell ein Auto fahren wird. Eine „statische“ Vermutung würde nur die Motorgröße und das Gewicht des Autos betrachten. Aber eine „runtime-aware“ Vermutung würde auch das Wetter, den Verkehr und die Frage prüfen, ob der Fahrer schläfrig ist.

Das System der Forscher macht zwei Dinge gleichzeitig:

1. Der statische Pfad: Es betrachtet den „Ausweis“ des Setups. Dazu gehören die Größe des Modells, der Typ des Telefons oder Gadgets und die Einstellungen.
2. Der dynamische Pfad: Es beobachtet den „Herzschlag“ des Geräts, während es läuft. Es verfolgt Dinge wie, wie heiß der Chip wird, wie schnell der Prozessor rotiert und wie viel Speicher verwendet wird.

Das System unterteilt die Arbeit der KI in zwei Phasen, wie ein zweiteiliges Rennen:

• Die Prefill-Phase: Dies ist die Phase, in der die KI Ihre Frage liest und ihre Gedanken ordnet. Es ist meist ein kurzer, intensiver Sprint.
• Die Decode-Phase: Dies ist die Phase, in der die KI die Antwort schreibt, Wort für Wort. Dies ist ein längerer, stetiger Dauerlauf.

Indem sie diese beiden Phasen separat behandeln und die „Ausweis“-Informationen mit den „Herzschlag“-Daten mischen, baut das System eine viel intelligentere Vorhersage auf. Sie verwendeten einen speziellen „Gated Fusion“-Mechanismus, der wie eine intelligente Ampel funktioniert, die entscheidet, ob sie eher auf die statischen Fakten oder die Live-Verkehrsbedingungen hört, je nach Situation.

Die Magie der Kalibrierung

Hier ist der wichtigste Trick: Das System ist nicht perfekt ab Werk. Wenn Sie es auf einem Pixel 8 Telefon trainieren und versuchen, es auf einem Pixel 8 Pro zu verwenden, könnte es die Zahlen falsch berechnen, weil die beiden Telefone leicht unterschiedlich sind.

Um dies zu beheben, nutzen die Forscher ein Kalibrierungsset. Betrachten Sie dies als eine kurze „Probefahrt“. Sie lassen die KI auf dem neuen Gerät nur ein paar Mal laufen (vielleicht 6 bis 20 Mal), um zu sehen, wie sie sich tatsächlich verhält. Das System nutzt dann diese wenigen realen Ergebnisse, um seine Kristallkugel anzupassen und die Vorhersagen mit der Realität des neuen Geräts in Einklang zu bringen.

Die Ergebnisse dieser Kalibrierung sind dramatisch. Oh

Ohne die Kalibrierung war die Vorhersage des Systems darüber, wie lange die KI zum „Decodieren“ (Schreiben der Antwort) auf einem Pixel 8 Pro brauchte, völlig daneben, mit einem Wert (genannt $R^2$) von -1,085. Das ist ein schrecklicher Wert, der bedeutet, dass die Vorhersage schlechter war als bloßes Raten. Aber nach nur einer winzigen Kalibrierung sprang dieser Wert auf 0,927, was nahezu perfekt ist. Es ist, als würde man ein verschwommenes Foto nehmen und es mit nur wenigen Anpassungen plötzlich in kristallklare Schärfe bringen.

Das System testen

Das Team hat seine Idee auf einer Vielzahl von Gadgets getestet, um sicherzustellen, dass es sich nicht nur um einen Zufallstreffer für ein spezifisches Telefon handelt. Sie verwendeten:

• Pixel 8 und Pixel 8 Pro: Die Hauptdarsteller der Show, die moderne Mobiltelefone repräsentieren.
• Jetson Nano: Ein winziger Computer, der oft für Roboter und Drohnen verwendet wird.
• Orange Pi 5 Pro: Ein kleiner Einplatinencomputer.
• RTX 3090: Eine leistungsstarke Grafikkarte, die normalerweise in High-End-Gaming-PCs zu finden ist.

Sie fanden heraus, dass dasselbe KI-Modell auf der großen Grafikkarte unglaublich schnell sein kann (64,38 Tokens pro Sekunde), aber auf dem kleinen Orange Pi quälend langsam ist (8,42 Tokens pro Sekunde). Dies beweist, dass man die Geschwindigkeit nicht einfach nur basierend auf dem Modell erraten kann; man muss das Gerät kennen.

Warum das wichtig ist: Der Screening-Prozess

Das ultimative Ziel ist nicht nur die Vorhersage der Geschwindigkeit; es geht darum, Zeit zu sparen. Stellen Sie sich vor, Sie haben 100 verschiedene KI-Modelle und müssen das beste für Ihr spezifisches Telefon auswählen. Ohne dieses System müssten Sie alle 100 Modelle herunterladen und testen. Mit diesem System können Sie die Geschwindigkeit aller 100 Modelle sofort vorhersagen.

Die Forscher nutzen dann eine Strategie namens Pareto-Optimierung. Das ist eine schicke Art zu sagen, dass sie nach dem „Sweet Spot“ suchen. Sie wollen ein Modell, das sowohl schnell als auch intelligent ist. Wenn Modell A langsamer als Modell B ist, aber nicht intelligenter, ist Modell A nutzlos. Das System filtert die schlechten Optionen heraus und lässt Ihnen eine kurze Liste der besten Kandidaten, die tatsächlich getestet werden sollen.

In ihren Tests hat dieser Screening-Prozess erfolgreich die besten möglichen Modelle im Rennen gehalten. Zum Beispiel: Beim Wechsel von einem Pixel 8 Pro zu einem Pixel 8 filterte das System die Hälfte der Kandidaten heraus, stellte aber sicher, dass das absolut beste Modell weiterhin in der Auswahl war.

Was sie herausgefunden haben (und was nicht)

Das Paper legt nahe, dass diese Methode ein mächtiges Werkzeug ist, um die Bereitstellung von KI schneller und kostengünstiger zu machen. Sie fanden heraus:

• Statische Vermutungen reichen nicht aus: Nur die Modellgröße zu kennen, sagt einem nicht, wie schnell es auf einem spezifischen Telefon laufen wird.
• Kalibrierung ist der Schlüssel: Man kann eine Vorhersage nicht einfach von einem Gerät auf ein anderes kopieren; man braucht ein klein wenig echte Daten, um die Vorhersage zu korrigieren.
• Die Phase ist entscheidend: Die „Lese“-Phase und die „Schreib“-Phase der KI unterschiedlich zu behandeln, macht die Vorhersage wesentlich genauer.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies ein Ausgangspunkt ist. Ihre besten Ergebnisse erzielten sie mit den Pixel-Telefonen, und obwohl sie zeigten, dass ihr System auch auf anderen Geräten wie dem Jetson und dem Orange Pi funktionieren kann, haben sie dort noch keine tiefgehende Untersuchung durchgeführt. Sie merkten auch an, dass auf leistungsstarken Computern kleinere Modelle manchmal nicht immer schneller laufen als große, was eine seltsame Eigenart ist, die ihr System hilft zu erklären.

Kurz gesagt bietet dieses Paper einen cleveren, flexiblen Weg, um zu erraten, wie schnell eine KI auf Ihrem Gadget laufen wird, ohne Stunden warten zu müssen, um es herauszufinden. Es verwandelt ein chaotisches Ratespiel in eine kalkulierte, datengesteuerte Entscheidung und hilft dabei, das beste KI-Erlebnis auf unseren Geräten zu erhalten, ohne Zeit und Akku zu verschwenden.