MobileKernelBench: Can LLMs Write Efficient Kernels for Mobile Devices?

Die Studie stellt MobileKernelBench vor, ein Benchmark-Framework zur Bewertung der Fähigkeit von LLMs, effiziente Kernel für mobile Geräte zu generieren, und zeigt, dass das neu entwickelte Multi-Agenten-System MoKA die bisherigen Grenzen durch eine signifikant höhere Kompilierungserfolgsrate und messbare Geschwindigkeitssteigerungen überwindet.

Das Wesentliche

Stell dir vor, du hast einen genialen Koch (den KI-Modell), der in der Lage ist, komplexe Rezepte für riesige Luxus-Küchen (Server-Computer mit starken Grafikkarten) zu schreiben. Dieser Koch kann Gerichte zubereiten, die in Millisekunden fertig sind und perfekt schmecken.

Aber jetzt wollen wir diesen Koch in eine winzige, batteriebetriebene Camping-Küche (dein Smartphone) schicken. Die Herausforderung? Die Camping-Küche hat nur einen kleinen Herd, wenig Platz und keine speziellen Werkzeuge wie die Luxus-Küche.

Das ist genau das Problem, das die Forscher in diesem Papier mit dem Titel "MobileKernelBench" untersuchen. Sie fragen sich: Kann dieser geniale KI-Koch auch effiziente Rezepte für unsere kleinen Camping-Küchen schreiben?

Hier ist die Geschichte, was sie herausgefunden haben und wie sie es gelöst haben:

1. Das Problem: Der Koch ist verwirrt

Die Forscher haben verschiedene KI-Modelle getestet, um Code zu schreiben, der auf Handys läuft. Das Ergebnis war ernüchternd:

• Die "Halluzinationen": Der Koch versucht, Zutaten zu benutzen, die es in der Camping-Küche gar nicht gibt. Er schreibt Rezepte, die in der Luxus-Küche funktionieren, aber auf dem Handy sofort zusammenbrechen (über 54 % der Versuche scheiterten schon beim "Kochen", also beim Kompilieren).
• Die Langsamkeit: Selbst wenn das Rezept funktionierte, war es oft langsamer als die Standard-Rezepte, die die Handy-Hersteller schon dabei hatten.
• Der Grund: Es gibt zu wenige "Rezepte" (Daten) für diese speziellen kleinen Küchen. Der Koch hat nie gelernt, wie man mit den begrenzten Ressourcen eines Handys umgeht.

2. Die Lösung: Ein neues Testlabor (MobileKernelBench)

Um das Problem zu verstehen, bauten die Forscher ein riesiges Testlabor namens MobileKernelBench.

• Die Vielfalt: Sie sammelten 190 verschiedene "Kochaufgaben" (von einfachen mathematischen Operationen bis zu komplexen Bildbearbeitungen), die auf Handys vorkommen.
• Der Roboter-Assistent: Sie bauten eine automatische Maschine, die den Code des Kochs nimmt, ihn auf ein echtes Handy lädt, ihn dort ausführt und prüft: Hat es funktioniert? War es schnell? Früher mussten Menschen das manuell machen – das war wie das manuelle Abtasten jedes einzelnen Ofens. Jetzt macht ein Roboter das in Sekunden.

3. Der Held: MoKA (Der Multi-Agenten-Koch-Team)

Da die einzelnen KI-Modelle allein versagten, stellten die Forscher ein Team aus drei Spezialisten zusammen, das sie MoKA nannten. Stell dir MoKA nicht als einen einzelnen Koch vor, sondern als eine kleine Küche mit drei Mitarbeitern:

1. Der Koch (Coder): Er schreibt das Rezept (den Code).
2. Der Qualitätskontrolleur (Debugger): Wenn das Gericht nicht schmeckt oder der Herd explodiert (Fehlermeldung), schaut er genau hin. Er liest die Fehlerliste, vergleicht sie mit dem Original-Rezept und sagt dem Koch: "Hey, du hast Salz statt Zucker benutzt, oder du hast den Herd nicht richtig angeschlossen."
3. Der Geschwindigkeits-Experte (Accelerator): Wenn das Gericht schmeckt, aber zu lange dauert, kommt er ins Spiel. Er sagt: "Wir können das Gemüse in kleinere Stücke schneiden (Speicher-Optimierung) oder den Herd heißer machen (SIMD-Befehle), damit es doppelt so schnell geht."

Wie funktioniert das?
MoKA arbeitet in einem Kreislauf:

1. Der Koch schreibt ein Rezept.
2. Der Qualitätskontrolleur prüft es. Wenn es kaputt ist, gibt er Tipps.
3. Der Geschwindigkeits-Experte sucht nach Wegen, es schneller zu machen.
4. Der Koch verbessert das Rezept basierend auf den Tipps.
5. Das Team wiederholt das, bis das Gericht perfekt ist.

4. Das Ergebnis: Ein Durchbruch

Mit diesem Team-System passierte etwas Wunderbares:

• Erfolgsrate: Statt dass mehr als die Hälfte der Rezepte scheiterte, funktionierten nun 93,7 % der Rezepte auf dem Handy.
• Geschwindigkeit: Bei fast 27 % der Rezepte war das Team sogar schneller als die Standard-Rezepte der Handy-Hersteller.

Zusammenfassung in einem Satz

Die Forscher haben gezeigt, dass eine einzelne KI zwar toll Rezepte für riesige Küchen schreiben kann, aber für die kleinen Camping-Küchen (Handys) braucht sie ein Team aus Spezialisten, die sich gegenseitig korrigieren und optimieren, um wirklich gute Ergebnisse zu liefern.

Die Lehre: Wenn wir KI wollen, die komplexe Aufgaben auf unseren Handys erledigt, reicht es nicht, sie einfach zu "fragen". Wir müssen ihr Werkzeuge geben, mit denen sie selbstständig Fehler findet und Lösungen verbessert – genau wie ein erfahrenes Küchenteam.

Technische Zusammenfassung

1. Problemstellung

Die Arbeit adressiert die Lücke zwischen der Fähigkeit von Large Language Models (LLMs), generellen Code zu schreiben, und ihrer Fähigkeit, hochoptimierte Rechenkerne (Kernels) für mobile Geräte zu entwickeln. Während LLMs bereits erfolgreich bei der Generierung von CUDA-Kernen für Server-GPUs eingesetzt wurden, bleibt die mobile Domäne weitgehend unerforscht.

Die Autoren identifizieren drei wesentliche Hindernisse, die mobile Kernel-Entwicklung von der serverseitigen Entwicklung unterscheiden und die aktuelle KI-Forschung vor Herausforderungen stellen:

• Priorität der Kompatibilität: Im Gegensatz zu serverseitigen GPUs, die oft homogene CUDA-Umgebungen nutzen, erfordert die mobile Welt eine breite Unterstützung einer Vielzahl von Operatoren, um mit verschiedenen Trainings-Frameworks (PyTorch, ONNX) kompatibel zu sein.
• Ingenieurtechnische Komplexität: Das mobile Ökosystem ist stark fragmentiert (verschiedene SoCs, Backends wie CPU, GPU, NPU, APIs wie OpenCL, Vulkan, Metal). Entwickler müssen heterogene Architekturen und strenge Ressourcenbeschränkungen (Leistung, Speicher, Bandbreite) bewältigen.
• Datenknappheit: Es gibt einen Mangel an hochwertigen Referenzimplementierungen für mobile Inferenz-Frameworks (wie MNN oder NCNN). Dies führt zu einem „Data-Poor"-Umfeld, in dem LLMs aufgrund fehlender domänenspezifischer Kenntnisse und Trainingsdaten schlecht generalisieren.

2. Methodik

Um diese Probleme systematisch zu untersuchen, stellen die Autoren zwei Hauptkomponenten vor:

A. MobileKernelBench (Der Benchmark)

Dies ist das erste umfassende Evaluierungsframework speziell für mobile Kernel.

• Datensatz: Der Benchmark umfasst 190 Aufgaben, die auf 95 primitiven Operatoren basieren (abgedeckt durch ONNX Opset 20). Diese Operatoren sind in 12 Kategorien unterteilt (z. B. Konvolution, Matrix-Operationen, Reduktion).
• Cross-Framework-Interoperabilität: Um Framework-Unabhängigkeit zu gewährleisten, werden Testdaten als Paare aus PyTorch-Modellen und ONNX-Graphen bereitgestellt. Dies dient als universelle Brücke, um Inkonsistenzen zwischen Frameworks zu überbrücken.
• Automatisierte Evaluierungspipeline: Ein entscheidender Unterschied zu vorherigen Arbeiten ist die vollständige Automatisierung des Lebenszyklus:
  1. Registrierung: Automatisches Einfügen des generierten Codes in das MNN-Framework.
  2. Kompilierung: Cross-Kompilierung via Android NDK.
  3. Verifikation: Funktionale Korrektheitsprüfung durch Vergleich der Ausgabe mit dem ONNX-Baseline-Modell.
  4. On-Device-Performance: Messung der Latenz auf einem echten Mobilgerät (Xiaomi 13 mit Snapdragon 8 Gen 2) unter kontrollierten Bedingungen.

B. MoKA (Mobile Kernel Agent)

Da Standard-LLMs und einfache Fine-Tuning-Ansätze scheiterten, schlagen die Autoren MoKA vor, ein spezialisiertes Multi-Agenten-System, das auf einem „Plan-and-Execute"-Paradigma basiert.

• Architektur: MoKA besteht aus drei kooperierenden Agenten, die über einen gemeinsamen Gedächtnisraum (Reflective Memory) verfügen:
  1. Coder: Generiert den C++-Code für die Operatoren.
  2. Debugger: Analysiert Kompilierungsfehler oder funktionale Abweichungen. Er nutzt Repository-aware Tools (z. B. Tree-Sitter) zur Kontextanalyse und erstellt Reparaturpläne.
  3. Accelerator: Optimiert funktionale, aber langsame Kernel. Er nutzt Performance-Parsing-Tools, um Engpässe (z. B. Speichermuster, Thread-Konkurrenz) zu identifizieren und Beschleunigungspläne zu erstellen.
• Iterativer Prozess: Der Agent durchläuft mehrere Iterationen, bei denen er basierend auf Feedback aus der Evaluierungspipeline (Kompilierungserfolg, Korrektheit, Geschwindigkeit) den Code schrittweise verfeinert.

3. Wichtige Beiträge

1. Erste systematische Studie: Erweitert den Bereich der automatisierten Kernel-Generierung erstmals auf die mobile Domäne und identifiziert die fundamentalen Unterschiede zur Server-Domäne.
2. MobileKernelBench: Einführung eines umfassenden Benchmarks mit automatisierter Pipeline, der die Lücke zwischen Host-Entwicklung und Device-Verifizierung schließt.
3. MoKA-Framework: Entwicklung eines Multi-Agenten-Systems, das Datenknappheit durch reaktive Werkzeugnutzung (Repository-Abfragen, Performance-Analyse) und iterative Verfeinerung kompensiert.
4. Umfassende Evaluation: Detaillierte Analyse von State-of-the-Art-Modellen (Open-Source und Closed-Source) sowie von Fine-Tuning-Strategien (LoRA, GRPO) im mobilen Kontext.

4. Ergebnisse

Die Evaluation auf MobileKernelBench liefert folgende Erkenntnisse:

• Versagen von Standard-LLMs:
  • Aktuelle Modelle (z. B. GPT-5, Claude, Llama, Qwen) scheitern häufig an der Komplexität mobiler Frameworks.
  • Die Kompilierungsrate (CSR) liegt bei den besten Modellen nur bei ca. 47 %. Über 54 % der generierten Kerne scheitern bereits beim Kompilieren (meist durch „Halluzinationen" von APIs).
  • Die funktionale Korrektheitsrate (FCR) ist noch niedriger (ca. 34 % für Claude).
  • Nur ein winziger Bruchteil (
• Limitationen von Fine-Tuning:
  • Anwendung von LoRA und GRPO (Reinforcement Learning) auf Basismodelle bringt nur marginale Verbesserungen (z. B. CSR auf 25 % bei LoRA).
  • Der Grund ist die inhärente Datenknappheit: Ohne hochwertige Trainingsdaten können Modelle die tiefen, frameworkspezifischen Semantiken nicht lernen.
• Erfolg von MoKA:
  • MoKA erreicht einen Kompilierungserfolg von 93,7 %.
  • Die funktionale Korrektheitsrate steigt auf 75,3 %.
  • Besonders beeindruckend ist die Performance: 27,4 % der von MoKA generierten Kerne übertreffen die native MNN-Implementierung um mehr als den Faktor 1,5 (fast1.5), verglichen mit < 6 % bei Baseline-Modellen.
  • MoKA zeigt eine robuste Generalisierung über komplexe Operatoren (z. B. Convolution, Matrix-Operationen), bei denen Baseline-Modelle oft versagen.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass LLMs allein nicht ausreichen, um komplexe, datenarme Domänen wie die mobile Kernel-Entwicklung zu meistern. Der Erfolg von MoKA unterstreicht die Notwendigkeit von Agentic Workflows, die:

• Externes Wissen (Repositorys, Framework-Dokumentation) aktiv abrufen.
• Iteratives Feedback (Kompilierung, Tests, Profiling) nutzen, um Fehler zu korrigieren.
• Spezialisierte Rollen (Coder, Debugger, Optimierer) für unterschiedliche Phasen des Entwicklungszyklus einsetzen.

Dieser Ansatz ebnet den Weg für die Automatisierung von hochspezialisierten Ingenieursaufgaben in der KI-Infrastruktur. Zukünftige Arbeiten könnten sich auf noch tiefere Optimierungen (z. B. Inline-Assembly, NEON-Instruktionen) und die Unterstützung weiterer Hardware-Backends erstrecken. Die Einführung von MobileKernelBench bietet zudem eine kritische Infrastruktur für die zukünftige Forschung im Bereich Edge-AI und automatisierte Code-Generierung.