KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators
KForge ist ein plattformübergreifendes Framework, das zwei kollaborierende LLM-Agenten nutzt, um iterativ hochperformante Kernel für KI-Beschleuniger zu generieren und zu verfeinern, wobei es im Vergleich zu bestehenden handoptimierten und compiler-optimierten Baselines signifikante Durchsatzverbesserungen sowohl auf NVIDIA B200 als auch auf Intel Arc B580 Hardware erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreiben einen riesigen, Hochgeschwindigkeits-Lieferdienst. Ihre Flotte besteht nicht nur aus einer Art von Lkw; sie ist eine Mischung aus winzigen Rollern für die Stadtstraßen, schweren Lastwagen für Autobahnen und Elektro-Transportern für Öko-Zonen. Jedes Fahrzeug ist perfekt für eine bestimmte Aufgabe geeignet, aber sie alle sprechen unterschiedliche Sprachen und haben unterschiedliche Motorregeln.
In der Welt der Künstlichen Intelligenz (KI) ist das heute genau das, was passiert. KI-Systeme werden „agentisch“, was bedeutet, dass sie nicht nur eine Frage beantworten, sondern Aufgaben in Schritte unterteilen, Werkzeuge benutzen und mit anderen KI-Agenten koordinieren. Einige Schritte erfordern schwere Mathematik (wie ein Lastwagen), während andere schnelles, leichtes Denken erfordern (wie ein Roller). Um das gesamte System schnell zu machen, müssen Sie jeden Schritt auf dem spezifischen Computerchip (Beschleuniger) ausführen, der am besten dafür geeignet ist.
Das Problem: Der Übersetzungs-Albtraum
Die Kehrseite ist, dass das Schreiben des „Motoren-Codes“ (genannt Kernel) für diese verschiedenen Chips unglaublich schwer ist. Es ist, als würde man versuchen, gleichzeitig ein Handbuch für einen Ferrari, einen Traktor und ein Motorrad zu schreiben, aber die Handbücher sind in verschiedenen Sprachen verfasst (CUDA, Metal, SYCL usw.).
- Der alte Weg: Menschliche Experten verbringen Jahre damit, diesen Code von Hand zu schreiben und zu optimieren. Das ist langsam, teuer und schwer skalierbar.
- Das neue Problem: Selbst wenn wir versuchen, KI zu nutzen, um diesen Code zu schreiben, scheitert sie oft. Die KI schreibt vielleicht Code, der richtig aussieht, aber den Motor zum Absturz bringt, oder sie schreibt Code, der auf einem NVIDIA-Chip funktioniert, aber auf einem Intel-Chip völlig versagt.
Die Lösung: KForge (Das KI-Mechaniker-Team)
Das Paper stellt KForge vor, ein neues System, das wie ein Team aus zwei spezialisierten KI-Mechanikern fungiert, die zusammenarbeiten, um diese Motoren automatisch zu reparieren und zu optimieren.
Anstatt dass eine KI versucht, alles zu erledigen, teilt KForge die Arbeit auf:
- Der Generator (Der Erbauer): Diese KI schreibt den Code. Wenn der Code abstürzt oder nicht kompiliert, erhält sie ein „rotes Licht“ und versucht es erneut, indem sie die Fehler behebt.
- Der Analyst (Der Tuner): Sobald der Code funktioniert, schaut diese KI auf das „Armaturenbrett“ (Profiling-Daten). Sie sieht Dinge wie „dieser Motor verschwendet Treibstoff“ oder „die Räder drehen sich zu schnell“. Sie gibt dem Erbauer spezifische Anweisungen, wie er den Code anpassen kann, um ihn schneller zu machen.
Sie arbeiten in einer Schleife: Bauen → Testen → Analysieren → Anpassen → Wiederholen. Dies setzt sich fort, bis der Code nicht nur korrekt, sondern auch rasend schnell ist.
Die Ergebnisse: Zwei verschiedene Rennen
Die Autoren testeten KForge in zwei sehr unterschiedlichen Szenarien, um zu sehen, wie gut es funktioniert:
Rennen 1: Der Schwergewichtschampion (NVIDIA B200)
Hier musste KForge gegen eine Codebasis antreten, die von NVIDIA-Ingenieuren über viele Jahre hinweg perfektioniert wurde (TensorRT-LLM). Es war wie ein Rookie-Mechaniker, der versucht, ein Formel-1-Pitcrew-Team zu schlagen.- Das Ergebnis: KForge gelang es, eine Steigerung der Geschwindigkeit um 2,12 % herauszuholen. In der Hochleistungsrechnung ist es eine riesige Sache, einen Champion selbst um 1 % zu schlagen. Es ist, als würde man eine Weltrekordzeit um einen Bruchteil einer Sekunde senken.
Rennen 2: Die neue Rennstrecke (Intel Arc B580)
Hier gab es keinen „Champion“, den man schlagen konnte. Die Hardware war neu, und es gab keinen bestehenden Hochleistungscode, den man kopieren konnte. KForge musste den Motor von Grund auf neu bauen.- Das Ergebnis: KForge generierte Code, der 5,13 Mal schneller war als der derzeit verfügbare, unoptimierte Standardcode für diesen Chip. Es hat im Wesentlichen einen neuen, leistungsstarken Motor zum Leben erweckt, wo zuvor nur ein langsamer, einfacher Motor existierte.
Warum das wichtig ist
Das Paper argumentiert, dass wir mit zunehmender Komplexität der KI nicht darauf vertrauen können, dass Menschen den Code für jeden neuen Chip manuell schreiben. KForge zeigt, dass ein KI-Team in der Lage ist:
- Code über verschiedene Hardware-Marken hinweg zu übersetzen (NVIDIA, Intel, Apple, AMD).
- Seine eigenen Fehler zu beheben.
- Von Leistungsdaten zu lernen, um im Laufe der Zeit schneller zu werden.
Kurz gesagt ist KForge ein Werkzeug, das hilft, KI-Systeme auf jedem Computerchip effizient laufen zu lassen – egal, ob dieser Chip ein gut abgestimmter Veteran oder ein brandneues Modell ist – indem es die schwierige Arbeit des Schreibens des Low-Level-Motorencodes automatisiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.