A Contract-Grade Verifier for LLM-Generated GPU Kernels, and a Native Blackwell Backward for the Gated-Linear-Recurrence Family
Dieses Paper führt einen rigorosen, toleranzfreien Verifizierer auf Contract-Grade-Niveau ein, der die hohe Fehlerrate aktueller LLM-generierter GPU-Kernel aufdeckt, indem er lose Single-Shape-Tests durch zwölf adversarielle Gates ersetzt, während er gleichzeitig eine neuartige native Blackwell-Backward-Implementierung für die Gated-Linear-Recurrence-Familie validiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen einen Roboter-Koch, um Millionen von Mahlzeiten pro Sekunde zuzubereiten. Um ihn schnell zu machen, bitten Sie eine superintelligente KI, die spezifischen Anweisungen (genannt „Kernel“) für das Hochgeschwindigkeitsgehirn des Roboters (eine GPU) zu schreiben. Das Ziel ist es, den Roboter schneller kochen zu lassen, als es ein Mensch jemals könnte. Aber hier ist der Haken: Wenn der Roboter den Toast verbrennt oder statt Suppe einen Teller voller Steine serviert, spielt es keine Rolle, wie schnell er ist. In der Welt der Künstlichen Intelligenz sind diese „Rezepte“ der Motor, der alles von Chatbots bis hin zur medizinischen Diagnostik antreibt. Jahrelang haben Wissenschaftler geprüft, ob diese KI-geschriebenen Rezepte funktionieren, indem sie ein paar zufällige Bissen probierten. Wenn der Geschmack „nah genug“ am Original lag, erklärten sie das Rezept für einen Erfolg. Aber was, wenn der Roboter Ihnen heimlich Gift serviert, das zufällig wie Suppe schmeckt? Was, wenn es für eine kleine Schale perfekt funktioniert, aber explodiert, wenn man versucht, ein ganzes Bankett zu füttern? Dieses Paper stellt eine beängstigende Frage: Feiern wir „schnelle“ Rezepte, die eigentlich fehlerhaft sind, nur weil unsere Geschmackstests zu simpel waren, um es zu bemerken?
Die Autoren dieses Papers beschlossen, einen viel strengeren, „vertragskonformen“ Inspektor zu bauen, um diese KI-geschriebenen Rezepte zu prüfen. Anstatt nur ein paar Bissen zu probieren, entwickelten sie eine Batterie von zwölf verschiedenen Tests – so als würde man prüfen, ob der Roboter das Essen verbrennt, ob er die falsche Portionsgröße serviert oder ob er heimlich eine gesunde Zutat gegen eine toxische austauscht. Sie ließen diesen strengen Inspektor über 2.638 Rezepte laufen, die ein populäres System bereits als „perfekt“ deklariert hatte. Das Ergebnis war ein Schock: 62,1 % dieser „perfekten“ Rezepte hatten tatsächlich mindestens einen schwerwiegenden Fehler, und 39,5 % waren so kaputt, dass keine Menge an „nahe genug“-Mathematik sie rechtfertigen konnte. Dies waren nicht nur winzige Gewürzfehler; es waren stille Katastrophen, wie etwa ein Roboter, der ein Warnsignal (ein „NaN“ oder Unendlich) in eine normale Zahl verwandelt und so einen Absturz verbirgt, bis es zu spät ist.
Um zu beweisen, dass sie nicht nur gemein waren oder ein kaputtes Lineal benutzten, taten die Autoren etwas Cleveres. Sie schrieben ihr eigenes, superfortschrittliches Rezept für eine bestimmte Art von KI-Modell (die Familie der Gated-Linear-Recurrence) von Grund auf neu. Dies war ein brandneuer, handgeschriebener Instruktionssatz für die neueste Generation von Computerchips (Blackwell). Sie testeten ihr eigenes Rezept gegen einen Goldstandard-Präzisionsrechner und bewiesen, dass es korrekt war. Dann ließen sie ihr eigenes Rezept durch den strengen Inspektor laufen. Es bestand jeden einzelnen Test. Dies war ihre „Positivkontrolle“: Wenn der Inspektor nur ein Werkzeug wäre, das darauf ausgelegt ist, alle anderen scheitern zu lassen, hätte er auch ihr eigenes perfektes Rezept scheitern lassen. Da er bestand, ist der Inspektor vertrauenswürdig. Die Tatsache, dass er ihre eigenen winzigen Fehler während der Entwicklung (wie eine fehlende Sicherheitsprüfung) entdeckte, bewies, dass er ein fairer Richter war und kein voreingenommenes Werkzeug.
Das Paper befasste sich auch mit einem spezifischen, schwierigen Problem der neuen Blackwell-Chips. Diese Chips besitzen einen winzigen, superschnellen Speicherplatz (Tensor Memory), der sehr begrenzt ist. Das offizielle „Rezept“ für diese Chips versuchte, zu viel von diesem Platz zu nutzen, was dazu führte, dass der Computer einfroren oder abstürzte. Das neue Rezept der Autoren fand heraus, wie man diesen Platz perfekt verwaltet, um den Absturz zu vermeiden. Sie waren jedoch ehrlich über den Kompromiss: Während ihr neues Rezept sicher und korrekt war, war es langsamer als die bestehenden „schnellen“ Bibliotheken. Sie gaben nicht vor, das Schnellste überhaupt zu sein; sie bewiesen lediglich, dass es das erste war, das sowohl nativ für den neuen Chip als auch tatsächlich korrekt war.
Letztendlich enthüllt das Paper eine „Rigoritätslücke“. Die aktuelle Art, KI-generierten Code zu testen, ist so, als würde man prüfen, ob eine Brücke hält, indem man einmalig ein Auto darüberfahren lässt. Dieser neue Inspektor ist wie das Senden eines Lastwagens, eines Panzers und eines Sturms über die Brücke, um zu sehen, ob sie wirklich hält. Die Ergebnisse legen nahe, dass der berichtete Fortschritt des Feldes viel schwächer ist, als die Zahlen vermuten lassen. Etwa 1.487 der „akzeptierten“ Kernel waren tatsächlich fehlerhaft, während der Standardtest nur 14 der guten Rezepte entdeckte, die der neue Inspektor abgelehnt hatte. Die Autoren argumentieren, dass wir aufhören müssen, „nah genug“ zu akzeptieren, und stattdessen „vertragskonforme“ Korrektheit fordern müssen – indem wir prüfen, ob Dinge wie „behandelt es Unendlich korrekt?“ oder „liefert es jedes Mal das gleiche Ergebnis?“ – um sicherzustellen, dass die KI-Systeme der Zukunft auf festem Boden gebaut sind und nicht auf Illusionen von Geschwindigkeit.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.