Deep4ge: DNN Training Trajectories for Fault Detection and Diagnosis
Dieses Paper führt Deep4ge ein, einen umfassenden Benchmark-Datensatz, der über 14.000 Trainingsläufe pro Epoche aus 59 Programmen tiefer neuronaler Netze mit injizierten Fehlern umfasst, der darauf ausgelegt ist, die Forschung zur Erkennung und Diagnose subtiler Implementierungsfehler in Deep-Learning-Systemen zu unterstützen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten einen Schüler, der versucht, eine neue Fertigkeit zu erlernen, wie zum Beispiel Jonglieren. Manchmal scheitert er nicht, weil er faul ist, sondern weil er die Bälle falsch hält, oder weil der Raum zu dunkel ist, oder weil er versucht, den völlig falschen Trick zu lernen. In der Welt der künstlichen Intelligenz sind diese „Schüler“ Deep Neural Networks (DNNs), und wenn sie scheitern, stürzen sie oft nicht mit einer lauten Fehlermeldung ab. Stattdessen werden sie einfach schlecht im Jonglieren, oder sie drehen sich im Kreis, oder sie geben auf halbem Wege auf.
Dies ist das Problem, das das Paper Deep4ge angeht. Die Forscher erkannten, dass wir zwar viele Werkzeuge haben, um zu prüfen, ob die Endnote eines Schülers gut ist, uns aber eine große, öffentliche Bibliothek von „Trainings-Tagebüchern“ fehlt, die genau zeigen, wie sie während des Lernprozesses gescheitert sind. Um dies zu beheben, haben sie Deep4ge gebaut, ein massives, kontrolliertes Experiment, das wie ein riesiges Simulationslabor für Trainingsfehler der KI fungiert.
Die große KI-Trainingssimulation
Das Team begann damit, 59 echte Code-Schnipsel von Stack Overflow (einer Website, auf der Programmierer Fragen stellen und Antworten geben) zu sammeln. Sie bereinigten diese, um sicherzustellen, dass sie perfekt laufen, so wie man ein Rennauto vor einer Testfahrt abstimmt. Dann spielten sie eine Art „Mad Libs“ mit dem Code.
Sie verwendeten 27 verschiedene „Mutationsoperatoren“ – denken Sie an diese als kleine, schelmische Kobolde, die sich in den Code einschleichen und eine winzige Sache verändern. Vielleicht tauschen sie die Lerngeschwindigkeit aus, ändern die Art der verwendeten Mathematik oder bringen durcheinander, wie die KI ihr Gehirn startet. Sie wandten diese Kobolde an, um 9.845 „fehlerhafte“ Trainingsläufe zu erstellen. Um sicherzustellen, dass der Vergleich fair war, führten sie auch 4.382 „korrekte“ Versionen ohne die Kobolde durch.
Insgesamt beobachteten sie 14.227 verschiedene Trainingssitzungen. Für jede einzelne Sitzung schauten sie nicht nur auf die Endnote; sie zeichneten einen Tagebucheintrag für jede einzelne „Epoch“ (eine Runde des Lernens) auf. Sie protokollierten 26 verschiedene Hinweise, wie etwa die Schwere der „Gedanken“ (Gewichte) der KI, die Geschwindigkeit, mit der die Signale flossen (Gradienten), und sogar wie viel Computerspeicher die KI verwendete. Dies resultierte in 719.560 einzelnen Datenpunkten und schuf eine detaillierte Karte dessen, was schiefgeht und wann.
Die große Entdeckung: Schauen Sie nicht nur auf die Ziellinie
Der spannendste Teil des Papers ist das, was sie fanden, als sie versuchten, Ausfälle vorherzusagen. Stellen Sie sich vor, Sie sind ein Trainer, der versucht, einen Schüler zu identifizieren, der Schwierigkeiten hat.
Die Forscher testeten zwei Wege, um das Problem zu erkennen:
- Die „Abschlussprüfung“-Methode: Nur den allerletzten Tag des Trainings zu betrachten, um zu sehen, ob der Schüler gescheitert ist.
- Die „Trainings-Tagebuch“-Methode: Die gesamte Geschichte zu betrachten, wie der Schüler Schritt für Schritt gelernt hat.
Die Ergebnisse waren eindeutig: Die „Abschlussprüfung“-Methode war nicht besonders gut. Wenn man nur den letzten Tag betrachtete, konnte ein Computerprogramm kaum zwischen einem Schüler unterscheiden, der sich zwar anstrengte, aber scheiterte, und einem, der einfach nur verwirrt war. Der „Abschlussprüfung“-Ansatz lieferte einen Score (genannt MCC) von etwa 0,150 für das beste Computermodell.
Als sie jedoch die „Trainings-Tagebuch“-Methode verwendeten – also die Trends, die Auf und Abs und die gesamte Reise betrachteten –, wurde der Computer viel besser darin, Probleme aufzusporen. Der Score sprang auf 0,227. Es ist so, als würde man erkennen, dass ein Schüler, der stark beginnt, aber langsam schlechter wird, anders ist als einer, der langsam startet, aber besser wird. Das Paper legt nahe, dass man, um wirklich zu verstehen, warum eine KI scheitert, den ganzen Film sehen muss, nicht nur das Ende.
Was sie können (und nicht können)
Das Team versuchte auch zu erraten, welche Art von Fehler die KI gemacht hat (wie z. B. „Haben sie die Lerngeschwindigkeit vermasselt?“ oder „Haben sie die falsche Mathematik gewählt?“). Sie fanden heraus, dass einige Fehler leicht zu erkennen sind, wie etwa „Gewichts“-Fehler, bei denen der Computer sie zu 70 % der Zeit richtig erkannte. Aber andere Fehler, wie „Aktivierungs“-Fehler (bei denen die KI aufhört zu denken), waren sehr schwer zu diagnostizieren, wobei der Computer in einigen Tests 0 % von ihnen richtig erkannte.
Sie testeten auch, ob ihre Erkenntnisse auf verschiedene Arten von KI-„Schülern“ (wie solche, die Bilder verarbeiten, gegenüber denen, die Sprache verarbeiten) anwendbar wären. Sie fanden heraus, dass die Fähigkeiten recht gut übertragbar waren, es gab jedoch einen leichten Rückgang, insbesondere bei den sprachverarbeitenden Modellen, was darauf hindeutet, dass sich verschiedene Arten von KI etwas unterschiedlich lernen.
Die Grenzen des Labors
Es ist wichtig zu bedenken, dass dies eine kontrollierte Simulation war. Die Forscher haben die Fehler selbst mithilfe ihrer „Kobold“-Werkzeuge erstellt. Sie schlagen vor, dass dies uns hilft, die realen Probleme zu verstehen, geben aber auch zu, dass sie nicht bewiesen haben, dass genau diese „Kobold“-Fehler exakt so auftreten wie in realer, unordentlicher Industriesoftware. Außerdem betrachteten sie nur drei spezifische Arten von KI-Architekturen (FNN, CNN und RNN) und bezogen die neueren, trendigeren „Transformer“-Modelle nicht mit ein.
Das Fazit
Deep4ge ist ein Geschenk für die wissenschaftliche Gemeinschaft. Es ist eine öffentliche Bibliothek von 14.227 Trainingsgeschichten, komplett mit dem „Tagebuch“ jedes einzelnen Schritts. Die wichtigste Lektion ist: Wenn man einen scheiternden KI frühzeitig erfassen will, kann man nicht einfach auf den endgültigen Bericht warten. Man muss den Trainingsprozess entfalten beobachten, denn die Hinweise auf das Scheitern liegen in der Reise verborgen, nicht nur im Ziel. Die Autoren haben alle ihre Daten und Werkzeuge veröffentlicht, damit jeder versuchen kann, bessere Detektoren zu bauen, was beweist, dass der beste Weg, einen kaputten Roboter zu reparieren, manchmal darin besteht, zuzusehen, wie er immer und immer wieder stolpert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.