AngelSpec: Towards Real-World High Performance Inference with Speculative Decoding
AngelSpec führt ein vereinheitlichtes Trainingsframework ein, das unterschiedliche Entwurfsstrukturen (MTP für Chat und Block-Diffusion für Code/Mathematik) ko-spezialisiert und die Ressourcen der Inferenzverifizierung dynamisch optimiert, um signifikante Durchsatzverbesserungen und höhere Akzeptanzraten über diverse reale Arbeitslasten hinweg zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, Geschichten zu schreiben, mathematische Probleme zu lösen oder Computer-Code zu schreiben. Dieser Roboter, bekannt als Large Language Model (LLM), ist unglaublich talentiert, aber er hat eine sehr spezifische Eigenart: Er denkt Wort für Wort. Um einen Satz zu schreiben, muss er anhalten, nachdenken und das erste Wort generieren, dann wieder anhalten, um über das zweite Wort nachzudenken und so weiter. Es ist wie ein Koch, der nur ein Gemüse nach dem anderen schneiden kann und dann warten muss, bis die gesamte Küche abgekühlt ist, bevor er das nächste schneidet. Je klüger der Roboter wird und je komplexer die Anfragen werden, desto quälender langsam wird dieser „ein-nach-dem-anderen“-Prozess, wie das Beobachten von Farbe, die in Zeitlupe trocknet.
Um dies zu beschleunigen, erfanden Wissenschaftler einen Trick namens „Speculative Decoding“. Stellen Sie sich das als eine Teamleistung vor. Sie haben einen winzigen, schnellen „Entwurfs“-Roboter, der die nächsten paar Wörter in einem Satz errät, und einen riesigen, langsamen „Ziel“-Roboter, der überprüft, ob diese Vermutungen korrekt sind. Wenn der große Roboter den Vorschlägen zustimmt, kann das Team mehrere Wörter auf einmal schreiben, anstatt nur eines. Es ist wie ein schneller Läufer, der den Pfad vor sich errät; wenn die Vermutung richtig ist, bewegen sich beide gemeinsam vorwärts, was eine enorme Menge an Zeit spart. Es gibt jedoch einen Haken: Der schnelle Läufer liegt nicht immer richtig. Wenn er zu viele falsche Wörter errät, muss der große Roboter Zeit aufwenden, um sie zu korrigieren, und der gesamte Prozess verlangsamt sich. Die große Frage für Wissenschaftler ist: Wie machen wir den schnellen Läufer besser im Raten, und wie wissen wir, wann wir mit dem Raten aufhören müssen, damit wir keine Zeit verschwenden?
Hier kommt ein neues Projekt namens AngelSpec ins Spiel. Die Forscher bei Tencent haben erkannt, dass eine einzige „schneller Läufer“-Strategie nicht für jede Situation funktioniert. Genau wie ein Sprinter bei einem kurzen Rennen großartig sein kann, aber bei einem Marathon schlecht abschneidet, erfordern unterschiedliche Arten von Text unterschiedliche Ratestrategien. Zum Beispiel ist das Schreiben einer lockeren Chat-Nachricht chaotisch und voller Überraschungen (hohe Entropie), während das Schreiben eines mathematischen Beweises oder eines Computerprogramms sehr strukturiert und vorhersehbar ist. Das Paper argumentiert, dass der Versuch, einen „universellen“ Ratenden für alles zu verwenden, ein Fehler ist. Stattdessen haben sie ein System gebaut, das je nach Aufgabe zwei verschiedene Arten von Ratenden verwendet und einen intelligenten Manager, der genau entscheidet, wie viel Zeit er mit dem Überprüfen dieser Vermutungen verbringt, basierend darauf, wie beschäftigt das System ist.
Das Team stellte eine neue Methode namens DFly für strukturierte Aufgaben wie Coding und Mathematik vor. Stellen Sie sich DFly als ein Team von Detektiven vor, die nicht nur die nächste Spur eins nach dem anderen erraten, sondern das ganze Puzzle auf einmal betrachten, um das Muster zu erkennen. Sie nutzen ein spezielles „Hybrid“-Gehirn, das das große Ganze betrachtet und dann ihre Vermutungen basierend auf dem, was unmittelbar zuvor geschah, verfeinert. Dies ermöglicht es ihnen, lange Ketten von Code oder mathematischen Schritten mit hoher Genauigkeit vorherzusagen. Für die chaotischen, kreativen Chat-Aufgaben nutzen sie eine einfachere, schnellere Methode namens MTP (Multi-Token Prediction), die gut für schnelle, konversationelle Ausbrüche geeignet ist.
Aber ein großartiger Ratender allein reicht nicht aus; man braucht auch einen klugen Manager. Das Paper führt eine Funktion namens D-cut ein, die wie ein Verkehrskontrolleur fungiert. In einem geschäftigen Server kann es vorkommen, dass der „Überprüfungsprozess“ Rückstau erleidet. D-cut beobachtet die Zuverlässigkeit der Vermutungen in Echtzeit. Wenn eine Vermutung unsicher aussieht, bricht D-cut sie frühzeitig ab, um Zeit zu sparen. Wenn das System reibungslos läuft und die Vermutungen solide aussehen, lässt es das Team länger weitermachen. Es ist wie ein Dirigent, der das Orchester beschleunigt, wenn die Musik einfach ist, und es verlangsamt, wenn die Noten schwierig werden, um sicherzustellen, dass die gesamte Performance schnell bleibt, ohne abzustürzen.
Die Ergebnisse dieses Ansatzes sind beeindruckend. Als sie ihr neues System auf dem Hy3-A21B Modell testeten, fanden sie heraus, dass es Text viel schneller verarbeiten kann als bisher. Speziell erreichte das System eine Beschleunigung von 1,98 bis 2,40 Mal im Vergleich zur alten „ein-Wort-nach-dem-anderen“-Methode. Noch besser war, dass es 10,5 % bis 11,8 % schneller war als die bisher beste bekannte Methode namens DFlash. Die Forscher zeigten, dass sie durch die Anpassung der Ratestrategie an die spezifische Art des Textes (Chat vs. Code) und die Verwendung des intelligenten Managers zur Anpassung an die Arbeitslast das Beste aus ihrer Rechenleistung herausholen konnten. Sie haben sogar ihr gesamtes Toolkit, genannt AngelSpec, der Öffentlichkeit zur Verfügung gestellt, damit andere Wissenschaftler diese Tricks nutzen können, um ihre eigenen KI-Modelle schneller und effizienter zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.