StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design
StepX-Edge ist ein 0,9-Milliarden-Parameter starkes On-Device-Vision-Language-Modell, das durch eine neuartige Co-Design-Strategie aus UI-bewusster Architektur, einem synergetischen fünfstufigen Trainings-Curriculum und einer hochpräzisen Quantisierungsstrategie ein State-of-the-Art UI-Verständnis sowie eine effiziente Echtzeit-Bereitstellung auf mobilen Chips erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein superintelligentes Robotergehirn, das Bücher lesen, Bilder betrachten und Fragen dazu beantworten kann. Das ist die Welt der Vision-Language-Modelle (VLMs). Lange Zeit lebten diese Gehirne in riesigen, cloudbasierten Rechenzentren mit massiven Servern, da sie enorme Mengen an Energie und Speicher benötigten, um zu denken. Aber was wäre, wenn man dieses Gehirn so weit verkleinern könnte, dass es in Ihr Smartphone passt? Das ist der Traum: eine KI zu haben, die Ihren Telefonbildschirm betrachten, verstehen kann, was Sie gerade tun, und Ihnen hilft, die richtige Schaltfläche zu drücken – und das alles, ohne eine Internetverbindung zu benötigen.
Das Problem ist ein klassischer Kompromiss. Um ein Gehirn intelligent genug zu machen, um winzigen Text auf einem Bildschirm zu lesen oder ein spezifisches Icon zu finden, benötigt man normalerweise sehr viele „Neuronen“ (Parameter), was es schwer und langsam macht. Aber Ihr Telefon hat strenge Grenzen bei Akku, Speicher und Rechenleistung. Wenn Sie das Gehirn zu sehr verkleinern, wird es dumm und beginnt Fehler zu machen, wie zum Beispiel zu glauben, dass eine „Schließen“-Taste eine „Speichern“-Taste ist. Wenn Sie es groß lassen, entlädt es Ihren Akku in Minuten. Wissenschaftler haben versucht, dieses „Genauigkeit vs. Effizienz“-Rätsel zu lösen, wobei sie oft zwischen einem smarten-aber-langsamen Modell oder einem schnellen-aber-dummen Modell wählen mussten.
Hier kommt StepX-Edge ins Spiel, ein neues Projekt, das behauptet, diesen Code geknackt zu haben. Die Forscher entwickelten ein winziges KI-Modell mit nur 0,9 Milliarden Parametern (eine sehr kleine Größe für diese Art von Aufgabe), das direkt auf einem Mobiltelefon läuft. Sie haben nicht einfach nur ein bestehendes riesiges Modell geschrumpft; sie haben das gesamte Konzept von Grund auf neu gestaltet. Denken Sie daran wie beim Bau eines maßgeschneiderten Rennwagens anstatt nur einen kleineren Motor in einen Lastwagen einzusetzen.
Zuerst haben sie die Architektur (den Rahmen des Autos) neu gestaltet. Sie erschufen ein spezielles „Auge“ für das Modell, das besessen von den seltsamen Formen von Smartphone-Bildschirmen ist (die oft hoch und schmal sind, im Gegensatz zu quadratischen Fotos), und eine „Brücke“, die verbindet, was das Auge sieht, mit den Sprachfähigkeiten des Gehirns, ohne dabei Details zu verlieren. Sie vermieden schicke, komplexe Teile, die Handys nicht gut verarbeiten können, und hielten sich an Standardkomponenten, die zuverlässig auf mobilen Chips laufen.
Zweitens haben sie das Training (die Fahrschule) geändert. Anstatt das Modell in ein chaotisches Gemisch aus allen Arten von Daten zu werfen, nutzten sie einen „Curriculum“-Ansatz. Sie entdeckten, dass es tatsächlich dabei hilft, dass alle Fähigkeiten gemeinsam besser werden, wenn man dem Modell vier Fähigkeiten gleichzeitig beibringt: Text lesen (OCR), den Bildschirmaufbau verstehen, Fragen beantworten und auf spezifische Schaltflächen zeigen. Es ist, als würde ein Schüler gleichzeitig Klavier und Schach lernen; der Fokus, der für das eine erforderlich ist, hilft auch beim anderen. Sie trainierten das Modell in fünf Stufen, beginnend mit einfacher Ausrichtung (Alignment) und fortschreitend zu komplexen, realen Interaktionen mit dem Bildschirm, um sicherzustellen, dass sich die vier Fähigkeiten gegenseitig verstärken, anstatt um Aufmerksamkeit zu kämpfen.
Schließlich meisterten sie das Deployment (das Motoren-Tuning). Um das Modell auf ein Telefon zu bringen, mussten sie es stark komprimieren, was normalerweise die Intelligenz ruiniert. Das Team nutzte eine clevere zweistufige Kompressionstechnik. Sie behandelten das „Auge“ (den visuellen Teil) und das „Gehirn“ (den Sprachteil) unterschiedlich, indem sie das Gehirn auf eine winzige 4-Bit-Größe komprimierten, während sie die Präzision des Auges höher hielten. Dann nutzten sie eine spezielle Trainingsmethode, um dem komprimierten Gehirn beizubringen, den Verlust an Detailgenauigkeit zu kompensieren, wodurch der Genauigkeitsverlust auf unter 1 % gehalten wurde.
Das Ergebnis? Auf einem High-End-Telefonchip (Snapdragon 8 Gen5) läuft dieses winzige Modell stabil. Es kann einen Screenshot betrachten, ihn verstehen und in etwa 0,84 Sekunden mit der Beantwortung von Fragen beginnen, wobei es Text mit einer Geschwindigkeit von 98 Token pro Sekunde generiert, während es nur 1,4 GB Speicher benötigt. In Tests schlug dieses 0,9B-Modell deutlich größere Modelle (einige mit 2 bis 2,3 Milliarden Parametern) bei Aufgaben wie dem Lesen chinesischer Texte auf Bildschirmen und dem Beantworten von Fragen über die Anzeige. Die Autoren deuten an, dass es durch die sorgfältige Co-Gestaltung von Architektur, Training und Deployment möglich ist, eine hochfähige On-Device-KI zu besitzen, die keine Genauigkeit zugunsten der Geschwindigkeit opfert, was die Tür für intelligente Assistenten öffnet, die vollständig auf Ihrem Telefon leben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.