StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design
StepX-Edge is een on-device vision-language model met 0,9 miljard parameters dat staat voor de nieuwste stand van zaken op het gebied van UI-begrip en efficiënte real-time implementatie op mobiele chips door middel van een vernieuwende co-design van een UI-bewuste architectuur, een synergetisch vijffasen trainingscurriculum en een hoogprecisie kwantiseringsstrategie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligent robotbrein hebt dat boeken kan lezen, naar plaatjes kan kijken en vragen daarover kan beantwoorden. Dit is de wereld van Vision-Language Models (VLM's). Lange tijd leefden deze breinen in gigantische, cloud-gebaseerde datacenters met enorme servers, omdat ze enorme hoeveelheden stroom en geheugen nodig hadden om na te denken. Maar wat als je dat brein zou kunnen verkleinen zodat het in je smartphone past? Dat is de droom: een AI hebben die naar je telefoonscherm kan kijken, begrijpt wat je aan het doen bent en je helpt om op de juiste knop te tikken, allemaal zonder een internetverbinding nodig te hebben.
Het probleem is een klassieke afweging. Om een brein slim genoeg te maken om kleine tekst op een scherm te lezen of een specifiek icoontje te vinden, heb je meestal veel "neuronen" (parameters) nodig, wat het zwaar en traag maakt. Maar je telefoon heeft strikte limieten wat betreft batterij, geheugen en rekenkracht. Als je het brein te veel verkleint, wordt het dom en begint het fouten te maken, zoals denken dat een "sluit"-knop een "opslaan"-knop is. Als je het groot houdt, trekt het je batterij in minuten leeg. Wetenschappers hebben geprobeerd dit "nauwkeurigheid versus efficiëntie"-raadsel op te lossen, waarbij ze vaak moesten kiezen tussen een slim maar traag model of een snel maar dom model.
Maak kennis met StepX-Edge, een nieuw project dat beweert deze code te hebben gekraakt. De onderzoekers bouwden een piepklein AI-model met slechts 0,9 miljard parameters (een zeer kleine omvang voor dit soort taken) dat direct op een mobiele telefoon draait. Ze hebben niet simpelweg een bestaand groot model verkleind; ze hebben het geheel vanaf de grond af aan opnieuw ontworpen. Denk aan het bouwen van een aangepaste racewagen in plaats van alleen een kleinere motor in een vrachtwagen te plaatsen.
Ten eerste hebben ze de architectuur (het chassis van de auto) herontworpen. Ze creëerden een speciale "oog" voor het model die geobsedeerd is door de vreemde vormen van telefoonschermen (die vaak lang en smal zijn, in tegenstelling tot vierkante foto's) en een "brug" die verbindt wat het oog ziet met de taalvaardigheden van het brein zonder details te verliezen. Ze vermeden fancy, complexe onderdelen die telefoons niet goed kunnen verwerken, en hielden vast aan standaard, betrouwbare onderdelen die soepel werken op mobiele chips.
Ten tweede hebben ze de training (de rijschool) aangepast. In plaats van het model in een chaotische mix van elk type data te werpen, gebruikten ze een "curriculum"-aanpak. Ze ontdekten dat het de het model leren van vier vaardigheden tegelijk — tekst lezen (OCR), de lay-out van het scherm begrijpen, vragen beantwoorden en specifieke knoppen aanwijzen — er eigenlijk toe leidt dat ze allemaal samen beter worden. Het is alsover een student die leert piano en schaken; de focus die nodig is voor de één helpt de ander. Ze trainden het model in vijf fasen, beginnend met eenvoudige uitlijning en geleidelijk overgaand naar complexe, real-world scherminteracties, waardoor de vier vaardigheden elkaar versterkten in plaats van om aandacht te vechten.
Ten slotte beheersten ze de deployment (het afstellen van de motor). Om het model op een telefoon te laten passen, moesten ze het zwaar comprimeren, wat normaal gesproken de intelligentie ruïneert. Het team gebruikte een slimme tweestaps-compressietechniek. Ze behandelden het "oog" (visuele deel) en het "brein" (taaldeel) verschillend: ze comprimeerden het brein naar een piekleine 4-bit grootte, terwijl ze de precisie van het oog hoger hielden. Vervolgens gebruikten ze een speciale trainingsmethode om het gecomprimeerde brein te "leren" hoe het het verlies aan detail kon compenseren, waardoor het verlies aan nauwkeurigheid minder dan 1% bleef.
Het resultaat? Op een hoogwaardige telefoonchip (Snapdragon 8 Gen5) draait dit kleine model stabiel. Het kan een screenshot bekijken, begrijpen en binnen ongeveer 0,84 seconden beginnen met het beantwoorden van vragen, waarbij het tekst genereert met een snelheid van 98 tokens per seconde, terwijl het slechts 1,4 GB aan geheugen gebruikt. In tests versloof of evenaarde dit 0,9B-model veel grotere modellen (sommigen met 2 tot 2,3 miljard parameters) bij taken zoals het lezen van Chinese tekst op schermen en het beantwoorden van vragen over wat er op het scherm te zien is. De auteurs suggereren dat door zorgvuldig de architectuur, training en deployment gezamenlijk te ontwerpen, het mogelijk is om een zeer capabele, on-device AI te hebben die geen nauwkeurigheid opoffert voor snelheid, wat de deur opent naar slimme assistenten die volledig op je telefoon leven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.