StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design
StepX-Edge es un modelo de visión y lenguaje en el dispositivo de 0.9 mil millones de parámetros que logra una comprensión de la interfaz de usuario de vanguardia y un despliegue en tiempo real eficiente en chips móviles a través de un novedoso codiseño de arquitectura consciente de la interfaz de usuario, un currículo de entrenamiento sinérgico de cinco etapas y una estrategia de cuantización de alta precisión.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que tienes un cerebro de robot súper inteligente que puede leer libros, mirar imágenes y responder preguntas sobre ellas. Este es el mundo de los Modelos de Visión y Lenguaje (VLM). Durante mucho tiempo, estos cerebros vivieron en gigantescos centros de datos en la nube con servidores masivos, porque necesitaban enormes cantidades de energía y memoria para pensar. Pero, ¿qué pasaría si pudieras encoger ese cerebro para que cupiera dentro de tu teléfono inteligente? Ese es el sueño: tener una IA que pueda mirar la pantalla de tu teléfono, entender lo que estás haciendo y ayudarte a pulsar el botón correcto, todo sin necesidad de una conexión a Internet.
El problema es un compromiso clásico. Para hacer que un cerebro sea lo suficientemente inteligente como para leer texto diminuto en una pantalla o encontrar un icono específico, normalmente necesitas muchos "neuronas" (parámetros), lo que lo hace pesado y lento. Pero tu teléfono tiene límites estrictos de batería, memoria y potencia de procesamiento. Si encoges demasiado el cerebro, se vuelve torpe y empieza a cometer errores, como confundir un botón de "cerrar" con uno de "guardar". Si lo mantienes grande, agota tu batería en minutos. Los científicos han estado intentando resolver este rompecabezas de "precisión vs. eficiencia", teniendo a menudo que elegir entre un modelo inteligente pero lento o uno rápido pero torpe.
Aquí entra StepX-Edge, un nuevo proyecto que afirma haber descifrado este código. Los investigadores construyeron un modelo de IA diminuto con solo 0,9 mil millones de parámetros (un tamaño muy pequeño para este tipo de tarea) que se ejecuta directamente en un teléfono móvil. No se limitaron a encoger un modelo gigante ya existente; rediseñaron todo desde cero. Piensa en ello como construir un coche de carreras personalizado en lugar de simplemente poner un motor más pequeño en un camión.
Primero, rediseñaron la arquitectura (el chasis del coche). Crearon un "ojo" especial para el modelo que está obsesionado con las formas extrañas de las pantallas de los teléfonos (que suelen ser altas y delgadas, a diferencia de las fotos cuadradas) y un "puente" que conecta lo que el ojo ve con las habilidades lingüísticas del cerebro sin perder ningún detalle. Evitaron partes sofisticadas y complejas que los teléfonos no pueden manejar bien, apostando por piezas estándar y fiables que funcionan fluidamente en los chips móviles.
Segundo, cambiaron el entrenamiento (la escuela de conducción). En lugar de lanzar al modelo a una mezcla caótica de todo tipo de datos, utilizaron un enfoque de "currículo". Descubrieron que enseñar al modelo cuatro habilidades a la vez —leer texto (OCR), comprender el diseño de la pantalla, responder preguntas y señalar botones específicos— en realidad ayuda a que todas mejoren juntas. Es como un estudiante que aprende a tocar el piano y jugar al ajedrez; el enfoque requerido para uno ayuda al otro. Entrenaron el modelo en cinco etapas, comenzando con un alineamiento simple y avanzando gradualmente hacia interacciones de pantalla complejas en el mundo real, asegurando que las cuatro habilidades se reforzaran entre sí en lugar de luchar por la atención.
Finalmente, dominaron el despliegue (el ajuste del motor). Para hacer que el modelo cupiera en un teléfono, tuvieron que comprimirlo fuertemente, lo que normalmente arruina su inteligencia. El equipo utilizó una ingeniosa técnica de compresión de dos pasos. Trataron al "ojo" (la parte de visión) y al "cerebro" (la parte de lenguaje) de forma diferente, comprimiendo el cerebro a un tamaño diminuto de 4 bits mientras mantenían la precisión del ojo más alta. Luego, utilizaron un método de entrenamiento especial para "enseñar" al cerebro comprimido cómo compensar la pérdida de detalle, manteniendo la pérdida de precisión en menos del 1%.
¿El resultado? En un chip de teléfono de gama alta (Snapdragon 8 Gen5), este modelo diminuto se ejecuta de forma estable. Puede mirar una captura de pantalla, entenderla y empezar a responder preguntas en aproximadamente 0,84 segundos, generando texto a una velocidad de 98 tokens por segundo, mientras utiliza solo 1,4 GB de memoria. En las pruebas, este modelo de 0,9B superó o igualó a modelos mucho más grandes (algunos con 2 a 2,3 mil millones de parámetros) en tareas como la lectura de texto chino en pantallas y la respuesta de preguntas sobre lo que aparece en la pantalla. Los autores sugieren que, mediante el codiseño cuidadoso de la arquitectura, el entrenamiento y el despliegue, es posible tener una IA de alta capacidad que funcione directamente en el dispositivo sin sacrificar la precisión por la velocidad, abriendo la puerta a asistentes inteligentes que vivan enteramente en tu teléfono.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.