En el panorama digital moderno, los poderosos sistemas de inteligencia artificial conocidos como modelos de lenguaje extensos han transformado la forma en que las computadoras entienden y generan el lenguaje humano. Estos sistemas están construidos sobre vastas colecciones de puntos de datos llamados parámetros, que actúan como la base de conocimiento interna del modelo. Un modelo típico puede contener miles de millones de estos parámetros, lo que requiere una cantidad significativa de memoria informática para almacenarlos. Durante años, ejecutar estos complejos sistemas ha sido el dominio de enormes centros de datos equipados con procesadores gráficos especializados y de alta velocidad. Sin embargo, un movimiento creciente busca trasladar esta inteligencia más cerca de donde la gente realmente vive y trabaja, colocándola en computadoras locales más pequeñas conocidas como nodos de borde (edge nodes). Estos dispositivos se encuentran a menudo en oficinas, hogares o ubicaciones remotas donde las conexiones a Internet son poco fiables o donde las preocupaciones de privacidad impiden que los datos salgan del edificio. El desafío para los ingenieros es que estos dispositivos locales suelen carecer de los potentes procesadores gráficos que se encuentran en los centros de datos, dependiendo en su lugar de unidades centrales de procesamiento estándar, los cerebros de propósito general de la mayoría de las computadoras. La pregunta crítica ha sido si estas máquinas modestas y cotidianas pueden realmente realizar el trabajo pesado de ejecutar modelos de lenguaje avanzados y, de ser así, cuánta memoria necesitan y qué tan rápido pueden trabajar.

Un equipo de investigadores se propuso responder a estas preguntas probando los límites de una computadora de borde única y representativa. No construyeron nuevo software ni inventaron un chip más rápido; en su lugar, actuaron como observadores cuidadosos, midiendo exactamente qué sucede cuando una computadora estándar intenta ejecutar tres tamaños diferentes de modelos de lenguaje. Probaron modelos que iban desde una versión compacta con 1.100 millones de parámetros hasta una versión más robusta con 7.000 millones de parámetros. Para cada modelo, ejecutaron el sistema en tres niveles diferentes de precisión, que pueden entenderse como la cantidad de detalle que la computadora utiliza para almacenar sus números internos. Los investigadores querían ver si la práctica común de reducir este detalle, conocida como cuantización, ayudaría a que estas máquinas locales funcionaran más rápido y usaran menos memoria, tal como ocurre en los potentes centros de datos.

Los resultados que descubrieron revelaron una realidad sorprendente que contradice lo que se cree ampliamente sobre estos sistemas. En los centros de datos de alta potencia del mundo, reducir la precisión de un modelo es una estrategia probada que reduce el uso de memoria a la mitad o más y acelera el rendimiento. En la computadora local, basada solo en CPU, probada en este estudio, ocurrió exactamente lo contrario. Cuando los investigadores redujeron la precisión para ahorrar espacio, la computadora en realidad necesitó significamente más memoria para ejecutar el modelo. Para el modelo más grande probado, que teóricamente debería haber requerido unos 14 gigabytes de memoria, el sistema demandó casi 20 gigabytes cuando se redujo la precisión. Este aumento de aproximadamente el 48 por ciento ocurrió porque el procesador estándar de la computadora no podía entender de forma nativa los números comprimidos y de baja precisión. En lugar de procesarlos directamente, el sistema tenía que mantener los pesos comprimidos en la memoria mientras simultáneamente los convertía de nuevo a un formato estándar para cada cálculo. Esto creó una carga dual donde la computadora sostenía tanto los pesos comprimidos como los búferes de conversión, mientras que las activaciones y el caché de atención permanecían en el formato estándar durante todo el proceso, aumentando efectivamente la carga de memoria en lugar de aligerarla.

Más allá del problema de la memoria, el estudio identificó exactamente qué estaba ralentizando a la computadora. Los investigadores encontraron que el procesador estaba trabajando a casi el 100 por ciento de su capacidad, pero producía muy pocos resultados. Esto indicaba que la máquina no estaba luchando con las matemáticas en sí, sino que estaba esperando a que llegaran los datos desde su memoria. El cuello de botella era la velocidad a la que la información podía viajar desde los chips de memoria hacia el procesador, un límite conocido como ancho de banda de memoria. Debido a que la computadora estaba constantemente esperando datos, solo podía manejar una solicitud a la vez. Si un usuario intentaba hacer dos preguntas simultáneamente, el sistema no sería capaz de dividir el trabajo entre dos hilos (threads); simplemente se vería abrumado. La solicitud única saturaba la máquina, lo que significaba que para servir a múltiples usuarios, una red necesitaría añadir más computadoras físicas en lugar de intentar exprimir más trabajo de una sola computadora.

La caída en el rendimiento fue aún más dramática cuando los investigadores observaron la velocidad. El modelo más capaz, ejecutando su precisión estándar, podía generar alrededor de 3,76 palabras por segundo, lo cual es lento pero utilizable para una conversación. Sin embargo, cuando los investigadores aplicaron las técnicas de compresión destinadas a hacer las cosas más rápidas, la velocidad se desplomó. El sistema se ralentizó a menos de una palabra por segundo, haciendo que la interacción se sintiera dolorosamente lenta. En el caso más extremo de compresión, el sistema producía una nueva palabra solo una vez cada dieciséis segundos, volviéndolo inútil para una conversación en tiempo real. Esto confirmó que las técnicas diseñadas para tarjetas gráficas potentes no solo eran ineficaces en estas máquinas locales, sino que eran activamente perjudiciales, intercambiando velocidad por una penalización de memoria que la máquina no podía permitirse.

Para ayudar a los ingenieros a planificar estas realidades, los investigadores desarrollaron una regla simple para estimar cuánta memoria necesitaría realmente una computadora local. Descubrieron que la cantidad de memoria requerida no es solo una cuestión del tamaño de los parámetros del modelo. En cambio, el uso total de memoria depende fuertemente del nivel de precisión elegido. Para un modelo estándar, no comprimido, la memoria necesaria es aproximadamente igual al tamaño de los pesos del modelo. Pero para los modelos comprimidos, los investigadores encontraron que el requisito de memoria salta a aproximadamente tres veces el tamaño de los pesos para un nivel de compresión, y casi seis veces para el nivel más profundo. Esto significa que un ingeniero que planea ejecutar un modelo grande en un dispositivo local debe dotar a la máquina con significativamente más memoria de la que sugiere el tamaño del archivo del modelo. Una computadora con 32 gigabytes de memoria podría ser capaz de ejecutar un modelo grande, pero tendría muy poco espacio restante para el sistema operativo u otras tareas, y ciertamente no podría ejecutar dos de tales modelos a la vez.

El estudio concluye que, si bien ejecutar modelos de lenguaje avanzados en dispositivos locales basados solo en CPU es posible, esto requiere un replanteamiento completo de cómo se despliegan estos sistemas. Las estrategias que funcionan en la nube no se traducen al borde (edge). Los ingenieros no pueden simplemente tomar un modelo optimizado para un centro de datos y esperar que funcione eficientemente en una computadora portátil o servidor local. Deben tener en cuenta el hecho de que estas máquinas están limitadas por la rapidez con la que pueden mover datos, no por la rapidez con la que pueden calcularlos. También deben aceptar que comprimir el modelo para ahorrar espacio probablemente lo hará más lento y requerirá más memoria, no menos. Para aquellos que necesitan desplegar estos sistemas en lugares con preocupaciones de privacidad o mala conexión a Internet, el camino a seguir implica elegir el tamaño de modelo adecuado para la memoria disponible y aceptar que una sola computadora local solo puede atender a una persona a la vez. La era de la inteligencia de borde está aquí, pero demanda un conjunto de reglas diferente al de los centros de datos que le precedieron.