FAMPWQ: Fisher Information-based Adaptive Mixed Precision Weight Quantization for Effective LLM Inference

Los modelos de lenguaje de gran tamaño son los motores detrás de una nueva generación de inteligencia artificial, capaces de escribir historias, resolver problemas y mantener conversaciones con una fluidez que antes parecía imposible. Estos sistemas están construidos sobre vastas redes de conexiones matemáticas, conocidas como parámetros, que se almacenan como números en la memoria de una computadora. Cuanto más complejo es el modelo, más memoria requiere para funcionar. Si bien estos modelos se desempeñan brillantemente en potentes centros de datos, su tamaño masivo dificulta su uso en dispositivos cotidianos como computadoras portátiles o teléfonos inteligentes, que tienen mucha menos capacidad de almacenamiento y potencia de procesamiento. Para cerrar esta brecha, los ingenieros utilizan una técnica llamada cuantización. Este proceso simplifica los números dentro del modelo, reduciendo su precisión para ahorrar espacio. Sin embargo, esta simplificación es un delicado equilibrio: si los números se redondean de forma demasiado agresiva, la inteligencia del modelo se desvanece y comienza a cometer errores o a perder su capacidad de comprender el contexto.

Durante años, el enfoque estándar para este problema ha sido tratar cada parte del modelo de la misma manera. Los ingenieros aplicaban un nivel uniforme de simplificación a todo el sistema, de forma muy similar a lijar una escultura de madera con el mismo grano de lija en toda la superficie. Este método es sencillo, pero ignora una realidad crucial: no todas las partes de un modelo de lenguaje son igualmente importantes. Algunas secciones de la red son altamente sensibles a los cambios, donde incluso un error minúsculo puede arruinar el resultado, mientras que otras secciones son robustas y pueden tolerar una simplificación significativa sin ninguna pérdida perceptible en la calidad. Investigaciones recientes han demostrado que aplicar el mismo nivel de compresión tanto a las áreas sensibles como a las robustas obliga a elegir entre desperdiciar memoria en las partes que no la necesitan o destruir la inteligencia del modelo al sobrecomprimir las partes que sí la necesitan.

Un equipo de investigadores ha desarrollado ahora un nuevo método llamado FAMPWQ que resuelve este problema tratando cada capa del modelo de forma individual. En lugar de aplicar una única regla a todo el sistema, su enfoque mide qué tan sensible es cada capa específica a la compresión antes de decidir cuánto simplificarla. Para lograr esto, utilizan un concepto matemático conocido como información de Fisher, que actúa como una prueba de esfuerzo para la estructura interna del modelo. Introducen una pequeña perturbación simulada en los números de una capa específica y observan cuánto cambia el rendimiento del modelo en respuesta. Si el rendimiento cae bruscamente, la capa se considera sensible y se mantiene con una mayor precisión. Si el rendimiento permanece estable, la capa se identifica como robusta y se comprime de forma más agresiva. Esto permite preservar las partes críticas y delicadas del modelo mientras se reduce agresivamente las partes redundantes, creando un equilibrio personalizado para cada modelo.

Una vez que los investigadores han mapeado la sensibilidad de cada capa, utilizan un algoritmo de aprendizaje para decidir exactamente cuántos bits de precisión asignar a cada una. Este algoritmo actúa como un planificador estratégico, buscando la mezcla perfecta de alta y baja precisión que quepa dentro de un límite de memoria estricto manteniendo intacta la inteligencia del modelo. El objetivo es encontrar una configuración donde el uso total de la memoria se minimice, pero la pérdida de exactitud se mantenga lo más baja posible. Al utilizar esta estrategia adaptativa, los investigadores pudieron ampliar los límites de lo que es posible con los modelos comprimidos. En pruebas realizadas en varios modelos de lenguaje de gran tamaño diferentes, su método superó consistentemente a las técnicas existentes. Cuando los modelos fueron comprimidos a un promedio de solo tres bits por número, el nuevo enfoque produjo resultados significativamente más precisos que otros métodos, con algunas pruebas mostrando una reducción de errores de casi un 7 por ciento.

Los resultados de este trabajo sugieren que el futuro de la ejecución de inteligencia artificial potente en dispositivos más pequeños reside en la flexibilidad en lugar de la uniformidad. Los investigadores descubrieron que, al respetar las necesidades únicas de cada parte de la red, podían mantener un alto rendimiento incluso con huellas de memoria extremadamente bajas. En comparaciones directas donde se pidió a los modelos que juzgaran la calidad de sus propias respuestas, el nuevo método ganó contra otros enfoques líderes en hasta un 76 por ciento de los casos. Esto indica que los modelos retuvieron una comprensión mucho más profunda del lenguaje y la lógica de lo que se creía posible bajo tales restricciones estrictas. Si bien el método requiere un período inicial de análisis para determinar la mejor configuración, este costo es un gasto de una sola vez que se compensa con la capacidad de ejecutar estos modelos sofisticados en hardware que anteriormente era demasiado limitado para soportarlos. El trabajo demuestra que, al medir cuidadosamente la fragilidad de los componentes de un sistema, podemos comprimirlo de manera mucho más efectiva que aplicando una solución de talla única.