Imagina el mundo de la Inteligencia Artificial como una biblioteca enorme y bulliciosa donde los libros son escritos por robots gigantes y superinteligentes. Estos robots, conocidos como Modelos de Lenguaje Extensos (LLM), son increíbles para entender el habla humana, escribir historias y resolver problemas. Pero hay un inconveniente: para ser así de inteligentes, estos robots cargan con miles de millones de pequeñas notas en sus bolsillos, lo que los hace increíblemente pesados. Intentar ejecutar estos robots pesados en un dispositivo pequeño, como un teléfono inteligente o un reloj inteligente, es como intentar cargar una biblioteca entera en tu mochila; es demasiado peso, y la batería se agota instantáneamente. Los científicos han estado tratando de averiguar cómo encoger estos robots sin que olviden todo lo que aprendieron.

Para hacer esto, los investigadores utilizan un truco matemático llamado "Descomposición de Valores Singulares" (SVD). Piensa en la SVD como una forma de tomar un montón de notas gigante y desordenado y organizarlo en una pila más pequeña y ordenada que aún cuente la misma historia. Es como resumir una novela de 500 páginas en un esquema de 50 páginas que mantiene todos los puntos importantes de la trama. Otra idea es la "importancia de la neurona", que es como preguntar: "¿Qué notas en este montón de notas realmente importan para la historia y cuáles podemos desechar?". Finalmente, está la pregunta de cómo encoger diferentes partes del robot. ¿Deberíamos encoger cada parte por la misma cantidad, o deberíamos ser más inteligentes y encoger de forma más agresiva las partes que son menos importantes?

Este artículo presenta un nuevo método llamado NIDA-SVD que intenta ser el bibliotecario definitivo. En lugar de simplemente resumir las notas o simplemente desechar las que son "poco importantes", combina ambas ideas de una manera ingeniosa. Los investigadores descubrieron que simplemente mezclar los métodos antiguos no funcionaba bien, pero al observar cómo las "células cerebrales" (neuronas) del robot reaccionan a la historia, pudieron encoger el modelo de manera mucho más efectiva. También descubrieron que encoger el robot capa por capa, basándose en su profundidad en la máquina, funciona mejor que agrupar las partes por su función. Cuando probaron esto en modelos como BERT, DistilBERT y TinyBERT, su nuevo método mantuvo la inteligencia del robot casi intacta incluso cuando redujeron su tamaño a la mitad o más, superando a los métodos anteriores, especialmente cuando los modelos eran comprimidos al máximo.

El problema de la mochila pesada

Los Modelos de Lenguaje Extensos son las estrellas de la IA moderna, capaces de charlar con nosotros y comprender nuestro mundo. Pero para ser así de inteligentes, están construidos con miles de millones de parámetros—piensa en ellos como los ladrillos individuales en un muro masivo. El problema es que este muro es tan pesado que no cabe en dispositivos pequeños como teléfonos o computadoras portátiles. Los científicos quieren comprimir estos modelos, haciéndolos más pequeños y rápidos sin perder su inteligencia.

Las herramientas antiguas: Resumir y Clasificar

Para encoger estos modelos, los investigadores han utilizado dos herramientas principales. La primera es la SVD, un método matemático que actúa como un resumidor supereficiente. Toma una matriz gigante (una cuadrícula de números) y la descompone en una versión más pequeña que aún conserva la información más importante, descartando el resto. La segunda herramienta es la importancia de la neurona, que intenta averiguar qué números específicos en la cuadrícula son las "estrellas" del espectáculo. Si un número no contribuye mucho al resultado final, es un candidato para ser eliminado.

Previamente, los científicos intentaron usar estas herramientas por separado. Algunos se centraron en resumir los datos basándose en cómo el modelo los "ve" (consciente de los datos o data-aware), mientras que otros se centraron en qué tan importante era cada número específico para el resultado final (importancia de los parámetros). Sin embargo, los autores de este artículo notaron que simplemente mezclar estos dos métodos antiguos no funcionaba bien; de hecho, hacía que los modelos fueran más torpes.

La nueva solución: NIDA-SVD

Los autores proponen un nuevo enfoque llamado NIDA-SVD (Descomposición de Valores Singulares Consciente de los Datos y Dirigida por la Importancia de las Neuronas). En lugar de mirar números individuales para decidir qué mantener, miran las neuronas (los grupos funcionales de números) y preguntan: "¿Qué tan importante es el resultado de esta neurona para la tarea final?".

Imagina que estás editando una película. La forma antigua era mirar cada fotograma individual y decidir si era importante. La nueva forma es mirar las escenas y preguntar: "¿Esta escena impulsa la trama?". Si una escena es crucial, la mantienes detallada; si es solo relleno, la recortas. Al centrarse en la importancia del resultado de la neurona en lugar de solo en los números brutos, el nuevo método mantiene el rendimiento del modelo alto incluso cuando el tamaño se reduce drásticamente.

El encogimiento inteligente: Asignación Dinámica de Rango

El artículo también aborda un segundo problema: cómo decidir cuánto encoger cada parte del modelo. En el pasado, la gente a menudo encogía cada parte por la misma cantidad (asignación uniforme) o agrupaba las partes por su función (como todas las partes de "atención" juntas). Los autores argumentan que esto es demasiado rígido.

Descubrieron que diferentes capas del modelo tienen diferentes necesidades. Algunas capas son como los cimientos de un edificio; si las encoges demasiado, todo colapsa. Otras son como la pintura en las paredes; pueden simplificarse más sin arruinar la casa. Los autores desarrollaron un algoritmo de asignación dinámica de rango que observa el modelo capa por capa (basándose en su índice de profundidad) y asigna un "límite de encogimiento" específico a cada una. Esto asegura que las capas más sensibles reciban más espacio, mientras que las menos sensibles se comprimen más.

Los resultados: Más pequeños, más rápidos y más inteligentes

Los investigadores probaron su método en varios modelos populares, incluyendo BERT, DistilBERT, MobileBERT y TinyBERT. Compararon NIDA-SVD contra los mejores métodos actuales (como SVD-LLMv2) en varias tareas como la comprensión de oraciones y la respuesta a preguntas.

Los resultados fueron impresionantes. En el 87.5% de las pruebas en el modelo BERT estándar, NIDA-SVD funcionó mejor que el estado del arte anterior. La diferencia fue aún más dramática en las tasas de compresión altas (cuando el modelo se reduce mucho). Por ejemplo, al comprimir el modelo en un 50% (manteniendo solo la mitad de los parámetros), NIDA-SVD mejoró el rendimiento hasta en un 6.41% en ciertas tareas en comparación con los métodos antiguos.

Incluso en los modelos más pequeños, como TinyBERT, que ya es muy compacto, el nuevo método se mantuvo firme. Aunque TinyBERT es tan pequeño que reducirlo más suele hacer que falle, NIDA-SVD logró comprimirlo en un 30% (de 14.3 millones de parámetros a 10.0 millones) manteniendo un rendimiento sólido. De hecho, en el 94% de las pruebas para TinyBERT, el nuevo método fue superior.

Eficiencia sin costo

Uno podría preocuparse de que ser así de inteligente requiera potencia de cómputo adicional. Sin embargo, los autores demuestran que su método es tan rápido como los demás. Debido a que el número total de parámetros es el mismo (ya que su objetivo es la misma tasa de compresión), el costo computacional (medido en MFLOPS/token) es casi idéntico. La "magia" no reside en hacer más trabajo; reside en distribuir el trabajo de manera más inteligente.

Por ejemplo, en un modelo DistilBERT, comprimirlo en un 50% redujo el costo computacional de 86 MFLOPS/token a aproximadamente 19 MFLOPS/token. En TinyBERT, una reducción del 30% en el tamaño condujo a una caída masiva del 90% en el costo computacional, bajándolo a menos de 1 MFLOP/token.

Conclusión

En resumen, este artículo sugiere que para encoger los modelos de IA de manera efectiva, no debemos limitarnos a mirar los números brutos o tratar cada parte del modelo de la misma manera. En su lugar, debemos entender qué "células cerebrales" están haciendo el trabajo pesado y encoger el modelo capa por capa según cuánto pueda soportar cada una. El nuevo método de los autores, NIDA-SVD, demuestra que este enfoque nos permite meter estos robots gigantes y listos en mochilas más pequeñas sin que olviden sus lecciones, allanando el camino para una IA poderosa en nuestros dispositivos cotidianos.