FAMPWQ: Fisher Information-based Adaptive Mixed Precision Weight Quantization for Effective LLM Inference

Les grands modèles de langage sont les moteurs d'une nouvelle génération d'intelligence artificielle, capables d'écrire des histoires, de résoudre des problèmes et de tenir des conversations avec une fluidité qui semblait autrefois impossible. Ces systèmes sont construits sur de vastes réseaux de connexions mathématiques, appelées paramètres, qui sont stockés sous forme de nombres dans la mémoire d'un ordinateur. Plus le modèle est complexe, plus il nécessite de mémoire pour fonctionner. Bien que ces modèles soient brillants dans les centres de données puissants, leur taille massive les rend difficiles à utiliser sur des appareils du quotidien comme les ordinateurs portables ou les smartphones, qui disposent de beaucoup moins de stockage et de puissance de traitement. Pour combler cet écart, les ingénieurs utilisent une technique appelée quantification. Ce processus simplifie les nombres à l'intérieur du modèle, réduisant leur précision pour gagner de l'espace. Cependant, cette simplification est un compromis délicat : si les nombres sont arrondis de manière trop agressive, l'intelligence du modèle s'étiole, et il commence à commettre des erreurs ou à perdre sa capacité à comprendre le contexte.

Pendant des années, l'approche standard face à ce problème a consisté à traiter chaque partie du modèle de la même manière. Les ingénieurs appliquaient un niveau de simplification uniforme à l'ensemble du système, un peu comme si l'on ponçait une sculpture en bois avec le même grain de papier abrasif sur toute la surface. Cette méthode est simple, mais elle ignore une réalité cruciale : toutes les parties d'un modèle de langage ne sont pas également importantes. Certaines sections du réseau sont très sensibles aux changements, où même une erreur infime peut ruiner le résultat, tandis que d'autres sections sont robustes et peuvent tolérer une simplification significative sans perte de qualité notable. Des recherches récentes ont montré qu'appliquer le même niveau de compression aux zones sensibles et robustes force un choix entre gaspiller de la mémoire sur des parties qui n'en ont pas besoin ou détruire l'intelligence du modèle en compressant trop les parties qui en ont besoin.

Une équipe de chercheurs a maintenant développé une nouvelle méthode appelée FAMPWQ qui résout ce problème en traitant chaque couche du modèle individuellement. Au lieu d'appliquer une règle unique à l'ensemble du système, leur approche mesure la sensibilité de chaque couche spécifique à la compression avant de décider à quel point elle doit être simplifiée. Pour ce faire, ils utilisent un concept mathématique connu sous le nom d'information de Fisher, qui agit comme un test de résistance pour la structure interne du modèle. Ils introduisent une petite perturbation simulée dans les nombres d'une couche spécifique et observent à quel point la performance du modèle change en réponse. Si la performance chute brutalement, la couche est jugée sensible et est conservée à une précision plus élevée. Si la performance reste stable, la couche est identifiée comme robuste et est compressée plus agressivement. Cela permet au système de préserver les parties critiques et délicates du modèle tout en réduisant de manière agressive les parties redondantes, créant ainsi un équilibre sur mesure pour chaque modèle.

Une fois que les chercheurs ont cartographié la sensibilité de chaque couche, ils utilisent un algorithme d'apprentissage pour décider exactement combien de bits de précision attribuer à chacune d'elles. Cet algorithme agit comme un planificateur stratégique, recherchant le mélange parfait de haute et de basse précision qui s'insère dans une limite de mémoire stricte tout en préservant l'intelligence du modèle. L'objectif est de trouver une configuration où l'utilisation totale de la mémoire est minimisée, mais où la perte de précision est maintenue aussi basse que possible. En utilisant cette stratégie adaptative, les chercheurs ont pu repousser les limites de ce qui est possible avec les modèles compressés. Lors de tests sur plusieurs modèles de langage différents, leur méthode a systématiquement surpassé les techniques existantes. Lorsque les modèles étaient compressés à une moyenne de seulement trois bits par nombre, la nouvelle approche produisait des résultats nettement plus précis que les autres méthodes, certains tests montrant une réduction des erreurs de près de 7 pour cent.

Les résultats de ce travail suggèrent que l'avenir de l'exécution d'une intelligence artificielle puissante sur de petits appareils réside dans la flexibilité plutôt que dans l'uniformité. Les chercheurs ont constaté qu'en respectant les besoins uniques de chaque partie du réseau, ils pouvaient maintenir des performances élevées même avec des empreintes mémoire extrêmement faibles. Dans des comparaisons directes où les modèles étaient invités à juger la qualité de leurs propres réponses, la nouvelle méthode l'a emporté contre les autres approches de pointe dans jusqu'à 7 de 76 pour cent des cas. Cela indique que les modèles ont conservé une compréhension du langage et de la logique bien plus profonde que ce que l'on pensait possible sous des contraintes aussi serrées. Bien que la méthode nécessite une période d'analyse initiale pour déterminer les meilleurs réglages, ce coût est une dépense unique qui est rentabilisée par la capacité de faire fonctionner ces modèles sophistiqués sur du matériel qui était auparavant trop limité pour les supporter. Ce travail démontre qu'en mesurant soigneusement la fragilité des composants d'un système, nous pouvons le compresser bien plus efficacement qu'en appliquant une solution unique pour tous.