🤖 AI

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling

Cet article présente FOCUS, un cadre de quantification post-entraînement qui améliore la précision du FP4 pour les grands modèles de langage en employant une mise à l'échelle par relaxation couplée (Coupled-Relaxation Scaling) pour découpler les échelles de quantification apprenables des contraintes matérielles, ainsi qu'une mise à l'échelle à double granularité (Dual-Granularity Scaling) pour une adaptation plus fine des poids, atteignant des performances de pointe sans surcoût d'inférence supplémentaire.

Auteurs originaux : Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de faire tenir une bibliothèque de connaissances massive et complexe dans un petit sac à dos portable. C'est le combat quotidien des « Large Language Models » (LLM), ces cerveaux informatiques super intelligents capables d'écrire des histoires, de résoudre des problèmes mathématiques et de discuter comme des humains. Le problème est que ces cerveaux sont si volumineux qu'ils nécessitent une quantité énorme de mémoire et de puissance pour fonctionner, ce qui les rend coûteux et lents à utiliser sur des appareils du quotidien. Pour y remédier, les scientifiques utilisent une astuce appelée « quantification ». Considérez cela comme la traduction d'un film en haute définition, 4K, vers un format de résolution inférieure afin qu'il puisse tenir sur un vieux téléphone. L'objectif est de réduire la taille des données sans perdre le fil de l'histoire. Récemment, un nouveau format super minuscule appelé « FP4 » a émergé, supporté par les puces informatiques modernes, qui promet de réduire encore davantage ces modèles. Cependant, il y a un piège : compresser les données de manière aussi étroite fait souvent « oublier » des choses au modèle ou le rend confus, entraînant une perte de précision. La grande question est la suivante : comment réduire la taille du modèle jusqu'à cette dimension minuscule sans ruiner son intelligence ?

Ce document présente une nouvelle méthode ingénieuse appelée FOCUS pour résoudre exactement ce problème. Les chercheurs ont réalisé que la méthode actuelle pour réduire la taille de ces modèles était trop rigide. Imaginez que vous prépariez une valise. La règle standard dit : « Vous devez utiliser exactement les mêmes petites boîtes préfabriquées pour emballer vos vêtements, et vous devez utiliser ces mêmes boîtes pour les déballer plus tard. » Le document soutient que c'est absurde. Bien que vous deviez utiliser les petites boîtes pour stocker les vêtements (car c'est ce qui rentre dans la valise), vous n'avez pas besoin d'utiliser ces mêmes petites boîtes pour déterminer comment plier les vêtements au départ. Vous pourriez utiliser un ruban à mesurer géant et flexible pour planifier l'emballage, puis simplement faire tenir le résultat dans les petites boîtes.

FOCUS utilise cette intuition pour améliorer la préparation de ces modèles pour le format minuscule FP4. Il introduit deux astuces principales :

Coupled-Relaxation Scaling (CRS) : C'est le « ruban à mesurer flexible ». Dans l'ancienne méthode, l'ordinateur devait utiliser une règle très grossière et de faible précision pour décider comment réduire les nombres, et il devait utiliser cette même règle grossière pour les réassembler. FOCUS dit : « Utilisons une règle super précise et de taille réelle pour faire le calcul de réduction, et ensuite compressons le résultat dans la boîte grossière. » Cela permet à l'ordinateur de trouver une bien meilleure façon d'emballer les données sans enfreindre les règles du format minuscule.
Dual-Granularity Scaling (DGS) : Il s'agit d'emballer des articles plus petits. L'ancienne méthode traitait un groupe entier de 32 nombres comme un seul gros bloc, utilisant une seule règle pour tous. Mais que se passe-t-il si certains nombres de ce groupe sont énormes et d'autres minuscules ? FOCUS divise ce grand groupe en sous-groupes plus petits (comme découper une grande pizza en parts) et donne à chaque part sa propre règle personnalisée. Cela permet à l'ordinateur de s'adapter aux détails spécifiques des données, plutôt que de forcer tout le monde dans une boîte unique et standardisée.

Les résultats sont impressionnants. Lorsque les chercheurs ont testé FOCUS sur plusieurs modèles d'IA différents (comme Qwen et LLaMA), il a systématiquement surpassé toutes les autres méthodes. Par exemple, sur un modèle appelé Qwen3-4B, FOCUS a réussi à récupérer 98,2 % de la précision du modèle original en utilisant le format NVFP4, et 96,2 % avec MXFP4. Il s'agit d'un bond significatif par rapport aux techniques précédentes, qui peinaient souvent à rester au-dessus de 90 % ou 94 %.

Crucialement, le document montre que FOCUS ne rend pas le modèle plus lent ou plus difficile à utiliser. Même si l'ordinateur effectue des calculs supplémentaires pendant la préparation du modèle (lors de la phase d'« entraînement » ou de « calibration »), le modèle final s'exécute aussi rapidement que n'importe quel autre modèle FP4. Il faut environ 19 minutes pour préparer un modèle Qwen3-4B sur un seul GPU haut de gamme, ce qui est en fait plus rapide que certaines méthodes concurrentes. Les chercheurs soulignent qu'il s'agit d'une méthode de « post-entraînement », ce qui signifie qu'ils n'ont pas besoin de réapprendre le modèle à partir de zéro ; ils ne font qu'ajuster les instructions d'emballage.

En résumé, FOCUS suggère qu'en assouplissant les règles sur la manière de calculer la réduction (tout en gardant strict le format de stockage final), nous pouvons faire tenir ces cerveaux d'IA géants dans de minuscules espaces sans perdre leur intelligence. C'est un peu comme réaliser que l'on peut plier une chemise parfaitement en utilisant une grande table, même si l'on n'a qu'un petit tiroir pour la ranger. Le document prouve que cette approche fonctionne mieux que les anciennes méthodes rigides, offrant une voie pour faire fonctionner des IA puissantes sur des appareils qui ne peuvent actuellement pas les gérer.

Résumé Technique : FOCUS – Optimisation FP4 via le Couplage-Relaxation et la Mise à l'Échelle à Double Granularité

Énoncé du Problème

Les grands modèles de langage (LLM) font face à des défis de déploiement significatifs en raison de leur nombre massif de paramètres, ce qui nécessite des techniques de compression efficaces. Bien que la quantification post-entraînement (PTQ) soit devenue une approche standard, pousser la quantification vers des formats de virgule flottante à 4 bits (FP4) comme MXFP4 et NVFP4 reste difficile. Ces formats offrent un support matériel natif sur les accélérateurs modernes (par exemple, NVIDIA Blackwell) via des schémas de mise à l'échelle par blocs (par exemple, des groupes de 32 ou 16 valeurs partageant une échelle de basse précision).

Cependant, maintenir la précision du modèle sous une précision FP4 est un goulot d'étranglement persistant. Une limitation critique des méthodes existantes est le couplage étroit entre l'échelle de quantification ( $S_q$ ) et l'échelle de déquantification ( $S_{dq}$ ). Les approches actuelles forcent les deux échelles à se conformer au même format discret de basse précision (par exemple, E8M0 pour MXFP4) et à la même granularité de bloc. Cela est sous-optimal car :

Contraintes Redondantes : Seule l'échelle de déquantification ( $S_{dq}$ ) est stockée et utilisée lors de l'inférence, nécessitant qu'elle respecte les contraintes matérielles. L'échelle de quantification ( $S_q$ ), utilisée uniquement lors du processus de quantification hors ligne pour déterminer la meilleure affectation de poids FP4, est jetée par la suite et n'a pas besoin d'obéir à ces contraintes.
Espace d'Optimisation Discret : En forçant $S_q$ dans un format discret de basse précision, les méthodes existantes restreignent le paysage d'optimisation, empêchant l'apprentissage par gradient de trouver des affectations de poids optimales.
Décalage de Granularité : Une échelle unique au niveau du bloc ne peut pas capturer les variations locales de poids au sein d'un bloc, ce qui entraîne des erreurs de quantification.

Méthodologie

Les auteurs proposent FOCUS, un cadre de quantification post-entraînement qui exploite la « liberté » de l'échelle de quantification pour optimiser la précision FP4 sans introduire de surcharge d'inférence. Le cadre opère sur deux dimensions clés : la Précision et la Granularité.

1. Référence (Baseline) : Apprentissage d'Échelle de Bout en Bout

Les auteurs établissent d'abord une référence où les poids du modèle sont gelés, et les échelles par bloc sont apprises de bout en bout en utilisant une perte de distillation de connaissances (KL-Top). Contrairement à la PTQ traditionnelle, cette référence optimise les échelles via la descente de gradient en utilisant l'estimateur de passage direct (Straight-Through Estimator - STE) pour gérer les opérations de quantification non différentiables. Cependant, cette référence impose toujours $S_q = S_{dq}$ , maintenant le couplage étroit.

2. Mise à l'Échelle par Couplage-Relaxation (CRS)

Pour traiter la contrainte de précision, FOCUS introduit la Mise à l'Échelle par Couplage-Relaxation (Coupled-Relaxation Scaling - CRS).

Mécanisme : La CRS découple l'échelle de quantification du format imposé par le matériel en introduisant un coefficient apprenable en pleine précision, $c_i$ .
Formulation : L'échelle de quantification est définie comme $S_q = S_{dq} \cdot c_i$ , où $S_{dq}$ est l'échelle conforme au matériel (quantifiée en E4M3 ou E8M0) et $c_i$ est un paramètre apprenable en pleine précision (FP16) initialisé à 1.
Effet : Cela relaxe le couplage étroit, élevant l'optimisation de $S_q$ d'un espace discret de basse précision vers un espace continu de pleine précision. Cela permet au modèle de trouver de meilleures affectations de poids FP4 tout en garantissant que $S_{dq}$ reste conforme aux exigences matérielles. Le coefficient $c_i$ est jeté après l'entraînement.

3. Mise à l'Échelle à Double Granularité (DGS)

Pour traiter la contrainte de granularité, FOCUS introduit la Mise à l'Échelle à Double Granularité (Dual-Granularity Scaling - DGS).

Mécanisme : La DGS subdivise chaque bloc matériel (taille 32 pour MXFP4, 16 pour NVFP4) en sous-blocs plus petits (par exemple, taille 8). Chaque sous-bloc se voit assigner un coefficient de relaxation indépendant en pleine précision ( $c_k$ ).
Formulation : La quantification pour un sous-bloc $k$ devient $\bar{W}_k = Q(W_k / (S_{dq} \cdot c_k))$ , tandis que l'échelle de déquantification $S_{dq}$ reste partagée sur l'ensemble du bloc.
Effet : Cela permet à l'échelle de quantification d'opérer à une granularité plus fine que l'échelle de déquantification, capturant les variations locales de poids au sein d'un bloc qu'une échelle unique au niveau du bloc ne pourrait pas saisir. Comme la CRS, ces coefficients sont jetés après l'entraînement.

4. Déploiement et Compatibilité

FOCUS ne repose pas sur des transformations structurelles (par exemple, rotations de Hadamard) qui entraînent souvent une surcharge d'inférence ou nécessitent des modifications de framework. Le modèle déployé final consiste strictement en des poids FP4 standards et des échelles de déquantification conformes au matériel, assurant une compatibilité transparente avec les moteurs d'inférence existants et un coût d'inférence nul.

Contributions Clés

Identification de l'Insight : Le papier identifie que l'échelle de quantification est exempte de contraintes matérielles, contrairement à l'échelle de déquantification, et propose d'exploiter cette liberté tant en précision qu'en granularité.
Mise à l'Échelle par Couplage-Relaxation (CRS) : Une technique qui introduit un coefficient en pleine précision pour relaxer le couplage entre les échelles de quantification et de déquantification, permettant une optimisation continue par gradient.
Mise à l'Échelle à Double Granularité (DGS) : Une méthode qui assigne des échelles de quantification au niveau du sous-bloc, capturant les variations de poids intra-bloc que la mise à l'échelle par bloc ne peut représenter.
Performance de l'État de l'Art : Des expériences approfondies démontrent que FOCUS atteint une précision FP4 de type SOTA sous les formats MXFP4 et NVFP4 sur plusieurs familles de LLM (Qwen, LLaMA) sans surcharge d'inférence.

Résultats Expérimentaux

Les auteurs ont évalué FOCUS sur cinq LLM (Qwen3-4B/8B, LLaMA-3.1-8B, LLaMA-3.2-1B/3B) en utilisant WikiText2, C4 et cinq benchmarks de raisonnement zero-shot (ARC, HellaSwag, PIQA, Winogrande).

Récupération de la Précision : Sur Qwen3-4B sous NVFP4, FOCUS récupère 98,2 % de la précision zero-shot de l'FP16, surpassant de manière significative les bases comme RTN, GPTQ, MR-GPTQ, 4over6 et RaZeR.
Perplexité : FOCUS atteint la perplexité la plus basse dans presque tous les réglages. Pour Qwen3-8B, il atteint une perplexité de 9,47 sur WikiText2 (NVFP4), rejoignant presque la base FP16 de 9,73.
Capacités de Raisonnement : Sur les tâches de chaîne de pensée (GSM8K, MMLU), FOCUS surpasse systématiquement les méthodes concurrentes, préservant mieux les capacités de raisonnement multi-étapes que les autres approches de quantification FP4.
Efficacité : Le processus de quantification est léger. Sur un seul GPU NVIDIA H20, la quantification de Qwen3-4B prend 19 minutes, soit 34 % de plus vite que la méthode SOTA précédente (MR-GPTQ).

Signification et Revendications

Le papier affirme que FOCUS représente un changement de paradigme dans la quantification FP4 en repensant le rôle de l'échelle de quantification. En reconnaissant que l'échelle de quantification n'a pas besoin d'être stockée ou de respecter les contraintes matérielles, les auteurs débloquent un espace d'optimisation important et auparavant inexploité.

La signification réside dans l'obtention d'une précision de l'état de l'art pour l'inférence FP4 tout en maintenant une surcharge d'inférence nulle et une compatibilité matérielle transparente. Contrairement aux méthodes basées sur des transformations qui ajoutent un coût de calcul ou nécessitent l'adaptation de frameworks, FOCUS opère purement dans l'espace d'optimisation de l'échelle. Les auteurs affirment que leur approche comble efficacement l'écart de performance entre les modèles FP4 et les modèles en pleine précision (FP16), rendant l'inférence W4A4 à haute efficacité plus viable pour un déploiement pratique.