Résumé Technique : Quand les Bits Rompent le Recours : Quantification Fidèle aux Contrefactuels

1. Énoncé du Problème

Les systèmes d'apprentissage automatique modernes reposent de plus en plus sur la quantification pour réduire l'empreinte mémoire et la latence d'inférence, en particulier dans les déploiements mobiles et sur périphérie. Bien que l'entraînement conscient de la quantification (QAT) et la quantification post-entraînement (PTQ) soient rigoureusement évalués pour leur capacité à préserver la précision prédictive, cet article identifie un décalage critique de déploiement : la quantification peut préserver la précision moyenne tout en brisant silencieusement le recours algorithmique.

Le recours algorithmique fournit des recommandations actionnables (modifications minimales d'une entrée) qui inversent la décision d'un modèle vers un résultat souhaité. L'article soutient que les contraintes de précision s'appliquent à la distribution des données, alors que le recours dépend de la géométrie locale de la frontière de décision dans des voisinages spécifiques autour de points individuels. La quantification perturbe les poids et les activations de manière structurée mais non uniforme, ce qui peut déplacer les marges de décision et faire pivoter les frontières précisément dans les voisinages qui importent pour le recours. Par conséquent, une action de recours valide pour un modèle en précision complète peut devenir invalide ou nettement plus coûteuse après quantification, même si la précision de test du modèle reste inchangée.

2. Méthodologie : Quantification Fidèle aux Contrefactuels (CFQ)

Les auteurs proposent la Quantification Fidèle aux Contrefactuels (CFQ), une méthode d'entraînement conscient de la quantification conçue pour préserver le comportement contrefactuel comme objectif de premier plan, parallèlement à la précision prédictive.

Mécanisme Central

La CFQ traite la quantification comme un décalage de modèle structuré. Elle utilise un modèle « enseignant » en précision complète ($f$) pour générer des actions de recours ($\delta_{fp}$) pour les instances d'entrée. Ces actions sont calculées via un petit nombre ($K$) de pas de gradient projetés sur une perte contrefactuelle différentiable et sont traitées comme des constantes (via stop-gradient) lors de l'optimisation du modèle quantifié ($f_q$).

L'objectif d'entraînement pour la CFQ combine trois composantes :

1. Perte de Tâche ($L_{task}$) : Perte supervisée standard (par exemple, entropie croisée) pour maintenir la précision prédictive sur les entrées factuelles.
2. Perte de Préservation de Validité ($L_{valid}$) : Un régularisateur qui force le modèle quantifié à prédire le résultat cible au point de recours de l'enseignant ($x + \delta_{fp}$). Cela garantit que si une action fonctionne pour le modèle en précision complète, elle reste valide pour le modèle quantifié.
3. Pénalité de Coût en Bits ($\lambda \cdot \text{BitCost}$) : Une contrainte imposant un budget global de bits, permettant une allocation de précision mixte.

Allocation de Bits en Précision Mixte

La CFQ optimise conjointement les paramètres du quantificateur (par exemple, tailles de pas, seuils de clipping) et les largeurs de bits au niveau des couches. Elle utilise une relaxation différentiable via Gumbel-Softmax pour sélectionner les largeurs de bits parmi un ensemble de candidats (par exemple, $\{2, 3, 4, 8\}$) pour chaque couche. L'optimisation est guidée par l'objectif contrefactuel, allouant une précision plus élevée aux couches qui influencent le plus la validité des points de recours, plutôt que d'optimiser uniquement pour la précision moyenne.

Améliorations Optionnelles

• Appariement de Direction/Coût ($L_{match}$) : Un terme optionnel qui aligne l'action de recours calculée par le modèle quantifié ($\delta_q$) avec l'action de l'enseignant ($\delta_{fp}$) en termes de direction et de coût.
• Stabilisation de la Marge ($L_{hinge}$) : Une perte de type hinge qui impose une marge positive au point de recours de l'enseignant, fournissant une marge de sécurité contre les perturbations induites par la quantification.

Fondement Théorique

L'article fournit une condition suffisante pour le transfert de recours basée sur la robustesse de la marge. Il postule que si la marge cible en précision complète à un point de recours dépasse le double de la perturbation maximale des logits induite par la quantification ($\epsilon$), le modèle quantifié préservera l'étiquette cible. L'objectif de la CFQ répond directement à cela en augmentant la marge aux points de recours et en réduisant les perturbations effectives grâce à une allocation de bits ciblée.

3. Contributions Clés

1. Identification d'un Décalage de Déploiement : Les auteurs démontrent que les références de quantification préservant la précision (QAT uniforme, QAT en précision mixte) peuvent dégrader significativement la transférabilité contrefactuelle, entraînant des échecs de recours invisibles pour les métriques de précision standard.
2. Nouvelles Métriques : Deux métriques sont introduites pour quantifier ce mode de défaillance :
   • Chute de Validité (VD) : La probabilité qu'une action de recours valide pour le modèle en précision complète échoue pour le modèle quantifié.
   • Écart de Recours Contrefactuel (CRG) : L'augmentation relative du coût minimal requis pour atteindre le résultat cible après quantification.
3. Algorithme CFQ : Une procédure d'entraînement novatrice qui couple l'allocation de bits en précision mixte avec un régularisateur de cohérence contrefactuelle pour préserver la validité du recours sous des budgets de bits.
4. Validation Empirique : Des expériences extensives sur des benchmarks tabulaires (ADULT, GERMAN CREDIT, COMPAS) et des jeux de données d'images non tabulaires (MNIST, Fashion-MNIST, CelebA) montrant que la CFQ maintient la précision tout en améliorant substantiellement la VD et le CRG.

4. Résultats Expérimentaux

Des expériences ont été menées sur des benchmarks de recours tabulaires standards (ADULT, GERMAN CREDIT, COMPAS) et étendues à des jeux de données d'images en utilisant des espaces d'actions latents structurés ou sémantiques.

• Précision vs Recours : Les méthodes de référence (LSQ-QAT, PACT-QAT, Précision Mixte axée sur la précision) ont atteint une précision prédictive comparable à celle des modèles en précision complète (par exemple, ~85,7 % sur ADULT) mais ont souffert d'une Chute de Validité (VD) élevée (VD $\approx$ 0,12–0,18) et d'un Écart de Recours Contrefactuel (CRG) élevé (CRG $\approx$ 0,16–0,23).
• Performance de la CFQ : La CFQ a atteint une précision comparable (par exemple, 85,7 % sur ADULT) tout en réduisant drastiquement la VD (à ~0,06) et le CRG (à ~0,07). Cela représente une réduction d'environ 50 % des taux d'échec de recours par rapport aux meilleures références non-CFQ.
• Robustesse : Les avantages de la CFQ étaient cohérents à travers différents budgets de bits, avec les gains les plus importants observés dans les régimes de faible nombre de bits (par exemple, 3-4 bits) où le bruit de quantification est le plus fort.
• Variante sans Entraînement (CF-PTQ) : Une variante post-entraînement a été introduite qui calibre les quantificateurs sur les points factuels et contrefactuels de l'enseignant sans mettre à jour les poids du modèle de base. Cette variante a réduit significativement la VD et le CRG par rapport à la PTQ standard, offrant un compromis pratique entre la PTQ standard et le QAT complet.
• Analyse par Sous-groupes : La CFQ a réduit l'instabilité du recours à travers différents sous-groupes (par exemple, genre, race), bien que des disparités de stabilité entre sous-groupes puissent encore exister, suggérant un besoin de futures extensions axées sur l'équité.

5. Signification et Revendications

L'article revendique que la précision prédictive est insuffisante pour garantir la fiabilité du recours algorithmique dans les modèles compressés. En traitant la quantification comme un changement de modèle qui altère la géométrie locale de la décision, les auteurs soutiennent que les pipelines de déploiement doivent optimiser explicitement la stabilité du recours.

La signification de la CFQ réside dans sa capacité à :

• Empêcher les Promesses Brisées : Garantir que les recommandations actionnables générées lors du développement (sur des modèles en précision complète) restent valides et rentables après le déploiement (sur des modèles quantifiés).
• Fournir une Stabilité Mesurable : Introduire la VD et le CRG comme métriques standard pour évaluer la robustesse du recours sous compression, révélant des défaillances que les métriques de précision masquent.
• Offrir des Solutions Pratiques : Fournir à la fois une approche basée sur l'entraînement (CFQ) et une approche sans entraînement (CF-PTQ) pour atteindre cette stabilité, la rendant applicable à diverses contraintes de déploiement.

Les auteurs adoptent une position modeste, notant que la CFQ préserve le recours par rapport au modèle prédictif spécifié et à l'ensemble d'actions, mais ne certifie pas l'efficacité causale dans le monde réel. Ils reconnaissent que la CFQ introduit une surcharge computationnelle (principalement due au calcul du recours de l'enseignant) et que sa stabilité est calibrée sur la distribution d'entraînement, nécessitant potentiellement un recalibrage en cas de décalages sévères de déploiement. Cependant, les résultats démontrent que l'optimisation de la quantification pour le comportement contrefactuel est un objectif distinct et nécessaire pour les systèmes d'aide à la décision à haut risque.