Résumé Technique : Patching Scratchpad (SP)

Énoncé du Problème

Les modèles de langage modernes reposent généralement sur la tokenisation pour segmenter le texte en unités de sous-mots, un processus qui introduit de la fragilité, une sensibilité au formatage des invites et des difficultés de mise à l'échelle. Les approches sans tokeniseur opérant directement sur les octets offrent une solution mais souffrent de coûts computationnels prohibitifs dus aux longues séquences. Pour atténuer cela, les modèles au niveau octet basés sur des patches agrègent des octets contigus en de plus grands « patches », les traitant comme des unités uniques afin de réduire la longueur de la séquence et l'empreinte du cache KV.

Cependant, les auteurs identifient un compromis fondamental dans les architectures standard basées sur des patches : le retard de patch (patch lag). Dans ces modèles, le tronc principal (le moteur de calcul primaire) ne met à jour sa représentation qu'aux limites des patches. Par conséquent, pour tout octet au sein d'un patch qui n'est pas le dernier, le modèle doit se fier à une représentation « obsolète » du précédent patch pour préserver la causalité. À mesure que les tailles de patches augmentent pour améliorer l'efficacité, ce retard s'élargit, forçant davantage de prédictions à se fier à un contexte périmé, ce qui dégrade considérablement la qualité de la modélisation. Cela crée un couplage étroit où des patches plus grands offrent une meilleure efficacité mais une qualité moindre.

Méthodologie : Patching Scratchpad (SP)

L'article introduit le Patching Scratchpad (SP), un mécanisme conçu pour découpler l'allocation de calcul de la taille du patch, résolvant ainsi le retard de patch sans augmenter l'empreinte persistante du cache KV.

Mécanisme Central

Au lieu de s'engager sur une seule représentation uniquement à la fin d'un patch, SP insère des états scratchpad transitoires à des positions d'octets internes sélectionnées au sein d'un patch.

1. États Transitoires : Lorsqu'un scratchpad est déclenché, le modèle agrège tous les octets vus jusqu'à présent au sein du patch actuel, fait passer cette agrégation à travers le tronc principal et génère une représentation fraîche.
2. Préservation de la Causalité : Cette représentation fraîche est immédiatement disponible pour les prédictions d'octets subséquentes au sein du même patch, remplaçant la représentation obsolète du patch précédent.
3. Efficacité du Cache KV : Crucialement, ces états scratchpad ne sont pas persistés dans le cache KV. Ils sont calculés à la volée lors de l'inférence et immédiatement jetés. Seule la représentation finale « validée » du patch est stockée. Cela permet au modèle d'effectuer plusieurs étapes de raffinement au sein d'un patch sans augmenter l'empreinte mémoire à l'inférence ni la longueur de séquence effective vue par le tronc.

Stratégie de Déclenchement

Pour éviter le coût computationnel d'une mise à jour à chaque octet (ce qui annulerait les avantages du patching), SP emploie un mécanisme de déclenchement sélectif :

• Déclenchement basé sur l'Entropie : Une mise à jour scratchpad est déclenchée à la position d'octet $n$ si l'entropie de la prédiction de l'octet suivant de l'encodeur dépasse un seuil prédéfini ($\tau_{SP}$).
• Adaptativité au Contenu : Cette stratégie alloue sélectivement du calcul aux régions « riches en information » où le modèle est incertain, tout en sautant les régions prévisibles.
• Ajustement Post-hoc : Parce que le déclencheur est basé sur un seuil appliqué à la sortie de l'encodeur, la fréquence des mises à jour scratchpad peut être ajustée au moment de l'inférence sans réentraînement, permettant des compromis flexibles entre calcul et qualité.

Architecture

SP est agnostique au patchifier sous-jacent (la méthode utilisée pour définir les limites des patches). Il s'intègre dans l'architecture standard à cinq composants basée sur des patches (Encodeur, Patchifier, Tronc Principal, Dépatchifier, Décodeur) en modifiant le flux d'information au sein du patch. Pendant l'entraînement, les états scratchpad sont déroulés et concaténés à l'entrée du tronc avec un masque d'attention causale spécialisé qui empêche les scratchpads de s'attirer vers des états futurs ou d'autres scratchpads, garantissant qu'ils n'agrègent que les octets passés au sein du patch actuel.

Contributions Clés

1. Découplage du Calcul de la Taille du Patch : SP introduit un mécanisme général permettant aux modèles d'utiliser des patches plus grands (pour l'efficacité) sans subir la dégradation de qualité généralement associée à un retard de patch accru.
2. Résolution du Retard de Patch : Les auteurs caractérisent le retard de patch comme un mode de défaillance structurel des modèles basés sur des patches et démontrent que SP réduit efficacement ce retard en rafraîchissant le contexte au sein du patch.
3. Inférence Efficace : SP réalise ces améliorations tout en maintenant la même longueur de séquence de patches validée et la même empreinte de cache KV que les modèles standards basés sur des patches.
4. Contrôle Flexible du Calcul : La méthode permet un ajustement post-hoc du calcul à l'inférence via des seuils d'entropie, offrant un contrôle « à un seul bouton » pour les compromis efficacité-précision.

Résultats Expérimentaux

Les auteurs ont évalué SP sur quatre familles de patchifiers (Taille fixe, SpaceByte, basé sur l'entropie et H-Net) sur des ensembles de données de langage naturel, de code et de mathématiques.

• Frontière Qualité-Efficacité : SP déplace systématiquement la frontière de Pareto de la qualité (mesurée par Bits-Par-Octet, BPB) par rapport à l'efficacité (réduction de séquence).
• Grandes Tailles de Patch : À des tailles de patches agressives (par exemple, 16 octets par patch), les modèles augmentés de SP égalent ou s'approchent étroitement des performances des bases de référence au niveau octet. Par exemple, un modèle de taille fixe (p=16) avec SP a atteint une précision NLU moyenne de 54,2, égalant presque la base de référence au niveau octet (54,1), tout en utilisant un cache KV 16 fois plus petit et 3 à 4 fois moins de calcul d'inférence.
• Génération de Code : SP a considérablement amélioré les taux pass@1 sur les benchmarks MBPP et HumanEval, en particulier pour les grandes tailles de patches où les modèles classiques luttaient.
• Allocation de Calcul : Dans des comparaisons appariées en FLOPs, les modèles SP ont généralement égalé ou surpassé les bases de référence sans SP, suggérant que les gains proviennent d'une allocation de calcul mieux ciblée plutôt que d'une simple addition de calcul.
• Robustesse Multilingue : SP a amélioré les performances des modèles basés sur des patches à travers 200 langues (FLORES-200), réduisant l'écart avec les modèles au niveau octet purs.

Signification et Revendications

L'article revendique que le Patching Scratchpad représente une étape pratique vers des modèles de langage de bout en bout plus flexibles. En permettant aux modèles de décider où allouer le calcul en fonction de la densité d'information plutôt que d'hériter d'une segmentation rigide d'un tokeniseur ou d'un patchifier, SP offre un compromis supérieur entre la longueur de séquence persistante, le coût computationnel et la performance de la tâche.

Les auteurs soulignent que SP est une technique générique applicable à de nombreuses architectures existantes basées sur des patches. Ils notent que, avec SP en place, l'écart de performance entre différentes stratégies de patchification (par exemple, taille fixe vs limites apprises) se réduit, suggérant que l'allocation de calcul pourrait être un goulot d'étranglement plus critique que la méthode spécifique de définition des limites des patches.

Le travail est modeste dans ses limites : il se concentre sur le patching à un seul stade et ne réduit pas directement les FLOPs de temps d'entraînement par rapport aux bases de référence standards (bien qu'il améliore l'efficacité de l'inférence). Les auteurs suggèrent que des travaux futurs pourraient explorer des architectures hiérarchiques et des règles de mise à jour plus riches.