Résumé technique : NIV (Neural Axis Variations) pour la génération de polices variables

Énoncé du problème

Les polices variables représentent une avancée significative en typographie, permettant une variation continue de la géométrie des glyphes le long d'axes de conception sémantiques (par exemple, l'épaisseur, la largeur, l'inclinaison, la taille optique) au sein d'un seul fichier. Cependant, la conversion d'une police statique en une police variable fonctionnelle est traditionnellement un processus laborieux nécessitant une expertise en conception typographique. Cela implique de définir manuellement de multiples contours de glyphes maîtres et de spécifier les données gvar (glyph variation) qui dictent comment chaque point de contrôle se déplace en fonction des valeurs des axes. Par conséquent, de nombreuses polices existantes restent statiques. Bien que les méthodes neuronales antérieures se soient concentrées sur la génération d'images raster statiques ou de contours vectoriels individuels, aucune méthode existante n'a réussi à automatiser la génération d'un fichier de police variable complet et conforme aux normes OpenType à partir d'une seule entrée statique.

Méthodologie

Les auteurs introduisent NIV (Neural Axis Variations), une méthode en deux étapes qui convertit automatiquement une police statique en une police variable en apprenant à prédire les déplacements par point conditionnés par les valeurs des axes de conception.

1. Données et représentation d'entrée

• Jeu de données : Le modèle est entraîné sur un jeu de données nouvellement construit, dérivé de plus d'un million de tuples de variation extraits de Google Fonts. Le jeu de données comprend la géométrie du contour par glyphe et des deltas de variation par point entièrement densifiés, normalisés selon un système de coordonnées unifié.
• Encodage d'entrée : Les glyphes sont représentés comme des séquences ordonnées de points de contour vectoriels (incluant les points sur courbe, hors courbe et fantômes). Les coordonnées sont normalisées dans une plage de $[-1, 1]$ par rapport aux unités par ém (UPM) de la police. Chaque point est augmenté de caractéristiques indiquant s'il est sur courbe, sa position de contour et son statut de point fantôme.
• Conditionnement d'axe : Le modèle reçoit un ensemble d'axes de conception cibles (par exemple, wght, slnt) avec des valeurs scalaires normalisées dans $[-1, 1]$. Un masque binaire indique quels axes sont actifs, permettant au modèle de gérer un nombre variable d'axes par exemple.

2. Architecture du modèle

NIV utilise un modèle géométrique séquence-à-séquence qui mappe une séquence ordonnée de caractéristiques de points de glyphe à une séquence de vecteurs de déplacement $(\Delta x, \Delta y)$.

• Backbone (Noyau) : Le cœur consiste en une pile de blocs d'interaction utilisant l'auto-attention multi-têtes et des réseaux de propagation vers l'avant avec des connexions résiduelles. Contrairement aux modèles autorégressifs, cette architecture traite l'ensemble de la séquence de points simultanément, respectant la nature géométrique des contours de glyphes.
• Embedding de propriété (Property Embedding) : Une contribution novatrice de ce travail est le mécanisme de Property Embedding. Il capture les interactions entre plusieurs axes en apprenant des vecteurs positifs et négatifs pour chaque axe. Ceux-ci sont pondérés par les valeurs absolues des axes et additionnés pour créer un vecteur de conditionnement.
• Normalisation adaptative de couche (AdaLN - Adaptive Layer Normalization) : Le vecteur de conditionnement résultant module les représentations internes du réseau à chaque bloc d'interaction via AdaLN. Cela permet un contrôle fin et conscient de la géométrie du processus de déformation, permettant au modèle d'apprendre des interactions complexes et d'ordre supérieur entre les axes (par exemple, comment les changements de poids et de largeur interagissent) au sein d'un cadre unifié.
• Sortie : Une tête de régression par point mappe les représentations latentes vers des vecteurs de déplacement 2D pour chaque point de contrôle.

3. Pipeline de génération de police

Dans la seconde étape, le modèle construit le fichier de la police variable :

1. Construction de tuples : Le modèle prédit les deltas de contour pour des positions spécifiques dans l'espace de conception.
2. Injection hiérarchique : Le système construit la table gvar en injectant progressivement des tuples. Il commence par des tuples de premier ordre (axes uniques) et ajoute des tuples d'ordre supérieur (paires, triplets) comme corrections résiduelles.
3. Apprentissage résiduel : Pour les coordonnées multi-axes, le modèle calcule le déplacement déjà expliqué par les tuples d'ordre inférieur (en utilisant les règles de pondération OpenType) et le soustrait de la prédiction du modèle avant d'écrire le nouveau tuple. Cela garantit que les tuples de premier ordre capturent les effets d'un axe unique tandis que les tuples d'ordre supérieur n'encodent que les termes d'interaction nécessaires.
4. Sortie : Le processus produit un fichier .ttf standard contenant les tables fvar et gvar, compatible avec les moteurs de rendu existants.

Résultats clés et évaluation

L'article évalue NIV selon plusieurs dimensions, démontant une généralisation robuste :

• Performance quantitative : Sur les ensembles de test, NIV atteint une erreur quadratique moyenne (RMSE) d'environ 0,053 (en unités de delta normalisées) pour les codes de caractères non vus (split Unicode) et 0,052 pour les styles de police non vus (split de style). Cela surpasse considérablement une ligne de base nulle (prédisant un déplacement de zéro), qui présente des RMSE d'environ 0,13–0,14.
• Codes de caractères non vus : Le modèle généralise avec succès les motifs de déformation à des caractères Unicode non présents dans les données d'entraînement, en se basant uniquement sur la structure géométrique.
• Styles de police non vus : La méthode génère des polices variables cohérentes pour des polités statiques totalement absentes de l'ensemble d'entraînement, y compris des styles complexes.
• Scripts à haute complexité : Le modèle démontre une robustesse sur les polices CJK (chinois, japonais, coréen, par exemple Meiryo, PingFang), qui impliquent des milliers de glyphes et sont traditionnellement difficiles à automatiser.
• Généralisation hors distribution : Dans un test exigeant, NIV a généré une police variable à partir d'un échantillon d'écriture manuscrite qui ne présentait aucune ressemblance structurelle avec les données d'entraînement, parvenant à inférer des déformations pilotées par les axes pour des formes entièrement nouvelles.
• Fidélité de reconstruction : Lorsqu'il est appliqué pour reconstruire des polices variables à partir de l'ensemble de test (en supprimant leurs variations et en les régénérant), NIV a produit des résultats de haute fidélité avec seulement des imperfections mineures.
• Comparaison avec les lignes de base : L'article contraste NIV avec les heuristiques géométriques basées sur des règles (par exemple, une simple mise à l'échelle). Les auteurs notent que les approches géométriques naïves échouent souvent à préserver l'intégrité structurelle (par exemple, la mise à l'échelle de la largeur épaissit par inadvertance les hampes), tandis que NIV apprend à déformer sélectivement les composants appropriés.

Signification et affirmations

Les auteurs positionnent NIV comme la première méthode capable de générer un fichier de police variable fonctionnel avec des variations continues à partir d'une seule police statique.

• Automatisation : L'approche réduit considérablement l'effort d'ingénierie manuelle requis pour créer des polices variables, permettant potentiellement la conversion de vastes bibliothèques de polices statiques en formats variables.
• Cadre unifié : En utilisant le Property Embedding et l'AdaLN, la méthode capture des interactions complexes multi-axes qui sont difficiles à définir manuellement ou via de simples heuristiques.
• Utilité pratique : Le résultat est une police OpenType standard (.ttf) qui peut être immédiatement utilisée dans les navigateurs et les logiciels de conception sans post-traitement.
• Implications plus larges : Au-delà de la typographie, l'article suggère que le cadre proposé pour apprendre la variation paramétrique structurée dans les graphiques vectoriels pourrait s'étendre à d'autres domaines géométriques.

Les auteurs maintiennent une position modeste concernant les limites, reconnaissant que la méthode actuelle se concentre sur la déformation du contour géométrique et ne prédit pas encore les composants typographiques comme le crénage (kerning), l'espacement global ou les instructions de hintage, qui restent des domaines de recherche future.