Résumé technique : Satisfaction des contraintes orthographiques et alignement avec la difficulté humaine dans les grands modèles de langage

1. Énoncé du problème

Les grands modèles de langage (LLM) font face à un défi fondamental lors de la génération de texte sous contraintes orthographiques strictes : satisfaire des règles discrètes au niveau des caractères tout en naviguant dans de vastes espaces combinatoires. Contrairement à la correspondance de motifs sémantiques, qui domine l'entraînement des LLM, la génération contrainte exige une adhésion stricte à la validité structurelle (par exemple, n'utiliser qu'un ensemble spécifique de lettres, inclure un caractère obligatoire et respecter des exigences de longueur minimale).

Une tension centrale existe entre la plausibilité distributionnelle et la validité structurelle. Les modèles entraînés sur des motifs distributionnels peuvent attribuer de faibles probabilités de génération aux solutions valides par les contraintes qui présentent des motifs orthographiques atypiques (par exemple, des consonnes doublées ou des répétitions spécifiques de lettres), même si ces mots sont fréquents dans les données d'entraînement. Alors que des travaux antérieurs ont examiné des contraintes sémantiques ou utilisé des garanties au moment du décodage (par exemple, la recherche en faisceau sur grille), il manque une évaluation systématique de la manière dont les modèles ajustés par instruction gèrent les contraintes orthographiques strictes dans des contextes à vocabulaire ouvert, sans mécanismes d'application externes. De plus, l'interaction entre l'échelle du modèle, les budgets de calcul (jetons de raisonnement) et la difficulté calibrée par l'humain reste sous-explorée.

2. Méthodologie

Les auteurs évaluent 39 configurations de modèles répartis en trois familles (Qwen3, Claude Haiku 4.5 et GPT-5-mini) sur 58 énigmes issues du Spelling Bee du New York Times.

Définition de la tâche

Les modèles doivent générer des mots anglais à partir d'un ensemble spécifique de sept lettres, dont une est obligatoire. Les sorties valides doivent :

1. Contenir au moins quatre lettres.
2. N'utiliser que les sept lettres fournies (la répétition est autorisée).
3. Inclure la lettre centrale obligatoire.
4. (Bonus) Utiliser les sept lettres pour former des « pangrammes ».

Configuration expérimentale

• Modèles :
  • Qwen3 : Cinq modèles open-source (4B, 8B, 14B, 32B denses ; 30B-A3B Mixture-of-Experts). Testés en modes de génération directe et « réflexion » avec des budgets de 4K, 8K et 16K jetons.
  • Claude Haiku 4.5 : Modèle propriétaire testé en modes de réflexion directe et étendue avec des budgets de 4K, 8K et 16K.
  • GPT-5-mini : Modèle propriétaire testé à trois niveaux d'effort de raisonnement (correspondant à des budgets de jetons approximatifs).
• Prompting : Des prompts en zéro-shot énumèrent explicitement les contraintes sans révéler les nombres de solutions ou les longueurs de sortie attendues, afin d'isoler les capacités intrinsèques de gestion des contraintes.
• Référence de difficulté humaine : L'étude utilise des données agrégées de performance provenant de 10 000 solveurs humains par énigme pour établir des métriques de difficulté de référence (taux de réussite allant de 3 % à 97 %).
• Métriques : Précision, Rappel et score F1. De plus, l'étude mesure la force de calibration (corrélation de rang de Spearman entre la difficulté humaine et les taux d'erreur des modèles) et le rappel stratifié par longueur.

3. Contributions clés

1. Caractérisation des performances inter-familles : L'étude démontre que les différences entre les familles de modèles sont substantiellement plus grandes (écart F1 de 2,0 à 2,2×) que les gains obtenus par la mise à l'échelle des paramètres au sein d'une seule famille (gain de 83 % de 4B à 32B pour Qwen). Cet écart est principalement dû au rappel plutôt qu'à la précision.
2. Sensibilité hétérogène aux budgets : L'impact des budgets de « réflexion » n'est pas uniforme. Les modèles à haute capacité montrent de forts rendements sur l'augmentation du calcul, tandis que les modèles de taille moyenne (par exemple, Qwen-14B) peuvent se dégrader avec une allocation accrue, et les petits modèles ne montrent aucune sensibilité.
3. Alignement avec la difficulté humaine et analyse des échecs : En utilisant des données humaines à grande échelle, les auteurs établissent une calibration modeste mais cohérente (ρ = 0,28–0,42) entre les familles. Crucialement, ils identifient des échecs systématiques sur des mots courants présentant une orthographe inhabituelle (par exemple, « data », « loll », « acai ») où le succès humain est élevé (>80 %) mais où les taux d'erreur des modèles sont extrêmes (>92 %).

4. Résultats clés

Mise à l'échelle inter-familles vs intra-familles

• Écart de performance : Les modèles propriétaires (GPT-5-mini, Claude Haiku) atteignent des scores F1 de 2,0 à 2,2 fois supérieurs à la plus grande configuration open-source de Qwen3 (32B).
• Rappel vs Précision : L'écart de performance est piloté par le rappel (Propriétaire : 68 % contre Qwen-32B : ~23 %), tandis que les différences de précision sont modestes (9 points de pourcentage).
• Rappel des pangrammes : L'écart s'élargit considérablement pour les contraintes complexes ; GPT-5-mini atteint un rappel de pangrammes de 77,6 % contre 15,8 % pour Qwen-32B.
• Facteur de confusion lié à la tokenisation : Une analyse de corrélation partielle écarte la conception du tokeniseur comme facteur de confusion principal pour les différences de mise à l'échelle au sein d'une famille.

Sensibilité aux budgets

• Modèles à haute capacité : Les variantes Qwen denses (32B) et MoE (30B), ainsi que les modèles propriétaires, montrent des rendements positifs avec l'augmentation des budgets de réflexion. La variante MoE 30B (avec seulement 3B de paramètres actifs) montre la dépendance la plus forte, nécessitant un budget substantiel pour compenser une capacité effective limitée.
• Dégradation des modèles de taille moyenne : Le modèle Qwen-14B présente une dégradation paradoxale, où les performances chutent à mesure que le budget de raisonnement augmente. Les auteurs suggèrent que cela pourrait être dû à l'amplification de la plausibilité distributionnelle sans amélioration proportionnelle de la vérification des contraintes.
• Insensibilité des petits modèles : Les petits modèles (4B, 8B) affichent des performances plates sur tous les budgets, échouant souvent à générer des mots valides sur 51 % des énigmes sans le mode réflexion.

Alignement avec la difficulté humaine

• Calibration : Il existe une corrélation modeste entre la difficulté humaine et les taux d'erreur des modèles (ρ = 0,28–0,42). Les modèles propriétaires montrent un alignement supérieur à leurs homologues open-source.
• Échecs systématiques : Les modèles échouent systématiquement sur des mots courants présentant des motifs orthographiques spécifiques :
  • Consonnes doublées : « illicit », « loll », « annotation ».
  • Lettres répétées : « papa », « nana », « toon ».
  • Motifs atypiques / Mots empruntés : « data », « acai ».
  • Observation : Ces mots sont fréquents dans les données d'entraînement mais sont manqués car leurs motifs orthographiques sont sous-représentés par rapport à leur fréquence ou violent les priors distributionnels appris par le modèle.

Dégradation dépendante de la longueur

• Humain vs Modèle : Le succès humain décline doucement avec la longueur du mot (baisse de 1,3× des mots de 4 lettres aux mots de 7+ lettres).
• Effondrement du modèle : Les modèles montrent une dégradation catastrophique avec la longueur, allant de baisses de rappel de 1,5× à plus de 71× selon la capacité. Cela suggère un manque de robustesse face à la complexité combinatoire croissante par rapport aux stratégies de mémoire de travail humaines.

5. Signification et affirmations

L'article affirme que les architectures actuelles de LLM présentent une surenchère systématique sur la plausibilité distributionnelle, ce qui pénalise les motifs orthographiquement atypiques mais valides par les contraintes. Les résultats suggèrent que :

1. La satisfaction des contraintes est distincte : Satisfaire des contraintes orthographiques strictes engage des mécanismes différents de la génération de langage naturel, révélant des goulots d'étranglement dans la mémoire de travail et l'énumération systématique qui ne sont pas résolus par la seule mise à l'échelle des paramètres.
2. L'architecture compte plus que l'échelle : Les différences architecturales inter-familles (impliquant probablement la composition des données d'entraînement ou l'optimisation) sont plus critiques pour la satisfaction des contraintes que l'augmentation du nombre de paramètres au sein d'une famille.
3. L'allocation des budgets est non linéaire : L'augmentation des budgets de calcul n'améliore pas universellement les performances ; pour certains modèles, elle exacerbe les échecs en amplifiant les biais distributionnels.
4. Perspectives futures : Les auteurs proposent que la résolution de ces problèmes nécessite des modules de vérification explicites indépendants des priors distributionnels, des objectifs d'entraînement récompensant les solutions orthographiquement inhabituelles et des politiques d'allocation de budget spécifiques aux modèles. Ils notent également que ces résultats pourraient se généraliser à d'autres domaines contraints comme la synthèse de code et la génération de données structurées, où les sorties correctes peuvent être distributionnellement atypiques.

L'étude conclut que, bien que les modèles puissent satisfaire des contraintes, ils le font avec une fragilité qui diffère significativement de la cognition humaine, en particulier concernant la vérification de la validité structurelle par rapport aux priors statistiques appris.