Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study

Résumé technique : Fertilité des tokenizers et performances en zéro-shot des modèles de base sur les textes juridiques ukrainiens

Énoncé du problème
Les modèles de base présentent des disparités significatives en matière d'efficacité et de performance lors du traitement de textes juridiques ukrainiens par rapport à l'anglais. L'ukrainien, une langue morphologiquement riche utilisant l'alphabet cyrillique, souffre souvent d'une tokenisation sous-optimale, entraînant un gonflement du nombre de tokens, des coûts d'inférence plus élevés et une réduction des fenêtres de contexte effectives. Bien que des évaluations dans le domaine général existent, il manque une comparaison systématique de la façon dont différents modèles de base se comportent sur des tâches juridiques spécifiques et à haut risque au sein du domaine ukrainien. Les praticiens développant des plateformes de technologie juridique font face à une incertitude concernant la sélection de modèles, car la taille du modèle (nombre de paramètres) peut ne pas être corrélée aux performances sur des tâches non anglaises et spécifiques à un domaine.

Méthodologie
L'étude, désignée « Expérience A » du programme de formation LEX AI Test, a évalué sept modèles de base provenant de cinq fournisseurs (Meta, Mistral AI, NVIDIA, Amazon et Qwen) accessibles via AWS Bedrock. L'évaluation a utilisé un corpus de 300 décisions judiciaires authentiques issues du Registre unifié d'État des décisions judiciaires d'Ukraine (EDRSR), stratifié sur les juridictions civile, pénale, commerciale et administrative. Après une validation rigoureuse des étiquettes par vote majoritaire à trois sources (analyseur regex, Claude Sonnet 4.5 et NVIDIA Nemotron Super 3), un sous-ensemble validé de 273 documents a été utilisé pour les métriques finales.

L'évaluation a mesuré trois dimensions principales :

1. Fertilité du tokenizer : Le rapport entre les tokens de sous-mots et les mots délimités par des espaces sur des échantillons de documents de 6 000 caractères.
2. Performance des tâches : Performances en zéro-shot et few-shot sur trois tâches :
   • Classification du type d'affaire : Catégorisation juridictionnelle à 4 classes.
   • Classification du résultat de l'affaire : Prédiction à 5 classes de la disposition de l'affaire (par exemple, accordé, refusé).
   • Extraction de normes juridiques : Extraction structurée en JSON des lois et articles cités.
3. Analyse des coûts : Coûts API totaux encourus lors de l'inférence, incluant des études d'ablation sur la sensibilité des invites et la distribution des exemples.

Contributions clés

1. Étalonnage de la fertilité des tokenizers : L'article quantifie une variance de 1,6× dans l'efficacité des tokenizers entre les modèles. Il démontre que la conception du tokenizer est un choix au niveau du vocabulaire indépendant de l'échelle du modèle, les modèles de la famille Llama étant significativement plus efficaces que les modèles Qwen sur les textes ukrainiens.
2. Découplage performance vs échelle : L'étude fournit des preuves empiriques que le nombre total de paramètres est un mauvais prédicteur des performances sur les tâches juridiques ukrainiennes. Un modèle de 120 milliards de paramètres (Nemotron Super 3) a surpassé un modèle de 675 milliards de paramètres (Mistral Large 3) sur toutes les tâches à une fraction du coût.
3. L'effet de dégradation du few-shot : La recherche documente un phénomène contre-intuitif où l'invitation few-shot dégrade les performances sur les tâches de classification juridique ukrainienne. Pour plusieurs modèles, la fourniture d'exemples a réduit la précision de jusqu'à 26 points de pourcentage. Les études d'ablation confirment que cela est intrinsèque à la complexité morphologique des démonstrations ukrainiennes plutôt qu'à un artefact de la sélection d'exemples ou de la formulation de l'invite.
4. Optimisation coût-performance : Les auteurs fournissent un classement composite et une architecture de routage multi-modèles proposée qui optimise à la fois la qualité et le coût, suggérant que différents modèles devraient être déployés pour différentes sous-tâches au sein d'un pipeline juridique.

Résultats clés

• Efficacité du tokenizer : Llama 4 Maverick a atteint la plus grande efficacité (2,43 tokens/mot), tandis que les modèles Qwen3 étaient les moins efficaces (3,90 tokens/mot), consommant 60 % de tokens en plus pour une entrée identique.
• Performance des modèles :
  • NVIDIA Nemotron Super 3 a obtenu le score composite le plus élevé (83,1) et la meilleure précision en zéro-shot pour la classification du résultat de l'affaire (96,0 %), surpassant Mistral Large 3 (675 milliards de paramètres au total) malgré un nombre de paramètres actifs nettement inférieur.
  • Llama 4 Maverick a égalé la meilleure classification du type d'affaire (98,9 %) au coût le plus bas (0,81 $ pour l'ensemble de l'expérience).
  • Llama 3.3 70B a obtenu les meilleurs résultats pour l'extraction de normes juridiques (F1 = 0,604), suggérant que les architectures denses peuvent exceller dans les tâches d'extraction structurée.
• Impact du few-shot : L'invitation few-shot a entraîné une dégradation des performances pour 12 combinaisons modèle-tâche sur 21. La baisse la plus sévère a été observée avec Qwen3 235B sur la classification du résultat de l'affaire (−26,0 points de pourcentage). Une ablation stratifiée a confirmé que même des exemples correspondant à la distribution n'ont pas amélioré les performances, soutenant l'hypothèse d'une interférence morphologique.
• Efficacité des coûts : L'ensemble routé (utilisant Llama 4 Maverick pour la classification, Nemotron pour les résultats et Llama 3.3 pour l'extraction) a obtenu un score composite plus élevé (85,1) à 37 % de coût en moins que l'utilisation de Nemotron seul.

Signification et affirmations
L'article affirme que pour les praticiens déployant des modèles de base sur des langues morphologiquement riches à script cyrillique comme l'ukrainien, les heuristiques standard telles que « les modèles plus grands sont meilleurs » ou « le few-shot est toujours supérieur » sont invalides. Les auteurs affirment que :

1. L'analyse du tokenizer doit précéder la sélection du modèle pour éviter une inflation inutile des coûts et une réduction de la fenêtre de contexte.
2. L'invitation en zéro-shot doit être la référence par défaut pour les tâches juridiques ukrainiennes, car les exemples few-shot peuvent interférer activement avec les performances du modèle en raison de la morphologie riche de la langue.
3. La sélection du modèle doit être spécifique à la tâche. Aucun modèle unique ne domine toutes les tâches de TAL juridique ; une stratégie de routage exploitant les forces spécifiques de différents modèles (par exemple, utiliser un modèle moins cher et efficace pour une classification simple et un modèle plus capable pour un raisonnement complexe) offre l'équilibre optimal entre qualité et coût.
4. Un étalonnage complet et spécifique à la langue est réalisable et abordable, le coût total de cette évaluation extensive (incluant les ablations) s'élevant à environ 60 $.

L'étude conclut que les benchmarks centrés sur l'anglais et les nombres de paramètres sont des proxies insuffisants pour les performances dans les domaines juridiques non anglais, exhortant la communauté à prioriser l'évaluation spécifique au domaine et consciente de la langue avant le déploiement.