Gemma 4, Phi-4, and Qwen3: Accuracy-Efficiency Tradeoffs in Dense and MoE Reasoning Language Models

1. Problématique et Contexte

L'évaluation des grands modèles de langage (LLM) se concentre souvent uniquement sur leurs capacités brutes (précision sur des classements), négligeant l'efficacité opérationnelle nécessaire au déploiement réel. Une question centrale émerge dans l'écosystème actuel : les modèles à mélange d'experts (MoE), qui activent uniquement un sous-ensemble de paramètres par token, offrent-ils réellement un meilleur compromis qualité-efficacité par rapport aux modèles denses traditionnels ?

Les auteurs soulignent que les classements actuels sont souvent trompeurs car ils ne tiennent pas compte des contraintes réelles de déploiement (latence, consommation de mémoire VRAM, coût de calcul) ni de l'interaction critique entre l'architecture du modèle et les stratégies de prompting (zero-shot, chaîne de pensée, few-shot). L'objectif est de déterminer quels modèles se situent sur la "frontière de Pareto" réelle (précision vs coût) dans des conditions de déploiement unifiées.

2. Méthodologie

L'étude présente un benchmark empirique contrôlé et reproductible conçu pour éliminer les biais d'évaluation hétérogènes.

• Modèles évalués : Sept modèles open-weight récents, couvrant des architectures denses et MoE, avec des échelles allant de modèles compacts à des systèmes plus grands :
  • MoE : Gemma-4-E2B, Gemma-4-E4B, Gemma-4-26B-A4B, Qwen3-30B-A3B.
  • Denses : Phi-4-mini-reasoning, Phi-4-reasoning, Qwen3-8B.
• Tâches (Benchmarks) : Quatre familles de tâches de raisonnement, 100 exemples chacune :
  • ARC-Challenge : Raisonnement scientifique à choix multiples.
  • GSM8K : Raisonnement mathématique de niveau école primaire.
  • Math Level 1–3 : Résolution de problèmes mathématiques complexes.
  • TruthfulQA MC1 : Évaluation de la véracité et détection de fausses croyances.
• Stratégies de Prompting : Trois régimes comparés pour chaque modèle :
  • Zero-shot (sans exemple).
  • Chain-of-Thought (CoT) : "Réfléchissons étape par étape".
  • Few-shot Chain-of-Thought (Few-shot CoT) : Avec exemples de résolution.
• Métriques : Au-delà de la précision, l'étude mesure la latence, l'utilisation maximale de la mémoire VRAM, la longueur de sortie, et une estimation des FLOPs par token.
• Analyse Statistique : Utilisation de tests appariés de type McNemar pour comparer les modèles sur les mêmes échantillons, et construction de courbes de Pareto pour visualiser les compromis.

3. Contributions Clés

1. Benchmark Unifié : Une comparaison directe de sept modèles denses et MoE sous un même pipeline d'inférence, un même matériel et un même protocole d'évaluation, comblant le vide entre les rapports techniques isolés et les benchmarks larges.
2. Analyse de Pareto Conditionnée par le Prompt : Introduction d'un cadre qui ne classe pas les modèles uniquement par précision, mais par leur position sur la frontière d'efficacité (précision, latence, mémoire) en fonction de la stratégie de prompt utilisée.
3. Démonstration de l'Instabilité des Classements : Preuve empirique que le classement des modèles varie drastiquement selon la tâche et le type de prompt, remettant en cause l'idée d'un "meilleur modèle" universel.
4. Ressources Open-Source : Publication d'un pipeline d'évaluation reproductible, de résultats agrégés et d'analyses statistiques pour soutenir l'évaluation orientée déploiement.

4. Résultats Principaux

A. Performance Globale et Compromis

• Meilleur compromis global : Le modèle Gemma-4-E4B (MoE, 8B paramètres totaux, 4B actifs) avec un prompt Few-shot CoT a obtenu le meilleur score pondéré (0,675) tout en maintenant une consommation mémoire modérée (14,9 GB).
• Le piège de la taille : Le modèle plus grand Gemma-4-26B-A4B a obtenu une précision très proche (0,663) mais a nécessité 48,1 GB de VRAM (plus de 3 fois la mémoire) et une latence plus élevée, le rendant moins efficace pour un déploiement généraliste.
• Efficacité des petits modèles : Gemma-4-E2B a offert un excellent compromis pour les environnements contraints (9,5 GB VRAM), bien que sa précision globale soit inférieure.

B. Sensibilité aux Tâches et aux Prompts

• Dominance par tâche :
  • Gemma (MoE) : Domine sur ARC-Challenge et les tâches Mathématiques.
  • Phi (Dense) : Excellente sur TruthfulQA (véracité) et GSM8K (sous certaines conditions).
  • Qwen : Performances mitigées, souvent en retrait sur les tâches de raisonnement complexe.
• Impact critique du Few-shot CoT :
  • Pour la plupart des modèles (notamment Gemma), le Few-shot CoT améliore considérablement la précision.
  • Cas critique (Phi-4-reasoning) : Sur GSM8K, l'ajout d'exemples few-shot a fait chuter la précision de 0,67 à 0,11. Cela démontre que les exemples few-shot peuvent perturber le comportement interne de certains modèles spécialisés dans le raisonnement.
• GSM8K : C'est la tâche la plus sensible au choix du prompt, montrant des écarts de performance massifs selon la stratégie utilisée.

C. Efficacité et Coûts

• La simple réduction du nombre de paramètres actifs (MoE) ne garantit pas une meilleure performance finale. Par exemple, Qwen3-30B-A3B (30B totaux, 3B actifs) a eu une précision pondérée très faible (0,226) malgré un faible coût de calcul théorique, soulignant que l'architecture et la compatibilité avec le prompt sont plus importantes que le nombre de paramètres.
• Les modèles denses Phi-4 montrent une polarisation forte : excellents sur la véracité et l'arithmétique de base, mais catastrophiques sur les problèmes mathématiques larges (Math L1-L3, où Phi-4-reasoning a obtenu 0,00).

5. Signification et Implications

Cette étude remet en question l'interprétation unidimensionnelle des classements de modèles (Leaderboards). Elle établit que :

1. Aucun modèle n'est universellement supérieur : Le choix du modèle doit être guidé par la charge de travail spécifique (tâche), le protocole de prompt et le budget matériel (VRAM/Latence).
2. Le Prompting est une variable d'architecture : La stratégie de prompt n'est pas un détail d'implémentation secondaire, mais une condition opératoire qui modifie radicalement la frontière d'efficacité d'un modèle.
3. Les modèles MoE de taille intermédiaire sont optimaux : Dans ce benchmark, les modèles MoE de taille moyenne (comme Gemma-4-E4B) offrent le meilleur équilibre pour le déploiement, surpassant les modèles denses et les grands modèles MoE en termes de rapport coût/bénéfice.

En conclusion, les auteurs recommandent une approche d'évaluation orientée déploiement, où les décisions de sélection de modèles sont basées sur des points de fonctionnement multi-objectifs (Précision, Mémoire, Latence) plutôt que sur un score de précision isolé.