Résumé technique : Rapport technique de Gemma 4

Énoncé du problème

L'évolution rapide des modèles de langage de grande taille a créé une demande critique pour des modèles à poids ouverts possédant une forte compréhension multimodale, des capacités de raisonnement avancées et une haute efficacité computationnelle. Les solutions existantes peinent souvent à équilibrer la performance sur des tâches complexes avec les contraintes de mémoire et de calcul requises pour le déploiement sur les appareils. De plus, la gestion de contextes longs entraîne généralement des explosions de mémoire dans les caches KV, et les architectures multimodales traditionnelles reposent souvent sur des encodeurs séparés et lourds qui fragmentent la mémoire et augmentent la latence.

Méthodologie

Gemma 4 introduit une nouvelle génération de modèles de langage multimodaux natifs à poids ouverts, allant de 2,3 à 31 milliards de paramètres, incluant des architectures denses et de type Mixture-of-Experts (MoE). L'approche technique se concentre sur plusieurs innovations architecturales et méthodologiques clés :

1. Innovations architecturales

• Mode de réflexion (Thinking Mode) : Inspirés par des travaux antérieurs (OpenAI, 2024), les modèles Gemma 4 intègrent un « mode de réflexion » qui génère une trace de raisonnement avant de produire une réponse finale. Ceci est conçu pour améliorer les performances dans les domaines à forte intensité de raisonnement tels que les mathématiques et le codage.
• Architecture sans encodeur (Encoder-Free) : Une architecture unifiée sans encodeur est introduite pour le modèle 12B. Au lieu d'utiliser des encodeurs de vision et d'audio séparés et gelés, ce modèle projette directement les segments audio bruts de 40 ms et les patchs d'images dans l'espace d'embedding du LLM via des modules de projection légers. Cela évite le besoin d'encodeurs distincts et réduit la fragmentation de la mémoire.
• Efficacité du contexte long : Pour remédier aux explosions de mémoire dans les caches KV, les modèles utilisent un ratio spécifique de fenêtre glissante locale par rapport à l'attention globale (5:1 pour la plupart des modèles, 4:1 pour le modèle 2,3B). L'architecture emploie le $p$-RoPE (Barbero et al., 2025) pour l'encodage positionnel sur les couches globales et le RoPE standard sur les couches locales. De plus, elle réutilise les clés comme valeurs dans les couches globales et implémente le partage de cache KV (Shazeer, 2019 ; Kayyam et al., 2026), réduisant l'empreinte du cache KV global jusqu'à 37,5 %.
• Prédiction multi-tokens (MTP) : Une tête de drafter MTP autorégressive (Li et al., 2024) est intégrée pour faciliter la génération spéculative (Leviathan et al., 2023), améliorant ainsi la vitesse d'inférence. Le drafter utilise un embedder séparé et effectue une attention croisée avec les KVs du modèle principal, éliminant le besoin de prefill MTP.

2. Entraînement et quantification

• Pré-entraînement : Les modèles sont entraînés sur un ensemble de données diversifié comprenant des documents web, du code, des images et de l'audio, avec une date de coupure en janvier 2025. Le tokenizer (Gemma Team, 2025) présente un vocabulaire de 262k avec des chiffres divisés et des encodages au niveau du byte.
• Entraînement avec prise en compte de la quantification (QAT) : Des versions quantifiées des modèles et des encodeurs sont fournies en utilisant la quantification mobile (mélange de poids int2/int4 avec des activations int8) et la quantification par bloc Q4_0. Cela réduit considérablement l'empreinte mémoire et la latence avec un impact minimal sur la qualité.
• Infrastructure : L'entraînement s'appuie sur des clusters TPUv5p et TPUv6e avec l'optimiseur de partitionnement ZeRO-3 et l'élasticité de granularité de tranche (Slice-Granularity Elasticity) pour gérer efficacement les défaillances localisées.

3. Gestion des modalités

• Vision : Les modèles plus petits (E2B, E4B) utilisent un encodeur Vision Transformer (ViT) de 150M, tandis que les modèles plus grands utilisent un encodeur de 550M. Le modèle unifié 12B remplace l'encodeur par une seule couche de multiplication matricielle de grande taille et des embeddings positionnels basés sur des coordonnées 2D.
• Audio : Les modèles E2B et E4B utilisent un encodeur audio de 305M basé sur l'Universal Speech Model (Zhang et al., 2023), traitant des segments de 40 ms. Le modèle unifié 12B abandonne l'encodeur pour projeter directement les vecteurs audio bruts de 16 kHz dans l'espace d'embedding.

Contributions clés

• Saut de performance : Gemma 4 établit une amélioration significative des performances à travers les benchmarks STEM, multimodaux et de contexte long par rapport à son prédécesseur, Gemma 3.
• Efficacité : La suite offre une vitesse d'inférence, une efficacité de mémoire et une efficacité de calcul améliorées grâce au MTP, au QAT et aux mécanismes d'attention optimisés.
• Scalabilité : Les modèles sont conçus pour servir une variété de matériels embarqués, le modèle 2,3B égalant les performances du modèle Gemma 3 27B tout en utilisant 10 fois moins de paramètres.
• Accès ouvert : Tous les modèles sont publiés sous une licence Apache 2.0, permettant aux développeurs de personnaliser et d'étendre les capacités.

Résultats

• Évaluation humaine : Sur le classement Arena (Chiang et al., 2024), Gemma 4 31B se classe comme le meilleur modèle dense ouvert (Elo 1451), rivalisant avec des modèles MoE ouverts beaucoup plus grands (ex: GLM 5.1, MiMo V2.5 Pro) et approchant les performances des meilleurs modèles fermés.
• Raisonnement et STEM : En « mode de réflexion », Gemma 4 31B atteint 89,2 sur AIME 2026 (sans outils) et 85,2 sur MMLU Pro, surpassant nettement Gemma 3 27B (88,3 et 82,6 respectivement).
• Multimodal : Les modèles Gemma 4 démontrent des performances supérieures sur les benchmarks de vision (MMMU Pro, MATH-Vision) et les tâches audio (CoVoST, FLEURS ASR). Notamment, le modèle 12B sans encodeur atteint des performances audio-texte compétitives sans encodeur dédié.
• Contexte long : Les modèles montrent des gains substantiels dans la récupération et le raisonnement en contexte long, le modèle 31B atteignant une précision de 96,8 % sur RULER à 32k de contexte et 96,4 % à 128k, surpassant Gemma 3 27B (91,1 % et 66,0 % respectivement).
• Sécurité : Des évaluations rigoureuses indiquent des améliorations majeures de la sécurité du contenu dans toutes les catégories par rapport aux modèles Gemma précédents, avec un nombre minimal de violations de politiques et un faible taux de refus injustifiés.

Signification

L'article affirme que Gemma 4 représente un « saut de performance » pour la famille Gemma, établissant une base évolutive pour le déploiement en périphérie (edge) et le raisonnement avancé. En intégrant des modes de réflexion, des architectures unifiées sans encodeur et des optimisations de contexte long, Gemma 4 rivalise avec les modèles ouverts de pointe plus importants dans les tâches évaluées par l'humain, tout en maintenant l'efficacité requise pour divers environnements matériels. La publication de ces modèles sous une licence ouverte vise à démocratiser l'accès aux capacités multimodales et de raisonnement de pointe, favorisant ainsi la recherche et le développement d'applications dans l'écosystème de l'IA.