Technische Samenvatting: Gemma 4 Technisch Rapport

Probleemstelling

De snelle evolutie van large language models heeft een kritieke vraag gecreëerd naar open-weight modellen die beschikken over sterke multimodale begrip, geavanceerde redeneercapaciteiten en een hoge computationele efficiëntie. Bestaande oplossingen worstelen vaak met het balanceren van prestaties op complexe taken met de geheugen- en rekenbeperkingen die vereist zijn voor on-device implementatie. Bovendien leidt het verwerken van lange contexten doorgaans tot geheugenexplosies in KV-caches, en vertrouwen traditionele multimodale architecturen vaak op zware, aparte encoders die het geheugen fragmenteren en de latentie verhogen.

Methodologie

Gemma 4 introduceert een nieuwe generatie open-weight, native multimodale taalmodellen variërend van 2,3B tot 31B parameters, inclusief zowel dense als Mixture-of-Experts (MoE) architecturen. De technische aanpak richt zich op verschillende cruciale architecturale en methodologische innovaties:

1. Architecturale Innovaties

• Thinking Mode: Geïnspireerd door eerder werk (OpenAI, 2024), bevatten Gemma 4-modellen een "thinking mode" die een redeneertraject genereert voordat een definitief antwoord wordt geproduceerd. Dit is ontworpen om de prestaties te verbeteren in redeneerintensieve domeinen zoals wiskunde en programmeren.
• Encoder-Free Architectuur: Een nieuwe, encoder-vrije architectuur wordt geïntroduceerd voor het 12B-model. In plaats van afzonderlijke, bevroren visuele en audio-encoders te gebruiken, projecteert dit model ruwe 40ms audiofragmenten en beeldpatches direct in de LLM-embeddingruimte via lichtgewicht projectiemodules. Dit vermindert de noodzaak voor aparte encoders en beperkt geheugenfragmentatie.
• Long-Context Efficiëntie: Om geheugenexplosies in KV-caches aan te pakken, maken de modellen gebruik van een specifieke ratio van lokale sliding window naar globale self-attention (5:1 voor de meeste modellen, 4:1 voor het 2,3B-model). De architectuur maakt gebruik van $p$-RoPE (Barbero et al., 2025) voor positionele codering op globale lagen en standaard RoPE op lokale lagen. Daarnaast hergebruikt het keys als values in globale lagen en implementeert het KV-cache sharing (Shazeer, 2019; Kayyam et al., 2026), waardoor de globale KV-cache footprint met wel 37,5% wordt verminderd.
• Multi-Token Prediction (MTP): Een autoregressieve MTP drafter head (Li et al., 2024) is geïntegreerd om speculatieve decodering (Leviathan et al., 2023) te faciliteren, wat de inferentiesnelheid verbetert. De drafter gebruikt een aparte embedder en voert cross-attention uit op de KVs van het hoofdmodel, waardoor de noodzaak voor MTP prefill wordt geëlimineerd.

2. Training en Kwantisatie

• Pre-training: Modellen zijn getraind op een diverse dataset inclusief webdocumenten, code, afbeeldingen en audio, met een cutoff datum van januari 2025. De tokenizer (Gemma Team, 2025) beschikt over een vocabulaire van 262k met gesplitste cijfers en byte-level encodings.
• Quantization-Aware Training (QAT): Gekwantiseerde versies van de modellen en encoders worden aangeboden met behulp van mobiele kwantisatie (een mix van int2/int4 weights met int8 activaties) en Q4_0 blockwise kwantisatie. Dit vermindert het geheugengebruik en de latentie aanzienlijk met minimale kwaliteitsimpact.
• Infrastructuur: Training maakt gebruik van TPUv5p en TPUv6e clusters met ZeRO-3 optimizer sharding en Slice-Granularity Elasticity om lokale fouten efficiënt af te handelen.

3. Modality Handling

• Visie: Kleinere modellen (E2B, E4B) gebruiken een 150M Vision Transformer (ViT) encoder, terwijl grotere modellen een 550M encoder gebruiken. Het unificerende 12B-model vervangt de encoder door een enkele grote matrixvermenigvuldigingslaag en 2D coördinaat-gebaseerde positionele embeddings.
• Audio: E2B en E4B-modellen maken gebruik van een 305M audio-encoder gebaseerd op het Universal Speech Model (Zhang et al., 2023), die 40ms chunks verwerkt. Het unificerende 12B-model laat de encoder volledig achterwege en projecteert ruwe 16kHz audiovectoren direct in de embeddingruimte.

Belangrijkste Bijdragen

• Prestatiesprong: Gemma 4 vestigt een significante verbetering in prestaties over STEM-, multimodale en long-context benchmarks vergeleken met zijn voorganger, Gemma 3.
• Efficiëntie: De suite biedt verbeterde inferentiesnelheid, geheugenefficiëntie en computationele efficiëntie door MTP, QAT en geoptimaliseerde attention-mechanismen.
• Schaalbaarheid: De modellen zijn ontworpen om een breed scala aan on-device hardware te bedienen, waarbij het 2,3B-model de prestaties van het 27B Gemma 3-model evenaart terwijl het 10x minder parameters gebruikt.
• Open Toegang: Alle modellen worden uitgebracht onder een Apache 2.0 licentie, wat ontwikkelaars in staat stelt om capaciteiten aan te passen en uit te breiden.

Resultaten

• Menselijke Evaluatie: Op de Arena (Chiang et al., 2024) leaderboard rangschikt Gemma 4 31B als het beste open dense model (Elo 1451), waarmee het veel grotere open MoE-modellen (bijv. GLM 5.1, MiMo V2.5 Pro) evenaart en de prestaties van leidende closed-source modellen benadert.
• Redeneren en STEM: In "thinking mode" behaalt Gemma 4 31B een score van 89,2 op AIME 2026 (zonder tools) en 85,2 op MMLU Pro, waarmee het Gemma 3 27B (respectievelijk 88,3 en 82,6) aanzienlijk overtreft.
• Multimodaal: Gemma 4-modellen demonstreren superieure prestaties op visuele benchmarks (MMMU Pro, MATH-Vision) en audio-taken (CoVoST, FLEURS ASR). Opvallend is dat het 12B encoder-vrije model concurrerende audio-tekst prestaties bereikt zonder een toegewijde encoder.
• Long-Context: De modellen laten substantiële winst zien in long-context retrieval en redeneren, waarbij het 31B-model een nauwkeurigheid van 96,8% bereikt op RULER bij 32k context en 96,4% bij 128k, wat beter is dan Gemma 3 27B (respectievelijk 91,1% en 66,0%).
• Veiligheid: Rigoureuze evaluaties wijzen op belangrijke verbeteringen in contentveiligheid over alle categorieën vergeleken met vorige Gemma-modellen, met minimale beleidsschendingen en lage percentages onterechte weigeringen.

Betekenis

Het artikel beweert dat Gemma 4 een "leap in performance" vertegenwoordigt voor de Gemma-familie en een schaalbare basis legt voor edge-deployment en geavanceerd redeneren. Door het integreren van thinking modes, unificerende encoder-vrije architecturen en long-context optimalisaties, evenaart Gemma 4 grotere, frontier open modellen in menselijk beoordeelde taken, terwijl de efficiëntie behouden blijft die vereist is voor diverse hardware-omgevingen. De release van deze modellen onder een open licentie heeft als doel om toegang tot state-of-the-art multimodale en redeneercapaciteiten te democratiseren en verdere onderzoek en applicatieontwikkeling in het AI-ecosysteem te stimuleren.