Resumo Técnico: Relatório Técnico do Gemma 4

Declaração do Problema

A rápida evolução dos modelos de linguagem de grande escala criou uma demanda crítica por modelos de pesos abertos que possuam compreensão multimodal forte, capacidades de raciocínio avançadas e alta eficiência computacional. As soluções existentes frequentemente lutam para equilibrar o desempenho em tarefas complexas com as restrições de memória e computação exigidas para implantação em dispositivos. Além disso, lidar com contextos longos normalmente leva a explosões de memória nos caches KV, e as arquiteturas multimodais tradicionais frequentemente dependem de codificadores pesados e separados que fragmentam a memória e aumentam a latência.

Metodologia

O Gemma 4 introduz uma nova geração de modelos de linguagem de pesos abertos, nativamente multimodais, variando de 2,3B a 31B de parâmetros, incluindo arquiteturas densas e de Mistura de Especialistas (MoE). A abordagem técnica foca em várias inovações arquitetônicas e metodológicas:

1. Inovações Arquitetônicas

• Modo de Pensamento (Thinking Mode): Inspirado em trabalhos anteriores (OpenAI, 2024), os modelos Gemma 4 incorporam um "modo de pensamento" que gera um traço de raciocínio antes de produzir uma resposta final. Isso é projetado para aumentar o desempenho em domínios de raciocínio intensivo, como matemática e programação.
• Arquitetura Sem Codificador (Encoder-Free): Uma arquitetura unificada, sem codificador, é introduzida para o modelo de 12B. Em vez de usar codificadores de visão e áudio separados e congelados, este modelo projeta fragmentos de áudio de 40ms e patches de imagem brutos diretamente no espaço de embedding do LLM via módulos de projeção leves. Isso alivia a necessidade de codificadores separados e reduz a fragmentação de memória.
• Eficiência de Contexto Longo: Para lidar com as explosões de memória nos caches KV, os modelos utilizam uma proporção específica de janela deslizante local para atenção de autoatendimento global (5:1 para a maioria dos modelos, 4:1 para o modelo de 2,3B). A arquitetura emprega $p$-RoPE (Barbero et al., 2025) para codificação posicional em camadas globais e RoPE padrão em camadas locais. Adicionalmente, ela reutiliza chaves como valores em camadas globais e implementa o compartilhamento de cache KV (Shazeer, 2019; Kayyam et al., 2026), reduzindo a pegada do cache KV global em até 37,5%.
• Predição de Múltiplos Tokens (MTP): Um cabeçalho de rascunho MTP autorregressivo (Li et al., 2024) é integrado para facilitar a decodificação especulativa (Leviathan et al., 2023), melhorando a velocidade de inferência. O rascunho utiliza um embedder separado e realiza cross-attention com os KVs do modelo principal, eliminando a necessidade de preenchimento (prefill) de MTP.

2. Treinamento e Quantização

• Pré-treinamento: Os modelos são treinados em um conjunto de dados diversificado que inclui documentos da web, código, imagens e áudio, com uma data de corte de janeiro de 2025. O tokenizador (Gemma Team, 2025) apresenta um vocabulário de 262k com dígitos divididos e codificações de nível de byte.
• Treinamento Ciente de Quantização (QAT): Versões quantizadas dos modelos e codificadores são fornecidas usando quantização móvel (mistura de pesos int2/int4 com ativações int8) e quantização por bloco Q4_0. Isso reduz significativamente as pegadas de memória e a latência com impacto mínimo na qualidade.
• Infraestrutura: O treinamento aproveita clusters de TPUv5p e TPUv6e com particionamento de otimizador ZeRO-3 e Elasticidade de Granularidade de Fatia (Slice-Granularity Elasticity) para lidar com falhas localizadas de forma eficiente.

3. Manipulação de Modalidade

• Visão: Modelos menores (E2B, E4B) usam um codificador Vision Transformer (ViT) de 150M, enquanto modelos maiores usam um codificador de 550M. O modelo unificado de 12B substitui o codificador por uma única camada de multiplicação de matrizes de grande escala e embeddings posicionais baseados em coordenadas 2D.
• Áudio: Os modelos E2B e E4B utilizam um codificador de áudio de 305M baseado no Universal Speech Model (Zhang et al., 2023), processando fragmentos de 40ms. O modelo unificado de 12B descarta o codificador inteiramente, projetando vetores de áudio brutos de 16kHz diretamente no espaço de embedding.

Principais Contribuições

• Salto de Desempenho: O Gemma 4 estabelece uma melhoria significativa de desempenho em benchmarks de STEM, multimodais e de contexto longo em comparação com seu predecessor, o Gemma 3.
• Eficiência: A suíte oferece melhor velocidade de inferência, eficiência de memória e eficiência de computação através de MTP, QAT e mecanismos de atenção otimizados.
• Escalabilidade: Os modelos são projetados para atender a uma variedade de hardware de dispositivos, com o modelo de 2,3B igualando o desempenho do modelo Gemma 3 de 27B utilizando 10x menos parâmetros.
• Acesso Aberto: Todos os modelos são lançados sob uma licença Apache 2.0, capacitando desenvolvedores a personalizar e estender as capacidades.

Resultados

• Avaliação Humana: No ranking da Arena (Chiang et al., 2024), o Gemma 4 31B ocupa o topo como o principal modelo denso aberto (Elo 1451), rivalizando com modelos MoE abertos muito maiores (ex: GLM 5.1, MiMo V2.5 Pro) e aproximando-se do desempenho de modelos fechados líderes.
• Raciocínio e STEM: No "modo de pensamento", o Gemma 4 31B alcança 89,2 no AIME 2026 (sem ferramentas) e 85,2 no MMLU Pro, superando significativamente o Gemma 3 27B (88,3 e 82,6 respectivamente).
• Multimodal: Os modelos Gemma 4 demonstram desempenho superior em benchmarks de visão (MMMU Pro, MATH-Vision) e tarefas de áudio (CoVoST, FLEURS ASR). Notavelmente, o modelo de 12B sem codificador alcança um desempenho competitivo de áudio-texto sem um codificador dedicado.
• Contexto Longo: Os modelos mostram ganhos substanciais em recuperação e raciocínio de contexto longo, com o modelo de 31B alcançando 96,8% de precisão no RULER em 32k de contexto e 96,4% em 128k, superando o Gemma 3 27B (91,1% e 66,0% respectivamente).
• Segurança: Avaliações rigorosas indicam melhorias importantes na segurança de conteúdo em todas as categorias em comparação com os modelos Gemma anteriores, com violações de política mínimas e baixas taxas de recusas injustificadas.

Significância

O artigo afirma que o Gemma 4 representa um "salto de desempenho" para a família Gemma, estabelecendo uma base escalável para implantação em borda (edge) e raciocínio avançado. Ao integrar modos de pensamento, arquiteturas unificadas sem codificador e otimizações de contexto longo, o Gemma 4 rivaliza com modelos abertos de fronteira maiores em tarefas avaliadas por humanos, mantendo a eficiência necessária para diversos ambientes de hardware. O lançamento desses modelos sob uma licença aberta visa democratizar o acesso a capacidades multimodais e de raciocínio de última geração, fomentando mais pesquisa e desenvolvimento de aplicações no ecossistema de IA.