💬 NLP

Gemma 4 Technical Report

Gemma 4 기술 보고서는 다양한 아키텍처, 원시 오디오 및 이미지 처리를 위한 인코더 프리(encoder-free) 설계, 그리고 사고 모드(thinking mode)를 특징으로 하는 새로운 세대의 오픈 웨이트 네이티브 멀티모달 모델을 소개하며, 이 모든 요소는 STEM 및 롱 컨텍스트 벤치마크 전반에서 효율성, 추론 및 성능의 상당한 발전을 집단적으로 전달합니다.

원저자: Gemma Team, Sherif El Abd, Vaibhav Aggarwal, Robin Algayres, Alek Andreev, Olivier Bachem, Ian Ballantyne, Cormac Brick, Victor Cărbune, Michelle Casbon, Mayank Chaturvedi, Victor Cotruta, Alice CouckGemma Team, Sherif El Abd, Vaibhav Aggarwal, Robin Algayres, Alek Andreev, Olivier Bachem, Ian Ballantyne, Cormac Brick, Victor Cărbune, Michelle Casbon, Mayank Chaturvedi, Victor Cotruta, Alice Coucke, Phil Culliton, Robert Dadashi, Lucas Dixon, Mohamed Elhawaty, Utku Evci, Clément Farabet, Johan Ferret, Filippo Galgani, Sertan Girgin, Jean-Bastien Grill, Maarten Grootendorst, Jiaxian Guo, Cassidy Hardin, Yanzhang He, Steven M. Hernandez, Omri Homburger, Léonard Hussenot, Juyeong Ji, Armand Joulin, Aishwarya Kamath, Parnian Kassraie, Olivier Lacombe, Preethi Lahoti, Gaël Liu, Gus Martins, Luciano Martins, Tatiana Matejovicova, Ramona Merhej, Nikola Momchev, Sneha Mondal, Ryan Mullins, Sindhu Raghuram Panyam, Shreya Pathak, Sarah Perrin, André Susano Pinto, Etienne Pot, Angéline Pouget, Alexandre Ramé, Sabela Ramos, Douglas Reid, David Rim, Morgane Rivière, Karsten Roth, Louis Rouillard, Omar Sanseviero, Pier Giuseppe Sessa, Shane Settle, Danila Sinopalnikov, Sara Smoot, Piotr Stanczyk, Andreas Steiner, Lawrence Stewart, Ilya Tolstikhin, Michael Tschannen, Anton Tsitsulin, Nino Vieillard, Renjie Wu, Pingmei Xu, Haichuan Yang, Edouard Yvinec, Li Zhang, Joe Zou, Nicolas Aagnes, Abdelrahman Abdelhamed, Shivani Agrawal, Shubham Agrawal, Ibrahim Alabdulmohsin, Jean Baptiste Alayrac, Uri Alon, Chandramouli Amarnath, Ankesh Anand, Chrysovalantis Anastasiou, Setareh Ariafar, François-Xavier Aubet, Kyriakos Axiotis, Federico Barbero, Joelle Barral, Alexei Bendebury, Urs Bergmann, Stanley Bileschi, Kat Black, Mathieu Blondel, Sebastian Borgeaud, Arthur Bražinskas, Ryan Burnell, Robert Busa-Fekete, Mu Cai, Glenn Cameron, Charlotte Caucheteux, Garima Chadha, Jetha Chan, Aditya Chawla, Blake Jianhang Chen, Jesse Chen, Lin Chen, Xu Chen, Derek Cheng, Tzu-hsiang Chien, Nikolai Chinaev, Yi Chou, Zhaohui Chu, Benjamin Coleman, Pooja Consul, Sam Conway-Rahman, Scott Crowell, Dylan Cutler, Vivek Dani, Samira Daruki, Anil Das, Daniel Deutsch, Nishanth Dikkala, Li Ding, Qiuhan Ding, Shenil Dodhia, Konstantin Donhauser, Tulsee Doshi, Anca Dragan, Alex Druinsky, Sahil Dua, Zoltan Egyed, Danielle Eisenbud, Daniel Eppens, Cindy Fan, Bahare Fatemi, Yassir Fathullah, Vlad Feinberg, Milen Ferev, Takumi Fujimoto, Isaac Galatzer-Levy, João Gante, Simon Geisler, Soham Ghosal, Antonious M. Girgis, Alec Go, Alhaad Gokhale, Alex Grills, Yiming Gu, Pramod Gupta, Guru Guruganesh, Raia Hadsell, Hamza Harkous, Jitendra Harlalka, Demis Hassabis, Anja Hauth, Joe Heyward, Arian Hosseini, Chih-Yang Hsia, I-Hung Hsu, Xiaopeng Huang, Yangsibo Huang, Kevin Hui, Adrian Hutter, Te I, Fotis Iliopoulos, Advait Jain, Ganesh Jawahar, Ziwei Ji, Qilin Jin, Melvin Johnson, Kandarp Joshi, Arun Kandoor, Wang-Cheng Kang, Koray Kavukcuoglu, Mehran Kazemi, Kathleen Kenealy, Amr Khalifa, Phoebe Kirk, Suraj Kothawade, Vitaly Kovalev, Neel Kovelamudi, Adam Kraft, Ravin Kumar, Harish Kuppam, Justin Lannin, Chen-Yu Lee, Seungji Lee, Dmitry Lepikhin, Dongdong Li, Qiujia Li, Valentin Liévin, Ethan Lin, Ziqian Lin, Casper Liu, Tianlin Liu, Tianqi Liu, Xin Liu, Mayank Lunayach, Min Ma, Gagan Madan, Andrii Maksai, Eric Malmi, Michal Matuszak, Daniel McDuff, Gaurav Menghani, Daniil Mirylenka, Karolis Misiunas, Vedant Misra, Andreea Mitran, Kareem Mohamed, Maksim Mukha, Eric Noland, James O'Donnell, Kate Olszewska, Bernett Orlando, Wanqiong Pan, Rina Panigrahy, Unnati Parekh, Chunjong Park, Eric Paskie, Liqian Peng, Bryce Petrini, Slav Petrov, Jonas Pfeiffer, Bilal Piot, Martyna Plomecka, Siim Poder, Octavio Ponce, Arijit Pramanik, David Racz, Anish Rajan, Michelle Ramanovich, Anand Rao, Marvin Ritter, Vitor Rodrigues, Evan Rosen, Mikołaj Rybiński, Noveen Sachdeva, Michaël E. Sander, Rohit Sathyanarayana, Sagar Savla, Samuel Schmidgall, Tal Schuster, Benoit Seguin, Andrew Sellergren, Aliaksei Severyn, Izhak Shafran, Dhruv Shah, Yuan Shangguan, Ashish Shenoy, Pradeep Shenoy, Rakesh Shivanna, Pauline Sho, Lucas Spangher, Wojciech Stokowiec, Tim Strother, Yao Su, Yinghao Sun, Mukund Sundararajan, Andrea Tacchetti, Mor Hazan Taege, Pouya Tafti, Chetan Tekur, Rahul Thapa, Madeleine Traverse, Lenart Treven, Tao Tu, Chien Te Tung, Petar Veličković, Malini Pooni Venkat, Sagar Gubbi Venkatesh, Vidya Venkiteswaran, Francesco Visin, Alex Vitvitskyi, Kiran Vodrahalli, Weiyi Wang, Xin Wang, Tris Warkentin, Jan Wassenberg, John Wieting, Lechao Xiao, Hao Xu, Yuhui Xu, Fuzhao Xue, Arun Yadav, Jun Yan, Antoine Yang, Lin Yang, Ming-Hsuan Yang, Ziyu Ying, Jae Hyeon Yoo, Sajjad Zafar, Fred Zhang, Jiageng Zhang, Jianyi Zhang, Xiaofan Zhang, Chao Zhao, David Zhou, Chen Zou

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gemma Team, Sherif El Abd, Vaibhav Aggarwal, Robin Algayres, Alek Andreev, Olivier Bachem, Ian Ballantyne, Cormac Brick, Victor Cărbune, Michelle Casbon, Mayank Chaturvedi, Victor Cotruta, Alice Coucke, Phil Culliton, Robert Dadashi, Lucas Dixon, Mohamed Elhawaty, Utku Evci, Clément Farabet, Johan Ferret, Filippo Galgani, Sertan Girgin, Jean-Bastien Grill, Maarten Grootendorst, Jiaxian Guo, Cassidy Hardin, Yanzhang He, Steven M. Hernandez, Omri Homburger, Léonard Hussenot, Juyeong Ji, Armand Joulin, Aishwarya Kamath, Parnian Kassraie, Olivier Lacombe, Preethi Lahoti, Gaël Liu, Gus Martins, Luciano Martins, Tatiana Matejovicova, Ramona Merhej, Nikola Momchev, Sneha Mondal, Ryan Mullins, Sindhu Raghuram Panyam, Shreya Pathak, Sarah Perrin, André Susano Pinto, Etienne Pot, Angéline Pouget, Alexandre Ramé, Sabela Ramos, Douglas Reid, David Rim, Morgane Rivière, Karsten Roth, Louis Rouillard, Omar Sanseviero, Pier Giuseppe Sessa, Shane Settle, Danila Sinopalnikov, Sara Smoot, Piotr Stanczyk, Andreas Steiner, Lawrence Stewart, Ilya Tolstikhin, Michael Tschannen, Anton Tsitsulin, Nino Vieillard, Renjie Wu, Pingmei Xu, Haichuan Yang, Edouard Yvinec, Li Zhang, Joe Zou, Nicolas Aagnes, Abdelrahman Abdelhamed, Shivani Agrawal, Shubham Agrawal, Ibrahim Alabdulmohsin, Jean Baptiste Alayrac, Uri Alon, Chandramouli Amarnath, Ankesh Anand, Chrysovalantis Anastasiou, Setareh Ariafar, François-Xavier Aubet, Kyriakos Axiotis, Federico Barbero, Joelle Barral, Alexei Bendebury, Urs Bergmann, Stanley Bileschi, Kat Black, Mathieu Blondel, Sebastian Borgeaud, Arthur Bražinskas, Ryan Burnell, Robert Busa-Fekete, Mu Cai, Glenn Cameron, Charlotte Caucheteux, Garima Chadha, Jetha Chan, Aditya Chawla, Blake Jianhang Chen, Jesse Chen, Lin Chen, Xu Chen, Derek Cheng, Tzu-hsiang Chien, Nikolai Chinaev, Yi Chou, Zhaohui Chu, Benjamin Coleman, Pooja Consul, Sam Conway-Rahman, Scott Crowell, Dylan Cutler, Vivek Dani, Samira Daruki, Anil Das, Daniel Deutsch, Nishanth Dikkala, Li Ding, Qiuhan Ding, Shenil Dodhia, Konstantin Donhauser, Tulsee Doshi, Anca Dragan, Alex Druinsky, Sahil Dua, Zoltan Egyed, Danielle Eisenbud, Daniel Eppens, Cindy Fan, Bahare Fatemi, Yassir Fathullah, Vlad Feinberg, Milen Ferev, Takumi Fujimoto, Isaac Galatzer-Levy, João Gante, Simon Geisler, Soham Ghosal, Antonious M. Girgis, Alec Go, Alhaad Gokhale, Alex Grills, Yiming Gu, Pramod Gupta, Guru Guruganesh, Raia Hadsell, Hamza Harkous, Jitendra Harlalka, Demis Hassabis, Anja Hauth, Joe Heyward, Arian Hosseini, Chih-Yang Hsia, I-Hung Hsu, Xiaopeng Huang, Yangsibo Huang, Kevin Hui, Adrian Hutter, Te I, Fotis Iliopoulos, Advait Jain, Ganesh Jawahar, Ziwei Ji, Qilin Jin, Melvin Johnson, Kandarp Joshi, Arun Kandoor, Wang-Cheng Kang, Koray Kavukcuoglu, Mehran Kazemi, Kathleen Kenealy, Amr Khalifa, Phoebe Kirk, Suraj Kothawade, Vitaly Kovalev, Neel Kovelamudi, Adam Kraft, Ravin Kumar, Harish Kuppam, Justin Lannin, Chen-Yu Lee, Seungji Lee, Dmitry Lepikhin, Dongdong Li, Qiujia Li, Valentin Liévin, Ethan Lin, Ziqian Lin, Casper Liu, Tianlin Liu, Tianqi Liu, Xin Liu, Mayank Lunayach, Min Ma, Gagan Madan, Andrii Maksai, Eric Malmi, Michal Matuszak, Daniel McDuff, Gaurav Menghani, Daniil Mirylenka, Karolis Misiunas, Vedant Misra, Andreea Mitran, Kareem Mohamed, Maksim Mukha, Eric Noland, James O'Donnell, Kate Olszewska, Bernett Orlando, Wanqiong Pan, Rina Panigrahy, Unnati Parekh, Chunjong Park, Eric Paskie, Liqian Peng, Bryce Petrini, Slav Petrov, Jonas Pfeiffer, Bilal Piot, Martyna Plomecka, Siim Poder, Octavio Ponce, Arijit Pramanik, David Racz, Anish Rajan, Michelle Ramanovich, Anand Rao, Marvin Ritter, Vitor Rodrigues, Evan Rosen, Mikołaj Rybiński, Noveen Sachdeva, Michaël E. Sander, Rohit Sathyanarayana, Sagar Savla, Samuel Schmidgall, Tal Schuster, Benoit Seguin, Andrew Sellergren, Aliaksei Severyn, Izhak Shafran, Dhruv Shah, Yuan Shangguan, Ashish Shenoy, Pradeep Shenoy, Rakesh Shivanna, Pauline Sho, Lucas Spangher, Wojciech Stokowiec, Tim Strother, Yao Su, Yinghao Sun, Mukund Sundararajan, Andrea Tacchetti, Mor Hazan Taege, Pouya Tafti, Chetan Tekur, Rahul Thapa, Madeleine Traverse, Lenart Treven, Tao Tu, Chien Te Tung, Petar Veličković, Malini Pooni Venkat, Sagar Gubbi Venkatesh, Vidya Venkiteswaran, Francesco Visin, Alex Vitvitskyi, Kiran Vodrahalli, Weiyi Wang, Xin Wang, Tris Warkentin, Jan Wassenberg, John Wieting, Lechao Xiao, Hao Xu, Yuhui Xu, Fuzhao Xue, Arun Yadav, Jun Yan, Antoine Yang, Lin Yang, Ming-Hsuan Yang, Ziyu Ying, Jae Hyeon Yoo, Sajjad Zafar, Fred Zhang, Jiageng Zhang, Jianyi Zhang, Xiaofan Zhang, Chao Zhao, David Zhou, Chen Zou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

Google DeepMind가 누구나 사용하고, 수정하고, 구축할 수 있는 오픈형 "스마트 어시스턴트"인 Gemma 4 제품군을 막 공개했다고 상상해 보세요. 이것들을 하나의 거대한 로봇이 아니라, 아주 작은 주머니 속의 조력자부터 거대한 슈퍼컴퓨터 수준의 사고가까지 다양한 크기의 뇌들이 담긴 하나의 도구 상자로 생각하면 됩니다.

다음은 Gemma 4를 쉬운 비유를 사용하여 설명한 내용입니다.

1. 다양한 크기의 도구 상자

이전에는 하나의 큰 뇌나 하나의 작은 뇌만을 가질 수 있었습니다. Gemma 4는 다음과 같은 전체 세트를 제공합니다:

주머니 속의 조력자 (2.3B 및 4.5B): 이들은 스마트 워치와 같습니다. 거대한 서버 농장이 필요 없이 여러분의 스마트폰이나 노트북에서 실행될 수 있을 만큼 작습니다.
워크호스 (1, 12B 및 31B): 이들은 강력한 데스크톱 컴퓨터와 같으며, 복잡한 작업을 처리할 수 있습니다.
전문가 (26B-A4B): 이것은 "전문가 혼합(Mixture of Experts)" 모델입니다. 어떤 질문이 주어지든, 가장 관련성이 높은 4명의 전문가가 나와서 대답하는 팀을 상상해 보세요. 이를 통해 매우 똑똑하면서도 놀라운 속도와 효율성을 보여줍니다.

2. "생각하는 모자" (추론 모드)

가장 큰 업그레이드 중 하나는 새로운 **"생각 모드(Thinking Mode)"**입니다.

이전: 모델에게 어려운 수학 문제를 물어보면, 즉시 답을 추측했습니다.
현재: 모델은 "생각하는 모자"를 씁니다. 최종 답을 적기 전에 (마치 학생이 연습장에 풀이 과정을 적는 것처럼) 스스로에게 먼저 생각을 속삭입니다. 이를 통해 인간이 시간을 들여 생각하는 것과 같이, 까다로운 수학 및 코딩 문제를 훨씬 더 잘 해결할 수 있습니다 있습니다.

3. 안경이나 귀 없이 보고 듣기

이전의 모델들은 사진과 소리를 이해하기 위해 특수한 "안경(비전 인코더)"과 "귀(오디오 인코더)"가 필요했습니다. 이것들은 뇌에 부착된 무겁고 별개인 장치였습니다.

새로운 접근 방식: 12B 모델은 인코더가 없는(encoder-free) 방식입니다. 이는 뇌 자체가 직접 보고 듣는 법을 배웠다는 것과 같습니다. 무거운 안경을 쓰는 대신, 이미지의 가공되지 않은 픽셀이나 목소리의 가공되지 않은 파동을 직접 보고 즉각적으로 이해합니다. 이 덕분에 전체 시스템이 더 가볍고, 빠르고, 군더더기가 없어졌습니다.

4. 무한한 도서관 (긴 컨텍스트)

1,000페이지짜리 책을 읽으면서 모든 세부 사항을 기억하려고 노력한다고 상상해 보세요. 이전의 모델들은 "기억의 안개" 현상을 겪으며 책의 끝에 도달할 때쯤이면 앞부분을 잊어버리곤 했습니다.

해결책: Gemma 4는 영리한 기억 트릭을 사용합니다. 책을 슬라이딩 윈도우 방식으로 처리합니다: 마지막 몇 페이지는 고해상도로 기억하고(로컬 어텐션), 전체 책에 대해서는 요약된 효율적인 인덱스를 유지합니다(글로벌 어텐션).
결과: 이 방식 덕분에 메모리 부족 없이 방대한 양의 텍스트(최대 128k 또는 256k 토큰)를 읽고 기억할 수 있으며, 이전보다 메모리를 37.5% 적게 사용합니다.

5. 경주 속도 높이기 (효율성)

미래 예측: 모델은 "드래프터(drafter)" 헤드를 사용합니다. 레이싱 카 드라이버가 운전을 할 뿐만 아니라, 다음 세 번의 커브가 어디서 나타날지 미리 예측하는 것을 상상해 보세요. 이를 통해 모델은 문장의 다음 단어들을 즉각적으로 예측하여 훨씬 빠르게 말할 수 있습니다.
두뇌 압축: 팀은 모델을 "양자화(quantized)"하도록 훈련했습니다. 이것은 마치 여행 가방을 싸는 것과 같습니다. 무겁고 부피가 큰 옷(풀 정밀도)을 넣는 대신, 모든 것을 단단히 접어서(압축된 가중치) 작은 가방에 쏙 들어가게 만드는 것입니다. 덕 여러분은 품질 저하 거의 없이 모바일 기기에서 이 모델들을 실행할 수 있습니다.

6. 얼마나 똑똑한가요?

논문에서는 "아레나(Arena)"라고 불리는 블라인드 테스트를 통해 Gemma 4를 다른 최상위 모델들(Claude 또는 DeepSeek 등)과 비교했습니다.

결과: 31B 모델은 해당 크기 카테고리에서 최고 순위의 오픈 모델(누구나 다운로드 가능)입니다. 이 모델은 자신보다 10배나 더 큰 모델들과 대등한 성능을 보여줍니다.
작은 거인: 아주 작은 2.3B 모델은 이전 세대의 27B 모델만큼 뛰어난 성능을 보여주며, 이는 이전보다 10배 더 효율적임을 의미합니다.

7. 안전과 책임

아이에게 교육 없이 자동차 운전을 맡기지 않듯이, 팀은 Gemma 4의 기초 단계부터 안전성을 구축했습니다.

훈련 전 위험하거나 해로운 데이터를 걸러냈습니다.
혐오 표현, 위험한 지침 또는 해로운 콘텐츠를 생성하지 않도록 엄격하게 테스트했습니다.
이 도구들이 강력하다는 점을 인정하며, 개발자들이 안전을 유지할 수 있도록 가이드라인을 제공하여 책임감 있게 사용하도록 돕습니다.

요약하자면: Gemma 4는 더 빠르고, 추론 능력이 뛰어나며, 직접 보고 들을 수 있고, 방대한 양의 정보를 기억할 수 있는 새로운 세대의 오픈 AI입니다. 그러면서도 여러분의 개인 기기에서 실행될 수 있을 만큼 작습니다.

기술 요약: Gemma 4 기술 보고서

문제 정의

대규모 언어 모델의 급격한 진화는 강력한 멀티모달 이해력, 고급 추론 능력, 그리고 높은 계산 효율성을 갖춘 오픈 웨이트(open-weight) 모델에 대한 결정적인 수요를 창출했습니다. 기존 솔루션들은 종종 복잡한 작업에서의 성능과 온디바이스 배포에 필요한 메모리 및 계산 제약 사이의 균형을 맞추는 데 어려움을 겪습니다. 또한, 긴 컨텍스트를 처리할 때 일반적으로 KV 캐시의 메모리 폭발 현상이 발생하며, 전통적인 멀티모달 아키텍처는 무거운 별도의 인코더에 의존하여 메모리를 파편화하고 지연 시간을 증가시키는 경향이 있습니다.

방법론

Gemma 4는 2.3B에서 31B 파라미터에 이르는, 밀집(dense) 및 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처를 모두 포함하는 차세대 오픈 웨이트 네이티브 멀티모달 언어 모델을 소개합니다. 기술적 접근 방식은 다음과 같은 몇 가지 핵심적인 아키텍처 및 방법론적 혁신에 집중합니다:

1. 아키텍처 혁신

사고 모드(Thinking Mode): 이전 연구(OpenAI, 2024)에서 영감을 얻은 Gemma 4 모델은 최종 응답을 생성하기 전에 추론 흔적(reasoning trace)을 생성하는 "사고 모드"를 통합합니다. 이는 수학 및 코딩과 같이 추론 중심적인 영역에서의 성능을 향상시키기 위해 설계되었습니다.
인코더 프리(Encoder-Free) 아키텍처: 12B 모델을 위해 통합된 인코더 프리 아키텍처가 도입되었습니다. 이 모델은 별도의 동결된 비전 및 오디오 인코더를 사용하는 대신, 경량화된 프로젝션 모듈을 통해 원시 40ms 오디오 청크와 이미지 패치를 LLM 임베딩 공간으로 직접 투영합니다. 이를 통해 별도의 인코더 필요성을 완화하고 메모리 파편화를 줄입니다.
롱 컨텍스트 효율성: KV 캐시의 메모리 폭발 문제를 해결하기 위해, 모델은 로컬 슬라이딩 윈도우와 글로벌 셀프 어텐션의 특정 비율(대부분의 모델에서 5:1, 2.3B 모델의 경우 4:1)을 활용합니다. 아키텍처는 글로벌 레이어에는 $p$ -RoPE(Barbero et al., 2025)를, 로컬 레이어에는 표준 RoPE를 적용합니다. 또한, 글로벌 레이어에서 키(key)를 값(value)으로 재사용하고 KV 캐시 공유(Shazeer, 2019; Kayyam et al., 2026)를 구현하여 글로벌 KV 캐시 점유율을 최대 37.5%까지 줄입니다.
멀티 토큰 예측(Multi-Token Prediction, MTP): 추측 디코딩(speculative decoding, Leviathan et al., 2023)을 용이하게 하기 위해 자기회귀적 MTP 드래프터 헤드(Li et al., 2024)가 통합되어 추론 속도를 개선합니다. 드래프터는 별도의 임베더를 사용하며 메인 모델의 KV에 교차 어텐션(cross-attends)하여 MTP 프리필(prefill)의 필요성을 제거합니다.

2. 학습 및 양자화

사전 학습(Pre-training): 모델은 웹 문서, 코드, 이미지, 오디오를 포함한 다양한 데이터셋으로 학습되었으며, 데이터 컷오프 날짜는 2025년 1월입니다. 토크나이저(Gemma Team, 2025)는 분리된 숫자와 바이트 수준 인코딩을 특징으로 하는 262k 어휘 사전(vocabulary)을 가집니다.
양자화 인식 학습(Quantization-Aware Training, QAT): 모바일 양자화(int2/int4 가중치와 int8 활성화 함수의 혼합) 및 Q4_0 블록와이즈(blockwise) 양자화를 사용하여 양자화된 버전의 모델과 인코더가 제공됩니다. 이는 품질 저하를 최소화하면서 메모리 점유율과 지연 시간을 크게 줄입니다.
인프라: 학습은 TPUv5p 및 TPUv6e 클러스터를 활용하며, ZeRO-3 옵티마이저 샤딩과 슬라이스 세분성 탄력성(Slice-Granularity Elasticity)을 사용하여 국지적 실패를 효율적으로 처리합니다.

3. 모달리티 처리

비전(Vision): 작은 모델(E2B, E4B)은 150M Vision Transformer(ViT) 인코더를 사용하며, 큰 모델은 550M 인코더를 사용합니다. 통합 12B 모델은 인코더를 단일 대형 행렬 곱셈 레이어와 2D 좌표 기반 위치 임베딩으로 대체합니다.
오디오(Audio): E2B 및 E4B 모델은 Universal Speech Model(Zhang et al., 2023)을 기반으로 한 305M 오디오 인코더를 사용하여 40ms 청크를 처리합니다. 통합 12B 모델은 인코더를 완전히 제거하고, 16kHz 원시 오디오 벡터를 임베딩 공간으로 직접 투영합니다.

주요 기여

성능 도약: Gemma 4는 이전 세대인 Gemma 3와 비교하여 STEM, 멀티모달, 롱 컨텍스트 벤치마크에서 상당한 성능 향상을 확립했습니다.
효율성: Gemma 4는 MTP, QAT 및 최적화된 어텐션 메커니즘을 통해 추론 속도, 메모리 효율성 및 계산 효율성을 개선했습니다.
확장성: 모델은 다양한 온디바이스 하드웨어에 대응하도록 설계되었으며, 2.3B 모델은 10배 적은 파라미터를 사용하면서도 Gemma 3 27B의 성능에 필적합니다.
오픈 액세스: 모든 모델은 Apache 2.0 라이선스 하에 출시되어 개발자가 기능을 커스터마이징하고 확장할 수 있도록 지원합니다.

결과

인간 평가: Arena (Chiang et al., 2024) 리더보드에서 Gemma 4 31B는 최고의 오픈 밀집 모델(Elo 1451)로 선정되었으며, 훨씬 더 큰 규모의 오픈 MoE 모델(예: GLM 5.1, MiMo V2.5 Pro)과 경쟁하며 선도적인 폐쇄형 모델의 성능에 근접했습니다.
추론 및 STEM: "사고 모드"에서 Gemma 4 31B는 AIME 2026(도구 미사용 시)에서 89.2, MMLU Pro에서 85.2를 달성하여 Gemma 3 27B(각각 88.3 및 82.6)를 크게 앞질렀습니다.
멀티모달: Gemma 4 모델은 비전 벤치마크(MMMU Pro, MATH-Vision)와 오디오 작업(CoVoST, FLEURS ASR)에서 우수한 성능을 입증했습니다. 특히, 12B 인코더 프리 모델은 전용 인코더 없이도 경쟁력 있는 오디오-텍스트 성능을 달성했습니다.
롱 컨텍스트: 모델은 긴 컨텍스트 검색 및 추론에서 상당한 이득을 보여주었습니다. 31B 모델은 32k 컨텍스트에서 RULER 정확도 96.8%, 128k에서 96.4%를 달성하여 Gemma 3 27B(각각 91.1% 및 66.0%)를 능가했습니다.
안전성: 엄격한 평가 결과, 모든 카테고리에서 이전 Gemma 모델에 비해 콘텐츠 안전성이 크게 개선되었음을 확인했습니다. 정책 위반 사례가 매우 적고 부당한 거부율도 낮았습니다.

의의

본 논문은 Gemma 4가 Gemma 제품군에서 "성능의 도약"을 나타내며, 엣지 배포 및 고급 추론을 위한 확장 가능한 기반을 구축한다고 주장합니다. 사고 모드, 통합 인코더 프리 아키텍처 및 롱 컨텍스트 최적화를 통합함으로써, Gemma 4는 다양한 하드웨어 환경에 필요한 효율성을 유지하면서도 인간 평가 작업에서 더 큰 규모의 프런티어 오픈 모델들과 경쟁합니다. 이 모델들을 오픈 라이선스로 공개하는 것은 최첨단 멀티모달 및 추론 능력에 대한 접근을 민주화하여 AI 생태계의 추가적인 연구와 애플리케이션 개발을 촉진하는 것을 목표로 합니다.