EngGPT2: Sovereign, Efficient and Open Intelligence

EngGPT2 는 2.5 조 개의 토큰으로 학습된 16B MoE 아키텍처 기반의 오픈 소스 이탈리아어 LLM 으로, 적은 연산 자원으로 동급 모델과 경쟁하는 성능을 발휘하면서 EU AI 법규를 준수하고 다중 추론 모드를 지원하는 유럽 주권 인공지능 모델입니다.

핵심

🇮🇹 이탈리아의 '스마트한 공학자': EngGPT2 이야기

이 논문은 이탈리아의 거대 기술 기업인 'Engineering Group'이 만든 새로운 인공지능, EngGPT2에 대한 기술 보고서입니다. 이 AI 는 단순히 똑똑한 것을 넘어, **유럽의 주권 **(Sovereign)을 지키면서 **효율적 **(Efficient)이고 **열려 있는 **(Open) 모델로 설계되었습니다.

이 복잡한 내용을 일반인도 쉽게 이해할 수 있도록 마음의 도서관과 스마트한 요리사에 비유해서 설명해 드릴게요.

---

1. 왜 이 AI 가 특별한가요? (주권과 효율성)

지금까지 AI 는 미국이나 중국의 거대 기업들이 주도해 왔습니다. 하지만 유럽은 "우리의 데이터, 우리의 규칙, 우리의 언어로 만든 AI 가 필요하다"고 생각했습니다.

• **주권 **(Sovereign) 마치 유럽이 자신만의 독자적인 도서관을 지은 것과 같습니다. 미국의 거대 도서관 (Qwen, Llama 등) 에 의존하지 않고, 유럽의 법규 (EU AI Act) 에 맞춰 안전하게 지은 도서관입니다.
• **효율 **(Efficient) 다른 거대 AI 들은 거대한 연료 (데이터와 계산 능력) 를 태워 움직이지만, EngGPT2 는 하이브리드 자동차처럼 적은 연료로 더 멀리 갑니다.
  • 비유: 다른 AI 들이 36 톤 (Qwen3) 이나 15 톤 (Llama3) 의 책을 모두 읽어야 답을 찾는다면, EngGPT2 는 2.5 톤의 책만 읽어도 똑같은 수준의 지식을 얻습니다. 그리고 그 지식을 꺼낼 때 (추론) 는 필요한 책장만 3 분의 1 정도만 열어쓰기 때문에 전기세 (계산 비용) 가 훨씬 적게 듭니다.

2. 어떻게 만들어졌나요? (4 단계 요리 과정)

이 AI 는 하루아침에 만들어진 게 아니라, 4 단계의 정교한 요리 과정을 거쳤습니다.

1. **재료 준비 **(Pre-training)

   • 인터넷의 책, 논문, 코드, 뉴스 등 **2.5 조 개의 단어 **(토큰)를 모았습니다.
   • 특히 이탈리아어 자료를 25% 이상 포함시켜, 이탈리아 사람들과 유럽 문화에 매우 친숙하게 만들었습니다.
   • 저작권 보호: 이 과정에서 저작권이 있는 책이나 신문 기사 같은 '위험한 재료'는 꼼꼼히 걸러내어 법적인 문제를 피했습니다.

2. **긴 이야기 이해하기 **(Long-Context Adaptation)

   • 보통 AI 는 긴 책을 읽으면 앞부분을 잊어버립니다. 하지만 이 AI 는 32,000 자에 달하는 긴 문서도 한 번에 읽고 핵심을 파악할 수 있도록 훈련시켰습니다. 마치 긴 소설을 다 읽고도 첫 장과 마지막 장의 연결고리를 기억하는 사람 같습니다.

3. **논리 훈련 **(Mid-Training)

   • 단순히 지식을 쌓는 것을 넘어, 수학 문제나 논리 퍼즐을 풀 수 있도록 두뇌를 단련시켰습니다. 이 단계에서 AI 는 "생각하는 과정 (추론)"을 배우기 시작합니다.

4. **예절 교육 **(Post-Training)

   • 이제 사용자와 대화할 수 있도록 가르쳤습니다.
   • 명령어 따르기: "이메일 써줘", "코드 짜줘" 같은 요청을 정확히 수행합니다.
   • 이중 모드: 사용자의 요청에 따라 정석적인 답변을 하거나, **생각하는 과정 **(추론)을 보여줄 수도 있습니다.

3. EngGPT2 의 특별한 능력: "생각하는 모드"

이 AI 는 대화할 때 두 가지 방식으로 생각할 수 있습니다.

• **일반 모드 **(Non-reasoning) 바로 답을 말합니다. (예: "파리 수도는 어디야?" → "파리입니다.")
• **생각 모드 **(Reasoning) 복잡한 문제를 풀 때, 생각하는 과정을 먼저 보여줍니다.
  • 이탈리아어/영어: 사용자가 원하는 언어로 생각 과정을 보여줍니다.
  • **터보 모드 **(Turbo) 생각 과정을 요약해서 빠르게 보여줍니다. 긴 설명 대신 핵심만 쏙쏙 뽑아낸 "요약본"입니다.
  • 비유: 복잡한 수학 문제를 풀 때, 풀이 과정을 종이에 길게 적어주는 것 (Full Reasoning) 과, 칠판에 핵심 공식만 빠르게 적어주는 것 (Turbo) 의 차이입니다.

4. 성능은 어떨까요? (작지만 강한 선수)

• 크기: 전체 파라미터는 160 억 개지만, 실제로 작동할 때는 30 억 개만 사용합니다. (다른 AI 들은 160 억 개를 모두 사용합니다.)
• 성능: 80 억~160 억 크기의 다른 AI 들과 비교해도 수학, 논리, 코딩에서 뒤지지 않습니다.
• 비용: 같은 성능을 내는데, 훈련 비용은 1/10~1/6 수준이고, 실행 비용은 1/2~1/5 수준으로 훨씬 저렴합니다.

5. 결론: 유럽의 새로운 희망

EngGPT2 는 **"적은 비용으로 최고의 성능을 내는 유럽형 AI"**의 새로운 기준을 세웠습니다.

• 이탈리아어와 유럽 문화에 특화되어 있어 현지 기업과 정부에 더 잘 어울립니다.
• 저작권과 윤리를 철저히 지켜 유럽 법규에 완벽하게 부합합니다.
• 열린 코드로 공개되어 누구나 자유롭게 연구하고 발전시킬 수 있습니다.

한 줄 요약:

"EngGPT2 는 거대한 연료 없이도 똑똑하게 움직이는 유럽의 스마트한 공학자입니다. 적은 비용으로 이탈리아와 유럽의 문제를 해결할 수 있는, 효율적이고 안전한 AI 입니다."

기술 요약

` 태그를 사용한 상세한 사고 과정 (Chain-of-Thought) 생성.

• 터보 추론 (Turbo Reasoning): 핵심 요약 형태의 짧은 사고 과정을 생성하여 지연 시간과 토큰 비용을 대폭 절감.

3. 주요 기여 (Key Contributions)

• 효율성과 성능의 균형: 2.5 조 토큰 (Qwen3 의 36T, Llama3 의 15T 대비 적음) 으로 학습되었음에도 불구하고, 8B~16B 범위의 밀집 (Dense) 모델과 유사하거나 더 나은 성능을 달성했습니다.
• 유럽 주권 AI 모델: EU AI Act 를 완전히 준수하며, 투명성 (기술 문서 공개, Hugging Face 공개) 과 책임성을 갖춘 최초의 이탈리아어 중심 오픈 웨이트 모델 중 하나입니다.
• 다중 추론 모드: 사용자의 필요에 따라 상세한 추론, 빠른 터보 추론, 비추론 모드를 유연하게 전환할 수 있는 기능을 제공했습니다.
• 비용 효율성: 학습 데이터와 추론 시 활성화되는 파라미터 수를 획기적으로 줄여, 동급 성능 대비 훨씬 낮은 연산 비용 (Inference Cost) 을 제공합니다.

4. 결과 (Results)

• 벤치마크 성능:
  • MMLU-Pro, GSM8K, IFEval, HumanEval 등 주요 벤치마크에서 8B~16B 밀집 모델 (Llama-3.1-8B, Gemma-2-9B 등) 을 능가하거나 경쟁력 있는 성능을 보였습니다.
  • 특히 이탈리아어 벤치마크 (ARC-IT, MMLU-IT) 에서 동급 모델 대비 최상위 성능을 기록했습니다.
  • AIME(수학 경시대회) 벤치마크에서 높은 점수를 기록하며 강력한 추론 능력을 입증했습니다.
• 효율성 지표 (Cost of Intelligence):
  • 학습 효율성: 단위 학습 토큰당 성능 (Normalized Performance per Training Token) 이 동급 모델 대비 우수합니다.
  • 추론 효율성: 단위 활성화 파라미터당 성능 (Normalized Performance per Active Parameter) 이 매우 높아, 적은 자원으로 높은 성능을 냅니다.
  • 터보 모드: 전체 추론 대비 토큰 수는 8396% 감소했으나, GSM8K나 MMLU-Redux 와 같은 작업에서는 성능 저하가 1316% 로 제한적이었습니다. (복잡한 추론 작업인 AIME 는 성능 저하가 큼).
• 한계: 코드 생성 (HumanEval) 과 도구 호출 (BFCL) 성능은 상대적으로 낮아, 향후 SFT 데이터의 균형을 맞추어 개선할 필요가 있습니다.

5. 의의 및 결론 (Significance)

• 유럽 AI 생태계의 자립성: EngGPT2 는 유럽이 미국과 중국의 기술적 우세에 맞서 자체적인 AI 인프라를 구축할 수 있음을 보여주는 중요한 사례입니다.
• 규제 준수 모델의 표준: EU AI Act 의 GPAI 규정 (10^25 FLOPs 미만) 을 준수하면서도 고성능을 유지하는 모델의 실현 가능성을 입증했습니다.
• 지속 가능한 AI 개발: "더 적은 데이터, 더 적은 연산으로 더 나은 성능"을 달성함으로써, 환경적, 경제적 부담을 줄인 지속 가능한 LLM 개발 방향을 제시합니다.
• 실무 적용 가능성: 낮은 추론 비용과 다국어 지원 (특히 이탈리아어) 으로 유럽의 공공 부문 및 기업 환경에 즉시 적용 가능한 솔루션을 제공합니다.

결론적으로, EngGPT2-16B-A3B 는 **주권 (Sovereignty), 효율성 (Efficiency), 개방성 (Openness)**을 동시에 충족하는 차세대 오픈 소스 LLM 의 새로운 표준을 제시하며, 유럽 중심의 AI 발전에 중요한 기여를 하고 있습니다.