Tucano 2 Cool: Better Open Source LLMs for Portuguese

이 논문은 포르투갈어 오픈소스 LLM 의 격차를 해소하기 위해 0.5~37 억 파라미터 규모의 'Tucano 2'모델 시리즈와 고품질 데이터셋, 학습 레시피, 그리고 포괄적인 평가 체계를 공개하여 포르투갈어 NLP 커뮤니티의 재현성과 확장을 지원한다고 요약할 수 있습니다.

핵심

🇵🇹 "투카노 2 (Tucano 2)": 포르투갈어를 위한 '똑똑한 친구'를 키운 이야기

이 논문은 포르투갈어 (브라질 및 유럽 포르투갈어) 로만 대화할 수 있는 인공지능 (AI) 모델을 만드는 과정을 다룹니다. 기존에 영어 중심의 AI 가 너무 많고, 포르투갈어 전용 AI 는 부족하거나 비밀리에 만들어져서 누구나 사용할 수 없었던 문제를 해결하기 위해, 연구팀이 완전히 공개된 (오픈소스) 방식으로 새로운 AI 가족을 키운 이야기입니다.

이 복잡한 기술 이야기를 마치 정원사가 새로운 나무를 키우는 과정에 비유해서 설명해 드릴게요.

---

1. 문제: 왜 새로운 나무가 필요할까요? 🌳

지금까지 AI 세상은 영어라는 거대한 숲에서 자란 나무들 (Qwen, Llama 등) 이 지배했습니다. 이 나무들은 영어는 정말 잘하지만, 포르투갈어라는 작은 가지에는 잎이 적거나, 아예 열매가 잘 맺히지 않았습니다.

또한, 기존에 포르투갈어 AI 를 만든 회사들은 "우리가 어떻게 만들었는지" 비밀로 하거나, 데이터가 어디에서 왔는지 알려주지 않았습니다. 마치 요리 레시피를 알려주지 않고 요리만 팔아먹는 식당 같죠. 연구팀은 "아니야, 우리는 완전한 레시피와 재료를 모두 공개해서 누구나 포르투갈어 AI 를 키울 수 있게 하겠다"고 결심했습니다.

2. 재료 준비: "기거베르보 (GigaVerbo)"라는 거대한 도서관 📚

AI 를 가르치려면 엄청난 양의 **책 (데이터)**이 필요합니다. 연구팀은 포르투갈어로 쓰인 인터넷 글, 위키백과, 뉴스, 교육 자료 등을 모았습니다.

• 정제 과정 (필터링): 인터넷에는 쓰레기 같은 글도 많습니다. 연구팀은 **AI 심판 (LLM Judge)**을 세워, "이 글은 교육적으로 좋은가?", "이 글은 독이 있는가?"를 평가하게 했습니다. 마치 선생님이 학생들의 에세이를 골라내듯 품질 좋은 글만 남겼습니다.
• 인공 지능의 상상력 (Synthetic Data): 인터넷에 없는 주제 (예: 복잡한 수학 문제 풀이, 법률 조언) 를 채우기 위해, 이미 잘 훈련된 AI 를 시켜 새로운 글을 직접 쓰게 했습니다. 마치 전문가가 학생들에게 연습 문제를 만들어주는 것과 같습니다.

3. 훈련 과정: 세 단계로 성장시키는 요리법 🍳

이제 이 재료를 어떻게 요리할지 (학습시킬지) 정했습니다.

1. 기초 다지기 (Pretraining):

   • 0.6B 모델 (작은 나무): 처음부터 포르투갈어 데이터만 모아 0.6B(6 억) 파라미터 크기의 모델을 처음부터 키웠습니다.
   • 효율적인 토크나이저: 영어와 포르투갈어를 섞어 쓰는 AI 는 비효율적일 수 있습니다. 연구팀은 **포르투갈어에 최적화된 새로운 알파벳 시스템 (토크나이저)**을 만들었습니다. 덕분에 같은 내용을 표현하는 데 필요한 '단어 조각'이 줄어들어, 연료 (컴퓨팅 비용) 를 30% 아끼고 더 빠르게 학습시켰습니다.

2. 전문가 양성 (Continual Pretraining):

   • 기존 거인 활용: 처음부터 30 억, 40 억 파라미터 크기의 큰 나무를 키우는 건 너무 비쌉니다. 대신, 이미 영어와 여러 언어를 잘 아는 **거인 AI (Qwen3)**를 가져와서 포르투갈어만 집중적으로 가르쳤습니다.
   • 효율성: 거인의 지능을 유지하면서 포르투갈어에 특화되도록 토크나이저 (알파벳 시스템) 만 갈아끼우는 기술을 써서, 거의 비용 없이 포르투갈어 전문가로 변신시켰습니다.

3. 실전 훈련 (Post-Training):

   • 명령어 따르기 (Instruct): "이것을 요약해줘", "이 코드를 짜줘" 같은 명령을 잘 따르도록 훈련했습니다.
   • 생각하기 (Think): 단순히 답만 주는 게 아니라, **생각의 과정 (Chain-of-Thought)**을 포르투갈어로 직접 말하며 문제를 풀도록 훈련했습니다. "왜 이렇게 답이 나왔는지" 설명하는 능력을 기른 것이죠.

4. 결과: 어떻게 잘할까요? 🏆

이렇게 키워낸 투카노 2 (Tucano 2) 가족은 놀라운 성과를 냈습니다.

• 작은 모델 (0.5B~1.5B): 영어 기반의 거대 모델들보다 포르투갈어 이해도가 더 높습니다. 마치 영어를 잘하는 외국인보다 현지인이 더 자연스러운 말투를 쓰는 것과 같습니다.
• 큰 모델 (3.7B): 37 억 파라미터 크기의 모델은 40 억 파라미터의 최신 거대 모델 (Qwen3-4B) 을 능가하는 성능을 보였습니다. 특히 수학 문제 풀이와 논리적 추론에서 포르투갈어로 완벽하게 답변했습니다.
• 생각하는 AI: "생각 모드 (Think)"를 켜면, 포르투갈어로 단계별로 사고하는 과정을 보여줍니다. 이는 이전까지 포르투갈어 AI 에서 거의 볼 수 없었던 기능입니다.

5. 환경 보호: 친환경적인 키우기 🌱

AI 를 키우는 건 전기를 많이 먹습니다. 연구팀은 에너지 소비와 탄소 배출량을 꼼꼼히 계산했습니다.

• 합리적인 비용: 거대 모델을 처음부터 만드는 대신, 기존 모델을 다듬는 방식을 써서 에너지를 90% 이상 아꼈습니다.
• 투명한 공개: 모든 데이터, 학습 코드, 평가 방법을 누구나 볼 수 있게 공개했습니다. 이는 "우리가 어떻게 만들었는지 숨기지 않겠다"는 약속입니다.

🎯 한 줄 요약

"영어 중심의 AI 세상에, 포르투갈어를 완벽하게 이해하고 '생각'까지 할 수 있는, 누구나 무료로 키울 수 있는 똑똑한 AI 가족 (투카노 2) 을 탄생시킨 혁신적인 프로젝트!"

이 프로젝트는 포르투갈어를 사용하는 수억 명의 사람들이 자신의 언어로 AI 와 소통할 수 있는 기회를 열었으며, 다른 소수 언어를 위한 AI 개발에도 귀감이 되는 완전한 공개 (오픈소스) 의 모범 사례가 되었습니다.

기술 요약

1. 문제 정의 (Problem)

• 언어 불평등: 현재 LLM 발전의 과실은 영어와 같은 고자원 언어에 편중되어 있으며, 포르투갈어와 같은 저자원 언어는 데이터와 고품질 모델 부족으로 인해 뒤처져 있습니다.
• 재현성 부족: 많은 포르투갈어 특화 모델이 폐쇄 소스이거나, 학습 데이터, 전처리 파이프라인, 하이퍼파라미터 등 재현에 필수적인 아티팩트 (artifacts) 를 공개하지 않습니다.
• 성능 한계: 기존 오픈 소스 포르투갈어 모델들은 다국어 모델 (예: Qwen, Gemma) 에 비해 성능이 낮거나, 특정 도메인 (추론, 코딩) 에서 미흡한 결과를 보입니다.
• 평가 프레임워크의 부재: 기존 포르투갈어 벤치마크는 학습 초기 단계에서 신뢰할 수 있는 신호 (signal) 를 제공하지 못하거나, 노이즈가 많아 모델 발전 추이를 추적하기 어렵습니다.

2. 방법론 (Methodology)

2.1 데이터 구축 (GigaVerbo-v2 및 Synth)

• GigaVerbo-v2: 약 3200 억 토큰 규모의 대규모 포르투갈어 코퍼스입니다. Common Crawl, Hugging Face 의 오픈 데이터셋 등을 통합했습니다.
  • 품질 필터링: Qwen2.5-32B 를 'LLM Judge'로 활용하여 교육적 가치 (Educational Quality) 와 유해성 (Toxicity) 을 5 점 척도로 평가했습니다. 이를 바탕으로 경량 분류기 (BERTimbau 등) 를 학습시켜 전체 코퍼스를 필터링했습니다.
  • 구성: 기본 코퍼스 (3180 억 토큰) 와 유해성이 높은 제외 코퍼스로 나뉘며, 교육적 가치가 높은 콘텐츠 (37%) 를 포함합니다.
• GigaVerbo-v2 Synth: 웹 데이터의 빈틈을 메우기 위해 생성된 93 억 토큰 규모의 합성 데이터셋입니다. Qwen2.5 시리즈 (7B, 14B, 32B) 를 활용하여 교육, 수학, 법률, 코딩 등 다양한 도메인의 고품질 데이터를 생성했습니다.
• SFT 및 선호도 데이터:
  • GigaVerbo-v2 SFT: 코딩, 도구 사용, 추론 (CoT), 수학 등 12 가지 태스크를 아우르는 410 만 개의 지시 - 응답 쌍.
  • GigaVerbo-v2 Preferences: 안전성 (Safety) 과 유용성 (Helpfulness) 을 모두 고려한 2.8 만 개의 선호도 (Chosen/Rejected) 데이터 쌍.

2.2 토크나이저 최적화

• 커스텀 토크나이저: SentencePiece 를 사용하여 포르투갈어, 영어, 코드를 40:40:20 비율로 혼합하여 학습했습니다.
• 효율성: 49,152 개의 어휘 크기를 가지며, 기존 다국어 모델 (Qwen3 등) 의 토크나이저 대비 서브워드 비옥도 (Subword Fertility) 가 1.51 로 가장 낮고, 토큰당 문자 수가 2.88 로 가장 높아 학습 및 추론 시 약 30% 의 연산 비용 절감 효과를 거두었습니다.

2.3 학습 전략

• Pretraining (Tucano2-0.6B-Base): 0.6B 파라미터 모델은 처음부터 (from-scratch) 학습했습니다. 3 단계 커리큘럼 (Warmup+Stable, Stable, 1-sqrt Decay) 을 적용하여 고품질 교육 데이터와 합성 데이터의 비율을 점진적으로 조정했습니다. AdamW + Muon 옵티마이저를 사용하여 학습 안정성을 높였습니다.
• Continual Pretraining (Tucano2-qwen 시리즈): Qwen3 기반 모델 (0.6B, 1.7B, 4B) 에 OMP(Orthogonal Matching Pursuit) 기반의 토크나이저 이식 (Transplantation) 기술을 적용했습니다. 이를 통해 Qwen3 의 151K 어휘를 49K 포르투갈어 최적화 어휘로 교체하면서도 사전 학습된 지식을 유지하고 파라미터 수를 약 68% 줄였습니다. 이후 순수 포르투갈어 데이터로 500 억~1000 억 토큰 수준으로 추가 학습 (Continual Pretraining) 을 수행했습니다.
• Post-Training:
  • Instruct Variant: 일반 지시 수행 능력을 강화하기 위해 SFT 와 Anchored Preference Optimization (APO) 을 적용.
  • Think Variant: 포르투갈어 기반의 체인 오브 씽킹 (CoT) 추론 능력을 강화하기 위해 추론 전용 데이터로만 학습.

2.4 평가 프레임워크

• Easy Set & Hard Set: 학습 단계에 따라 신뢰할 수 있는 신호를 제공하는 벤치마크를 두 단계로 분류했습니다.
  • Easy Set: 학습 초기 (<200B 토큰) 에도 신호를 제공하는 ARC, HellaSwag, Global PIQA 등.
  • Hard Set: 고도화된 능력을 평가하기 위해 더 많은 학습이 필요한 ENEM, OAB, MMLU 등.
• 포스트 트레이닝 평가: IFEval-PT(지시 준수), GSM8K-PT(수학), RULER-PT(긴 문맥), HumanEval(코딩) 을 포르투갈어로 적응화하여 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 고품질 포르투갈어 코퍼스: 3200 억 토큰의 GigaVerbo-v2 와 93 억 토큰의 합성 데이터셋 공개.
2. 오픈 소스 아티팩트 전체 스택: 학습 데이터, 필터링 모델, SFT/Preference 데이터, 학습 레시피, 평가 코드 등 모든 것을 오픈 소스 (Permissive License) 로 공개하여 재현성을 보장.
3. 효율적인 토크나이저: 포르투갈어에 최적화된 커스텀 토크나이저로 연산 비용 30% 절감.
4. 다양한 모델 패밀리: 0.5B~3.7B 크기의 Base, Instruct, Think 모델 공개. 특히 Think 모델은 포르투갈어로만 추론을 수행하는 능력을 갖추었습니다.
5. 종합 평가 스위트: 학습 단계별 (Early/Late) 및 장기 문맥 (Long-context) 평가를 위한 새로운 벤치마크 세트 구축.

4. 결과 (Results)

• Pretraining 성능: 0.6B 모델 (Tucano2-0.6B-Base) 은 훨씬 더 큰 컴퓨팅 예산을 가진 다국어 모델 (Qwen3-0.6B, Curi´o-1.1B 등) 보다 Easy Set 벤치마크에서 우월한 성능을 보였습니다.
• Continual Pretraining 성능: 토크나이저 이식을 통해 학습된 Tucano2-qwen-3.7B-Base는 Qwen3-4B 및 Qwen2.5-7B 를 능가하는 포르투갈어 특화 성능 (Aggregate NPM 59.21) 을 달성했습니다. 이는 약 0.13% 의 추가 컴퓨팅 비용으로 달성된 결과입니다.
• Post-Training 성능:
  • Instruct: 3.7B 모델은 지식 및 추론 (Knowledge & Reasoning) 분야에서 3~4B 범위의 모든 모델 중 최고 점수 (NPM 56.22) 를 기록했습니다.
  • Think: Tucano2-qwen-3.7B-Think는 Qwen3-4B 와 SmolLM3-3B 를 능가하며, 전체적으로 포르투갈어로 추론 (Chain-of-Thought) 을 수행하는 능력을 입증했습니다.
• 환경적 효율성: Tucano2-0.6B-Base 학습은 기존 Tucano-2b4 대비 에너지 소비와 탄소 배출을 92% 감소시켰습니다.

5. 의의 및 결론 (Significance)

• 저자원 언어 LLM 개발의 새로운 표준: Tucano 2 는 데이터, 모델, 학습 코드, 평가 도구를 모두 공개함으로써 포르투갈어 NLP 커뮤니티가 독립적으로 연구하고 모델을 개선할 수 있는 기반을 마련했습니다.
• 효율적인 적응 전략: 대규모 다국어 모델에 토크나이저 이식과 소량의 고품질 데이터로 추가 학습 (Continual Pretraining) 을 수행하는 방식이 저자원 언어 적응에 매우 비용 효율적이고 효과적임을 입증했습니다.
• 포용적 AI: 포르투갈어 사용자들이 고품질의 오픈 소스 LLM 을 접근할 수 있게 하여, 기술 격차를 해소하고 지역별 응용 프로그램 개발을 촉진합니다.
• 지속 가능성: 합성 데이터 생성의 높은 에너지 소비 문제를 지적하며, 향후 더 효율적인 생성 전략과 장기 문맥 처리 능력 향상을 위한 연구 방향을 제시했습니다.

이 논문은 단순한 모델 출시를 넘어, 저자원 언어를 위한 재현 가능하고 투명하며 지속 가능한 LLM 개발 생태계를 구축하는 데 중요한 이정표가 됩니다.