The Llama 4 Herd: Architecture, Training, Evaluation, and Deployment Notes

이 문서를 딱딱한 교과서가 아니라, "Llama 4"라고 불리는 새롭고 아주 특별한 AI 로봇 가족을 위한 상세한 사용자 매뉴얼이자 현장 가이드라고 생각하십시오.

이 논문은 다음의 내용을 쉬운 이야기와 비유로 나누어 설명하고 있습니다:

1. 가족 상봉 (변체 모델들)

대규모 가족 모임을 상상해 보세요. 이 논문은 주요 등장인물들을 소개합니다:

• Scout: 민첩하고 학습이 빠르며, 지금 당장 투입될 준비가 된 아이입니다.
• Maverick: 약간 다른 기술을 가진 모험적인 형제입니다.
• Behemoth: 거대하고 현명한 "선생님"으로, 현재는 어린 동생들에게 어떻게 하는지 보여주기 위해 울타리 너머로 살짝 모습을 드러내고 있는 상태입니다(미리보기).
  이 논문은 이러한 서로 다른 "무리 구성원"들이 어떻게 조화를 이루는지 설명합니다.

2. 두뇌의 배선 방식 (아키텍처)

이 모델들은 모든 것을 한꺼번에 처리하려는 하나의 거대한 뇌를 갖는 대신, 전문화된 팀 접근 방식을 사용합니다:

• MoE (Mixture of Experts, 전문가 혼합): 이것은 여러 명의 전문의가 있는 병원을 생각하면 됩니다. 질문이 들어오면 AI는 모든 의사에게 묻는 것이 아니라, 해당 작업에 필요한 특정 전문가에게 질문을 전달합니다. 어떤 전문가들은 모두가 공유하며, 어떤 전문가들은 전용 전문가입니다.
• 초기 융합 멀티모달리티 (Early-Fusion Multimodality): 책을 읽는 것과 그림을 보는 것을 별개로 하는 것이 아니라, 처음부터 글자와 이미지를 하나의 결합된 이야기로 보고 이해하는 사람을 상상해 보세요. 이것이 이 AI가 텍스트와 이미지를 함께 처리하는 방식입니다.
• 롱 컨텍스트 설계 (iRoPE): 이것은 AI에게 포스트잇 대신 매우 긴 두루마리 종이를 주는 것과 같습니다. 이를 통해 AI는 긴 소설이나 긴 대화의 처음 부분을 잊어버리지 않고도 전체를 기억하고 이해할 수 있습니다.

3. 교육 과정 (학습)

이 논문은 AI의 교육 과정을 세 단계로 설명합니다:

• 사전 학습 (Pre-training): AI가 기본적인 사실과 언어를 배우기 위해 거대한 도서관의 책들을 읽는 "초등학교" 단계입니다.
• 중간 학습 (Mid-training): AI가 긴 이야기 속에서 길을 잃지 않도록 그 긴 두루마리(롱 컨텍스트)를 집중적으로 연습하는 "전문 캠프" 단계입니다.
• 사후 학습 (Post-training): AI가 도움이 되고 예의 바르게 행동하도록 배우는 "기숙 학교" 단계입니다. 논문에서는 이 과정에서 무거운, 수년간의 대대적인 개조 대신, 마치 빠르고 집중적인 코칭 세션(SFT)과 친절한 경쟁(RL 및 DPO)을 통해 답변을 정교하게 다듬는 "경량화된" 접근 방식을 사용했다고 언급합니다.

4. 성적표 (벤치마크)

논문에는 가공되지 않은 원형 모델과 지시 이행을 배우는 모델 모두에 대한 시험 점수가 포함되어 있습니다. 개발자들에게 제작자가 공개한 정보를 바탕으로, 이 모델들이 표준 테스트에서 다른 모델들과 비교해 얼마나 잘 수행하는지 정확히 알려줍니다.

5. 자동차 운전하기 (배포)

이 섹션은 정비사의 가이드입니다. 다음 내용을 설명합니다:

• 도로 위의 규칙: 이 AI를 다양한 컴퓨터나 클라우드 서비스에서 실행하려고 할 때 어떤 일이 발생하는가?
• 크기 제한: 다양한 환경에서 AI가 처리할 수 있는 "메모리"(컨텍스트)의 양은 어느 정도인가?
• 패키징: AI를 더 작은 공간에 맞게 부수지 않고도 줄이는 방법(양자화, Quantization).

6. 세부 조항 (라이선스 및 안전)

마지막으로, 이 논문은 법적 및 안전 체크리스트 역할을 합니다:

• 규칙: 이 AI를 공유하거나 자신만의 버전을 만들고 싶다면 반드시 따라야 할 구체적인 규칙(라이선스)이 있습니다.
• 안전망: AI가 해로운 말을 하지 못하도록 설치된 가드레일(안전 장치)을 검토하고, 이 가드레일이 제대로 작동하는지 확인하기 위해 제작자가 어떻게 테스트했는지 설명합니다.

요약하자면: 이 문서는 Llama 4가 무엇인지, 어떻게 만들어졌는지, 얼마나 똑똑한지, 그리고 사용할 때 적용되는 규칙이 무엇인지 알고 싶은 모든 이들을 위한 "진실의 원천"이며, 미래의 가능성을 추측하거나 임의로 만들어내지 않습니다.