The Llama 4 Herd: Architecture, Training, Evaluation, and Deployment Notes
Dit artikel biedt een uitgebreide technische referentie over de Llama 4-modelfamilie van Meta, waarbij details worden samengevoegd over de uitgebrachte varianten, geavanceerde architecturale kenmerken zoals early-fusion multimodaliteit en iRoPE, trainingsmethodologieën, benchmarkprestaties, implementatiebeperkingen en licentieverplichtingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Beschouw dit document niet als een droog tekstboek, maar als een gedetailleerde gebruikershandleiding en veldgids voor een nieuwe, zeer speciale familie van AI-robots genaamd "Llama 4."
Hier is waar het papier over gaat, onderverdeeld in eenvoudige verhalen en analogieën:
1. De Familiehereniging (De Varianten)
Stel je een grote familie bijeenkomst voor. Het document introduceert de hoofdpersonages:
- Scout: De behendige, snelle leerling die er direct klaar voor is.
- Maverick: Het avontuurlijke broertje/zusje met een iets ander vaardighedenpakket.
- Behemoth: De reusachtige, wijze "leraar" die momenteel slechts over de schutting gluurt (vooruitblik) om de jongere kinderen te laten zien hoe het moet.
Het document legt uit hoe deze verschillende "familieleden" bij elkaar passen.
2. Hoe hun Breinen zijn Bedraad (Architectuur)
In plaats van één gigantisch brein dat alles tegelijk probeert te doen, gebruiken deze modellen een gespecialiseerde teamaanpak:
- De MoE (Mixture of Experts): Denk hierbij aan een ziekenhuis met veel verschillende specialisten. Wanneer er een vraag binnenkomt, vraagt de AI niet aan elke dokter; het stuurt de vraag naar de specifieke expert die nodig is voor die taak. Sommige experts worden door iedereen gedeeld, terwijl anderen privé-specialisten zijn.
- Early-Fusion Multimodality: Stel je een persoon voor die niet alleen een boek leest en naar een plaatje kijkt, maar de woorden en de afbeeldingen ziet als één enkel, samengesmolten verhaal vanaf het allereerste moment dat ze leren. Dat is hoe deze AI tekst en afbeeldingen samen verwerkt.
- Long-Context Design (iRoPE): Dit is alsof je de AI een superlange rol papier geeft in plaats van een briefje met een plakstrip. Het stelt de AI in staat om een hele roman of een lang gesprek te onthouden en te begrijpen zonder het begin te vergeten tegen de tijd dat het einde is bereikt.
3. Hoe ze zijn Onderwezen (Training)
Het document beschrijft de opleiding van de AI in drie fasen:
- Pre-training: De "basisschool"-fase waarin de AI een enorme bibliotheek aan boeken leest om basisfeiten en taal te leren.
- Mid-training: Een "gespecialiseerd kamp" waar de AI specifiek oefent op die lange rollen (lange contexten), zodat het niet verdwaalt in lange verhalen.
- Post-training: De "hogeschool" waar de AI leert om behulpzaam en beleefd te zijn. Het document merkt op dat ze hier een "lichtgewicht" aanpak gebruikten—zoals een korte, gerichte coachingsessie (SFT) en wat vriendelijke competitie (RL en DPO) om de antwoorden te verfijnen, in plaats van een zware, jarenlange volledige verbouwing.
4. Rapportcijfers (Benchmarks)
Het document bevat de toetsscores voor zowel de ruwe, onbewerkte modellen als de versies die hebben geleerd instructies op te volgen. Het vertelt ontwikkelaars precies hoe goed deze modellen presteren op standaardtests vergeleken met anderen, gebaseerd op wat de makers publiekelijk hebben gedeeld.
5. De Auto Besturen (Deployment)
Deze sectie is de monteurshandleiding. Het legt uit:
- De Verkeersregels: Wat gebeurt er als je deze AI op verschillende computers of clouddiensten probeert te draaien?
- Groottebeperkingen: Hoeveel "geheugen" (context) de AI kan verwerken in verschillende omgevingen.
- Verpakking: Hoe je de AI verkleint (kwantisatie) zodat hij in kleinere ruimtes past zonder kapot te gaan.
6. De Kleine Lettertjes (Licenties en Veiligheid)
Ten slotte fungeert het document als een juridische en veiligheidschecklist:
- De Regels: Als je deze AI wilt delen of je eigen versie wilt bouwen, zijn dit de specifieke regels die je moet volgen (licenties).
- Veiligheidsnetten: Het beoordeelt de vangrails die zijn geplaatst om de AI te stoppen met het zeggen van schadelijke dingen en hoe de makers hebben getest of deze vangrails werken.
Kortom: Dit document is de "bron van waarheid" voor iedereen die precies wil weten wat Llama 4 is, hoe het gebouwd is, hoe slim het is en welke regels van toepassing zijn wanneer je het gebruikt, zonder te hoeven gissen of toekomstige mogelijkheden te verzinnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.