Sabiá-4 Technical Report

Dit technische rapport introduceert Sabi'a-4 en Sabiazinho-4, een nieuwe generatie taalmodellen die specifiek zijn getraind op Braziliaans-Portugese juridische data en lange context, en die uitstekende prestaties leveren op het gebied van juridisch schrijven, dialoogkwaliteit en agentische taken tegen een gunstige prijs-kwaliteitverhouding.

De kern

Hier is een uitleg van het technische rapport over Sabiá-4 en Sabiazinho-4, vertaald naar eenvoudig Nederlands met een paar creatieve vergelijkingen.

Wat is dit eigenlijk?

Stel je voor dat je een superintelligente assistent hebt die niet alleen perfect Portugees spreekt (vooral het Braziliaanse dialect), maar ook een juridisch genie is. Dat zijn Sabiá-4 en Sabiazinho-4.

Ze zijn gemaakt door het Braziliaanse bedrijf Maritaca AI. De naam "Sabiá" verwijst naar een Braziliaanse zangvogel die bekend staat om zijn prachtige liedjes – een knipoog naar de taalvaardigheid van het model.

Hoe zijn ze getraind? (De "Schooltijd" van de AI)

De onderzoekers hebben deze AI niet zomaar op een computer gezet en laten lezen. Ze hebben een vier-stappenplan gevolgd, alsof je een student voorbereidt op een zware examenreeks:

1. De Basis (Voortgezette training): Eerst kregen ze een algemene basisopleiding in het Portugees, maar dan met een speciale focus op Braziliaanse wetboeken en juridische documenten.
   • Vergelijking: Het is alsof je een student niet alleen de hele wereldgeschiedenis laat lezen, maar ze ook laat studeren bij de beste advocaten van het land.
2. Het Geheugen (Context uitbreiding): Ze leerden de AI om 128.000 woorden tegelijk te onthouden.
   • Vergelijking: Normale AI's hebben een geheugen van een post-it-je. Sabiá-4 heeft een geheugen van een hele bibliotheek. Je kunt er een dik juridisch dossier in gooien en het kan het hele verhaal onthouden.
3. De Oefeningen (Supervised Fine-Tuning): Ze kregen specifieke opdrachten: "Schrijf een chatbericht," "Schrijf code," "Draai een juridisch document op," en "Gebruik tools."
   • Vergelijking: Dit is als een stage bij verschillende bedrijven: eerst als secretaresse, dan als programmeur, en daarna als jurist.
4. De Menselijke Touch (Preference Alignment): Tot slot leerden ze de AI om te luisteren naar wat mensen echt leuk of nuttig vinden, en om zich te houden aan strakke regels.
   • Vergelijking: Een leraar die de AI corrigeert: "Nee, niet zo'n slordig antwoord, wees beleefd en volg precies de vorm die ik vraag."

Wat kunnen ze doen? (De Krachten)

Het rapport testte de modellen op zes gebieden:

• Juridisch Goud: Ze zijn extreem goed in het schrijven van juridische stukken, zoals vonnissen van rechters of verdedigingspleidooien. Ze begrijpen de subtiele nuances van Braziliaanse wetten beter dan veel andere modellen.
• Het Lange Verhaal: Omdat ze zo'n groot geheugen hebben, kunnen ze hele boeken of duizenden pagina's aan wetgeving doorzoeken om het ene stukje informatie te vinden dat je nodig hebt (de "naald in de hooiberg").
• De Agent: Ze kunnen niet alleen praten, maar ook acties ondernemen. Ze kunnen bijvoorbeeld een vliegticket kopen, een Pix-betaling (een Braziliaanse betaalmethode) doen of op het internet zoeken om een antwoord te vinden.
  • Vergelijking: Ze zijn niet alleen een slimme bibliothecaris die je een boek geeft, maar ook een assistent die het boek voor je uitleest en de bonnetjes regelt.
• Examenresultaten: Ze halen hoge cijfers op Braziliaanse toelatingsexamens (zoals voor advocaten of artsen).

Waarom is dit speciaal? (De Prijs-Kwaliteit Verhouding)

Dit is misschien wel het belangrijkste punt van het rapport.
Stel je een autoverhuurder voor. Sommige auto's (zoals de dure Amerikaanse modellen) zijn super snel en krachtig, maar kosten een fortuin per uur. Andere auto's zijn goedkoop, maar slecht.

Sabiá-4 en Sabiazinho-4 zitten in de "Gouden Middenweg".

• Ze zijn goedkoper dan de duurste concurrenten (zoals de nieuwste modellen van OpenAI of Google).
• Maar ze zijn net zo goed (of zelfs beter) op specifieke taken, vooral als het gaat om Braziliaans Portugees en wetten.

In de grafiek in het rapport (Figuur 1) staan ze linksboven: dat betekent goedkoop én goed. Voor bedrijven die deze AI willen gebruiken in de echte wereld, is dit een droomscenario.

Samenvatting in één zin

Sabiá-4 is een slimme, goedkope Braziliaanse AI-assistent die net zo goed is als een ervaren advocaat, een geheugen heeft van een bibliotheek, en je kan helpen met alledaagse taken zoals betalen of zoeken op internet, allemaal voor een fractie van de prijs van de dure concurrenten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het rapport over Sabiá-4 en Sabiazinho-4, geschreven in het Nederlands.

Technische Samenvatting: Sabiá-4 en Sabiazinho-4

Dit rapport introduceert Sabiá-4 en Sabiazinho-4, een nieuwe generatie taalmodellen die specifiek zijn ontwikkeld voor het Portugees, met een sterke focus op het Braziliaanse Portugees en het juridische domein. De modellen zijn ontworpen om een optimale balans te vinden tussen kosten en prestaties, waardoor ze zeer geschikt zijn voor productiedeployments.

1. Het Probleem

Bestaande grote taalmodellen (LLMs) vertonen vaak tekortkomingen wanneer ze worden ingezet voor specifieke, complexe taken in het Braziliaanse context:

• Juridische onnauwkeurigheid: Algemene modellen hebben moeite met het nauwkeurig opstellen van juridische documenten en het interpreteren van Braziliaanse wetgeving.
• Beperkte context: Veel modellen kunnen lange documenten (zoals volledige rechtszaken of wetboeken) niet effectief verwerken.
• Kosten-efficiëntie: State-of-the-art modellen zijn vaak te duur voor brede industriële toepassing, terwijl goedkopere alternatieven vaak inferieure prestaties leveren op gespecialiseerde taken.
• Agentische capaciteiten: Er is een behoefte aan modellen die betrouwbaar tools kunnen gebruiken, webnavigatie kunnen uitvoeren en complexe multi-stap taken kunnen voltooien in het Portugees.

2. Methodologie

De ontwikkeling van Sabiá-4 en Sabiazinho-4 volgde een vier-traps trainingspipeline op Google Cloud TPUs (v5p en v6e) met JAX als framework:

1. Verlengd Pre-training (Continual Pre-training):
   • Een algemene basismodel werd verder getraind op een groot corpus van Portugees taalgebruik, gecombineerd met een specifiek Braziliaans juridisch corpus.
   • Dit was cruciaal om het model een diepgaand begrip van juridische terminologie en structuren bij te brengen zonder dat het model vanaf nul moest worden getraind.
2. Contextuitbreiding:
   • De contextvenster werd uitgebreid tot 128.000 tokens.
   • Hiervoor werden specifieke datasets met natuurlijk lange documenten gebruikt om het model te leren informatie te behouden en te verwerken over zeer lange teksten.
3. Supervised Fine-Tuning (SFT):
   • Het model werd getraind op een diverse instructiedataset die chatgesprekken, code, juridische taken, instructie-opvolging en function calling (agentische taken) omvatte.
   • Synthetische data werd gegenereerd om de vaardigheden in het gebruik van tools en het uitvoeren van multi-turn dialogen te verbeteren.
4. Preference Alignment:
   • In de laatste fase werd het model afgestemd op menselijke voorkeuren. Dit omvatte het verfijnen van de schrijfstijl, het beter begrijpen van subtiele nuances in gebruikersinvoer en het strikter naleven van vereiste formaten.

3. Belangrijkste Bijdragen

• Gespecialiseerde Juridische Expertise: De modellen tonen aanzienlijke verbeteringen in het opstellen van juridische stukken (zoals vonnissen en processtukken) en het beantwoorden van vragen over Braziliaanse federale wetgeving.
• Lange Context Capabiliteiten: Met een contextvenster van 128K tokens kunnen de modellen complexe documenten volledig analyseren, wat essentieel is voor juridische en zakelijke toepassingen.
• Agentische Vaardigheden: De modellen zijn getraind om tools te gebruiken, webpagina's te navigeren en complexe taken (zoals het kopen van tickets of het doen van Pix-betalingen) autonoom uit te voeren.
• Kosten-Prestatie Optimalisatie: De modellen bieden prestaties die concurreren met veel duurdere "frontier"-modellen, maar tegen een fractie van de kosten.

4. Resultaten

De modellen werden geëvalueerd op zes categorieën benchmarks:

• Juridische Prestaties:
  • Op de OAB-Bench (advocaat-stijl) scoorde Sabiá-4 7,49 (tegenover 6,33 voor Qwen3 en 8,73 voor de duurste GPT-5 variant).
  • Op de Magis-Bench (rechter-stijl) scoorde Sabiá-4 5,08.
  • In kennis van Braziliaanse wetten (Laws) behaalde Sabiá-4 een score van 97,4%, wat een enorme verbetering is ten opzichte van eerdere generaties (77,8%) en concurrenten.
• Lange Context: Op de MRCR (Multi-Round Co-reference Resolution) benchmark presteerden Sabiá-4 en Sabiazinho-4 consistent goed over contextlengtes tot 128K tokens, waarbij ze de prestaties van eerdere generaties overtroffen.
• Agentische Taken: In benchmarks zoals Ticket-Bench en Pix-Bench toonden de modellen hoge successcores bij het uitvoeren van multi-step taken in realistische omgevingen.
• Kosten-effectiviteit: In de "Pricing vs Performance" grafiek (Figuur 1) bevinden Sabiá-4 en Sabiazinho-4 zich in het linkerbovenkwadrant: ze bieden de beste prestaties voor de laagste kosten, wat ze ideaal maakt voor productieomgevingen.

5. Betekenis en Toekomstperspectief

Sabiá-4 en Sabiazinho-4 vertegenwoordigen een doorbraak in het ontwikkelen van kostenefficiënte, gespecialiseerde taalmodellen voor het Portugees. Ze bewijzen dat domain-specialisatie via voortgezette pre-training een effectieve en betaalbare strategie is om concurrerende prestaties te bereiken zonder de enorme rekenkracht die nodig is voor training vanaf nul.

Toekomstige ontwikkelingen omvatten:

• De release van een stabiele versie op basis van feedback.
• Uitbreiding van het contextvenster naar 256K tokens.
• Integratie van geavanceerde redeneercapaciteiten voor nog complexere taken.

Kortom, deze modellen bieden een robuust alternatief voor dure Amerikaanse modellen, specifiek geoptimaliseerd voor de juridische en zakelijke behoeften van Brazilië.