🤖 machine learning

Sakana Fugu Technical Report

Het artikel introduceert Sakana Fugu, een familie van orchestrator-taalmodellen die dynamisch agentische scaffolds construeren om de gespecialiseerde capaciteiten van meerdere LLM's te combineren en te versterken, waarmee een state-of-the-art prestatie wordt bereikt over diverse uitdagende benchmarks.

Oorspronkelijke auteurs: Yujin Tang, Edoardo Cetin, Jinglue Xu, Qi Sun, Stefan Nielsen, Vincent Richard, Haruto Goda, Iaroslav Tymchenko, Nhan Nguyen, Hyunin Lee, Mari Ashiga, Shashank Kotyan, So Kuroki, Tarin Clanuwat

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yujin Tang, Edoardo Cetin, Jinglue Xu, Qi Sun, Stefan Nielsen, Vincent Richard, Haruto Goda, Iaroslav Tymchenko, Nhan Nguyen, Hyunin Lee, Mari Ashiga, Shashank Kotyan, So Kuroki, Tarin Clanuwat

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team hebt van wereldklasse experts, elk een meester in een specifiek vakgebied. De één is een genie in wiskunde, een ander een programmeer-wizard, de derde een cybersecurity-detective en een vierde een wetenschappelijk onderzoeker. Individueel zijn ze briljant. Maar wat als je een super-slimme manager zou kunnen inhuren die precies weet welke expert hij voor welk probleem moet bellen, en hoe hij hen samen kan laten werken?

Dat is precies wat Sakana Fugu is.

Volgens het technisch rapport van Sakana AI is Fugu niet één gigantisch brein dat alles probeert te doen. In plaats daarvan is het een "dirigent" of "manager" die een team van andere krachtige AI-modellen (zoals GPT-5.5, Claude Opus en Gemini) orkestreert om problemen beter op te lossen dan welke enkele van hen alleen zou kunnen.

Hier is een eenvoudige uitleg van hoe het werkt en wat het kan doen:

1. De twee versies: De "Snelle Ober" en de "Meesterkok"

Het team heeft twee versies van deze manager uitgebracht, ontworpen voor verschillende behoeften:

Fugu (De Snelle Ober): Deze versie is gebouwd voor dagelijks gebruik. Wanneer je een vraag stelt, fungeert het als een snelle ober die direct weet welke expert in de keuken het beste bij jouw bestelling past. Het kiest één expert om de klus direct te klaren. Het is snel, heeft een lage latentie en is geweldig voor dagelijkse taken, maar het kiest nog steeds de beste persoon voor de job.
Fugu-Ultra (De Meesterkok): Deze versie is voor de moeilijkste, meest complexe problemen waarbij snelheid minder belangrijk is dan het perfect krijgen van het antwoord. In plaats van alleen één persoon te kiezen, bouwt het een hele keukenteam. Het kan bijvoorbeeld één expert vragen om een plan op te stellen, een tweede om de wiskunde te controleren, een derde om de code te schrijven en een vierde om deze te debuggen. Het duurt langer, maar het combineert de sterke punten van het hele team om problemen aan te pakken die te moeilijk zijn voor een enkel model.

2. Hoe het leert: De "Talentscout"

Je vraagt je misschien af: "Hoe weet Fugu welke expert het beste is voor welke klus?"

Het paper legt uit dat Fugu is getraind als een talentscout.

De training: De onderzoekers gaven de Fugu-manager duizenden problemen. Ze observeerden hoe de verschillende experts (de "werkers") op elk probleem presteerden.
Het leren: Fugu leerde een patroon. Bijvoorbeeld: het leerde dat "Gemini geweldig is in wetenschappelijke vragen", terwijl "GPT een tovenaar is in complexe wiskunde" en "Claude Opus de beste is in het vinden van beveiligingsbugs."
Het resultaat: In plaats van antwoorden te memoriseren, leerde Fugu om vragen te routeren. Het kijkt naar je vraag, denkt: "Ah, dit heeft een wiskundige nodig," en stuurt het direct naar het juiste model.

3. Wat het kan doen: Het "Zwitsers zakmes"-effect

Het rapport laat zien dat door deze "teamwerk"-aanpak te gebruiken, Fugu de individuele experts op veel gebieden verslaat. Het is als een Zwitsers zakmes waarbij elk gereedschap de beste versie van zichzelf is, en het handvat precies weet welk gereedschap eruit getrokken moet worden.

Hier zijn enkele specifieiele voorbeelden uit het paper:

Coderen & Software: In tests waarbij AI bugs moest oplossen in echte software, was Fugu-Ultra de top performer. Het liet een "bouwer"-model de code schrijven, schakelde dan over naar een "debugger"-model om de fouten te vinden, en schakelde daarna weer terug om ze te herstellen. Dit heen-en-weer-gaan was beter dan wanneer een enkel model het alleen zou proberen.
Wetenschap & Wiskunde: Op moeilijke wetenschappelijke examens (zoals "Humanity's Last Exam") behaalde Fugu-Ultra hogere scores dan de individuele modellen. Het wist dat het het wiskundige model moest gebruiken voor natuurkundeproblemen en het wetenschappelijke model voor biologievragen.
Creatieve Probleemoplossing: Het paper beschrijft een test waarbij de AI moest uitzoeken wat de leesvolgorde was van oude, rommelige Japanse letters verspreid over een pagina. Fugu-Ultra gokte niet alleen; het schreef een aangepast programma om het puzzelstuk op te lossen, verbeterde het en loste het beter op dan enig enkel model zou kunnen.
Design: Het ontwierp zelfs een werkend mechanisch camera-iris (het deel dat opent en sluit in een lens) dat daadwerkelijk correct bewoog, terwijl andere modellen ontwerpen maakten die defect waren of niet werkten.

4. Waarom dit ertoe doet: Het "Orkest" versus de "Solist"

De kern van het paper is dat we niet noodzakelijkerwijs één enkel, enorm, superduur brein hoeven te bouwen om betere AI te krijgen. In plaats daarvan kunnen we een systeem bouwen dat weet hoe het de breinen die we al hebben te gebruiken.

De Oude Manier: Probeer één model zo groot en slim te maken dat het alles perfect kan doen.
De Fugu-Manier: Houd de gespecialiseerde experts (de wiskundige, de programmeur, de wetenschapper) en huur een slimme manager in (Fugu) om hen te coördineren.

Het paper beweert dat deze aanpak hen in staat stelt om "state-of-the-art" resultaten te behalen — wat betekent: de allerbeste scores op moeilijke tests — zonder dat ze een nieuw, massaal model vanaf nul hoeven te trainen. Het verandert een verzameling gespecialiseerde tools in één enkel, ongelooflijk capabel systeem.

Kortom: Sakana Fugu is een slimme manager die precies weet welke AI-expert hij voor de klus moet bellen, of het nu gaat om een snel antwoord of een complex, meerstapsig puzzelstuk, wat resulteert in een team dat slimmer is dan de som der delen.

Technische Samenvatting: Sakana Fugu

Probleemstelling

Frontier Large Language Models (LLM's) hebben een expertniveau van prestaties bereikt in diverse domeinen, maar vertonen steeds meer gedifferentieerde specialisaties. Zo blinken sommige modellen bijvoorbeeld uit in wiskundige redenering of het bewijzen van stellingen, terwijl andere domineren in software engineering, cybersecurity of algoritmische implementatie. Bovendien bezitten modellen binnen een enkel domein vaak fijnmazige sterktes (bijv. directe algoritme-implementatie versus complexe planning).

Huidige benaderingen om AI-capaciteiten te schalen vertrouwen primair op het trainen van grotere, duurdere modellen. Het paper betoogt echter dat de volgende grens mogelijk niet wordt bereikt door een enkel monolithisch model, maar door systemen die de complementaire sterktes van meerdere gespecialiseerde modellen kunnen identificeren, combineren en versterken. Daarnaast zijn "agentic scaffolds" (gestructureerde prompting, toolgebruik, feedback uit de omgeving), die de prestaties van individuele modellen hebben verbeterd, vaak vaste, taakspecifieke systemen. Er is behoefte aan een systeem dat dynamisch een team van agenten kan orkestreren, waarbij de workflow, de communicatietopologie en het gebruik van tools worden aangepast aan de specifieke vereisten van elke query, waardoor collectieve intelligentie effectief als een schaalbare as wordt behandeld die verder gaat dan de ruwe modelgrootte.

Methodologie

Sakana Fugu is een familie van geleerde orchestrator-modellen die ontworpen zijn om een multi-agent systeem te ontsluiten via een enkele modelinterface. In plaats van gebruikers te vereisen om workflows te ontwerpen, construeren Fugu-modellen dynamisch "agentic scaffolds" over een pool van frontier LLM-workers. Het systeem brengt twee varianten uit die geoptimaliseerd zijn voor verschillende werkpunten: Fugu (latentie-bewust) en Fugu-Ultra (prestatie-geprioriteerd).

1. Fugu: Balans tussen Prestaties en Latentie

Fugu is ontworpen voor interactief gebruik, waarbij per input een enkele worker wordt geselecteerd om de latentie te minimaliseren en de kans te maximaliseren dat de meest capabele agent wordt gekozen.

Parametrisatie: Fugu gebruikt een pre-trained taalmodel-backbone met een lichtgewicht selectie-head die aan de laatste hidden layer is bevestigd. In tegenstelling tot eerdere coördinatoren die rollen toewijzen, geeft de head van Fugu logits uit voor $L$ worker-modellen, waarbij één wordt geselecteerd om als worker te fungeren. Om de backbone efficiënt aan te passen zonder volledige fine-tuning, maakt het systeem gebruik van singular-value fine-tuning, waarbij alleen de singular-value schalen van geselecteerde parametermatrices worden getraind.
Trainingsparadigma:
- Supervised Fine-Tuning (SFT): Het model wordt getraind op single-step taken (codering, wiskunde, redenering). Labels worden gegenereerd door alle worker-modellen op een taak uit te voeren en ze te rangschikken op basis van prestaties tegen de grondwaarheid (ground truth). De orchestrator wordt getraind om een zachte waarschijnlijkheidsverdeling over workers te voorspellen (via softmax) in plaats van een hard enkel label, wat een rijker signaal oplevert.
- Evolutionaire Optimalisatie: Na SFT wordt Fugu geoptimaliseerd met behulp van sep-CMA-ES (separable Covariance Matrix Adaptation Evolution Strategy) op end-to-end multi-turn taken (bijv. coding assistants met toolgebruik en feedback uit de omgeving). Deze fase optimaliseert de verwachte terminale beloning van het interactietraject, waardoor het model praktische capaciteiten kan leren zoals tool-betrouwbaarheid en iteratief debuggen die statische benchmarks missen.

2. Fugu-Ultra: Prioriteit voor Prestaties

Fugu-Ultra is ontworpen voor complexe, meerstaps-workloads waarbij de kwaliteit van het antwoord belangrijker is dan de latentie. Het bouwt voort op het Conductor-framework, dat natuurlijke taal agentic workflows genereert.

Workflow Generatie: De orchestrator genereert een sequentie van workflow-stappen, waarbij subtaken worden gedefinieerd, specifieği werkende agenten worden toegewezen en toegangslijsten worden gespecificeerd (welke eerdere outputs in de context moeten worden opgenomen). Dit maakt willekeurige topologieën mogelijk, van sequentiële ketens tot parallelle bomen.
Training: Getraind met behulp van GRPO (Grouped Relative Policy Optimization) op een beloningsfunctie die formateringsfouten bestraft en correcte taakvoltooiing beloont.
Geavanceerd Geheugen & Isolatie:
- Intra-workflow Isolatie: Om "orchestration collapse" te voorkomen (waarbij het traject van de eerste agent alle daaropvolgende agenten beïnvloedt), zijn agenten binnen een enkele workflow geïsoleerd. Ze zien alleen de context die expliciet door de toegangslijst is toegestaan, wat hun onafhankelijke oplossingspaden bewaart.
- Persistent Gedeeld Geheugen: Agenten behouden geheugen van interacties over verschillende workflows (multi-turn conversaties) om redundante tool-calls te vermijden en context te behouden, terwijl ze binnen de huidige workflow geïsoleerd blijven.
Agent Pool: Het systeem orkestreert een diverse pool van frontier modellen (bijv. Gemini-3.1-Pro, Claude-Opus-4.8, GPT-5.5).

Belangrijkste Bijdragen

Geleerde Orchestratie als een Schaalas: Het paper stelt orchestratie van modellen voor als een complementaire schaalas aan het vergroten van de modelgrootte. Het demonstreert dat het combineren van bestaande gespecialiseerde modellen prestaties kan opleveren die de beste individuele modellen overtreffen, zonder dat er nieuwe trainingruns of toegang tot parameters nodig zijn.
Dynamische, Query-Adaptieve Scaffolds: In tegen afhankelijk van vaste agentic frameworks, leren Fugu-modellen om dynamisch scaffolds te bedenken (routing, topologie, communicatiestrategieën) die specifiek zijn voor elke query. Dit omvat het selecteren van de optimale aggregator (bijv. een wiskunde-specialistisch model gebruiken voor aggregatie in wiskunde-zware taken en een fact-retrieval specialist voor trivia).
Productie-klaar Systeem: Het rapport beschrijft de infrastructuur en ontwerpprincipes (bijv. singular-value fine-tuning voor efficiëntie, evolutionaire strategieën voor robuustheid) die multi-agent onderzoekconcepten transformeren naar een productiesysteem dat in staat is om real-world interactieve taken aan te kunnen.
Twee-fasen Release: De introductie van Fugu (lage latentie, single-agent selectie) en Fugu-Ultra (hoge prestaties, multi-agent workflows) biedt praktische opties voor verschillende gebruiksscenario's.

Resultaten

De Fugu-modellen werden geëvalueerd op een reeks uitdagende benchmarks en presteerden vaak beter dan state-of-the-art frontier-modellen en propriëtaire "preview" modellen.

Agentic Coding: Fugu-Ultra behaalde state-of-the-art resultaten op SWE-Bench Pro (73.7%) en Terminal Bench 2.1 (82.1%), waarmee het de op één na beste publieke modellen met 5-6 procentpunt overtrof. Het demonstreerde fijnmazige adaptiviteit door te wisselen tussen GPT-5.5 voor het bouwen en Claude-Opus-4.8 voor het debuggen.
Wetenschappelijk Redeneren: Zowel Fugu als Fugu-Ultra behaalden 95.5% op GPQA-Diamond, waarmee ze Gemini-3.1-Pro (94.3%) en GPT-5.5 (93.6) overtrofen. Het systeem routeerde wiskunde-zware subtaken succesvol naar GPT en wetenschap-zware taken naar Gemini.
Andere Benchmarks:
- LiveCodeBench Pro: 90.8% (Fugu-Ultra) vs 88.4% (GPT-5.5).
- CharXiv Reasoning: 86.6% (Fugu-Ultra) vs 84.1% (GPT-5.5).
- Humanity's Last Exam: 50.0% (Fugu-Ultra), waarbij alle baselines werden overtroffen.
Kwalitatieve Taken:
- AutoResearch: Bij autonome ML-trainingoptimalisatie behaalde Fugu-Ultra een lagere validatie bits-per-byte (0.9774) dan single-model baselines, wat superieure consistentie en piekprestaties aantoont in langdurige zoekprocessen.
- Klassiek Japans Lezen: Fugu-Ultra behaalde een gemiddelde Normalized Edit Distance (NED) van 0.776 bij het herstellen van de leesvolgorde van verspreide klassieke Japanse letters, wat de beste frontier baseline (0.642) significant overtrof.
- CAD Generatie: Fugu-Ultra produceerde consistent mechanisch geldige en volledige CAD-ontwerpen (bijv. camera-iris mechanismen) waar andere modellen onvolledige of structureel zwakke resultaten produceerden.

Betekenis en Claims

Het paper claimt dat Sakana Fugu een verschuiving vertegenwoordigt in de manier waarop frontier AI-capaciteiten kunnen worden ontsloten en geschaald.

Democratisering van Capaciteit: Door modellen te componeren op gedragsniveau in plaats van op parameterniveau, kan Fugu closed-source frontier modellen en heterogene providers integreren zonder toegang te vereisen tot hun gewichten. Dit maakt frontier-niveau capaciteiten modulaire en toegankelijker.
Economische en Geopolitieke Implicaties: De auteurs suggereren dat het behandelen van orchestratie als een schaalas de voordelen van frontier AI breder kan distribueren, waardoor organisaties een hoge prestatie kunnen bereiken zonder de enorme rekenkracht die nodig is om de grootste modellen te trainen.
Collectieve Intelligentie: Het werk valideert de hypothese dat "collectieve intelligentie" een emergente eigenschap is van gecoördineerde modelcollectieven. Het demonstreert dat een systeem software kan ontwerpen zoals de sterkste programmeur, kan redeneren wiskundig zoals de sterkste wiskundige, en dynamisch kan beslissen wanneer elk van hen ingezet moet worden, waardoor effectief een "super-agent" wordt gecreëerd uit bestaande componenten.

De auteurs positioneren Fugu als een eerste stap naar een toekomst waarin AI-vooruitgang niet alleen afhangt van het trainen van grotere modellen, maar van het leren hoe gespecialiseerde modellen kunnen samenwerken via dynamische, query-adaptieve scaffolds.