💻 computer science

OpenJarvis: Personal AI, On Personal Devices

OpenJarvis introduceert een gedecomponeerde, getypeerde persoonlijke AI-architectuur die gebruikmaakt van door LLM-gestuurde specificatiezoekopdrachten om vijf onafhankelijke primitieven te optimaliseren, waardoor on-device systemen cloudniveau-accuraatheid kunnen bereiken terwijl API-kosten en latentie drastisch worden gereduceerd.

Oorspronkelijke auteurs: Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhosei

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhoseini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, wereldklasse persoonlijke assistent hebt die in de cloud leeft. Ze is ongelooflijk slim, kan complexe problemen oplossen en verwerkt je gevoelige gegevens (zoals je e-mails, agenda en medische dossiers) door ze naar een enorme serverfarm te sturen. Dit werkt goed, maar het kost elke maand veel geld, vereist een internetverbinding en betekent dat je je privé dagboek uit handen geeft aan een vreemde om te lezen.

Nu, stel je voor dat je diezelfde assistent binnenin je eigen laptop of telefoon wilt hebben. Je wilt dat ze privé is, vrij van maandelijkse kosten, en werkt zelfs als je in een vliegtuig zit zonder Wi-Fi.

Het probleem is dat als je gewoon de "hersenen" van de cloud-assistent (een krachtig AI-model) neemt en probeert dit op je telefoon te draaien, het crasht. Het is alsof je probeert een Formule 1-racewagenmotor in een compacte sedan te rijden; de auto is niet gebouwd voor die motor. De ophanging, het brandstofsysteem en de stuurbekrachtiging van de auto (de softwarestack) zijn allemaal afgestemd op de kleinere motor. Als je de motor verwisselt zonder de rest van de auto aan te passen, valt het uit elkaar.

Dit is het kernprobleem dat het artikel "OPENJARVIS" oplost.

Het Probleem: De "Motorvervanging" Faalt

De onderzoekers deden een eenvoudig experiment: ze namen bestaande persoonlijke AI-systemen (zoals OpenClaw of Hermes Agent) en verwisselden simpelweg de cloud-hersenen voor een lokale (een kleiner AI-model dat op je apparaat draait).

Het resultaat? Het systeem werd vreselijk. De nauwkeurigheid daalde met 25–39%.
Waarom? Omdat de "instructies", "tools" en "geheugenvoorkeuren" allemaal specifiek waren geschreven voor de gigantische cloud-hersenen. Als je een lokale hersenen erin stopt, raakt deze in de war door instructies die hij niet ontworpen was om te volgen.

De Oplossing: De "LEGO-blaauwdruk" (De Spec)

De auteurs realiseerden zich dat je niet zomaar de hersenen kunt verwisselen; je moet de hele auto herbouwen om te passen bij de nieuwe motor. Om dit te doen, creëerden ze OPENJARVIS.

Denk aan OPENJARVIS als een universele LEGO-blaauwdruk (een "Spec"). In plaats van een rommelige, verwarde knoop van code, splitsten ze het persoonlijke AI-systeem op in vijf aparte, uitwisselbare LEGO-blokken:

Intelligentie: De hersenen (het AI-model).
Motor: De motor en transmissie van de auto (hoe het model draait).
Agents: De logica van de bestuurder (hoe het denkt en besluit).
Tools & Geheugen: De kaart en gereedschapskist (hoe het bestanden en internet benadert).
Leren: De monteur (hoe het systeem zichzelf verbetert).

Omdat dit aparte blokken zijn, kun je het "Intelligentie"-blok vervangen door een lokaal model en vervolgens de andere vier blokken afstemmen om perfect bij het te passen. Het is alsof je een racewagenmotor neemt en de ophanging, banden en brandstofmix specifiek voor die motor aanpast, in plaats van te proberen hem in een sedan te forceren.

De Magische Truc: De "Tutor en Student"-Zoektocht

Zelfs met de LEGO-blokken is een lokale hersenen nog steeds minder slim dan een cloud-hersenen. Hoe zorg je ervoor dat de lokale presteert even goed als de cloud?

Ze bedachten een methode genaamd LLM-geleide spec-zoektocht. Stel je een Tutor-Student-relatie voor:

De Student: De lokale AI die op je apparaat draait.
De Tutor: Een super-slimme cloud-AI (zoals die waarvoor je betaalt).

Zo werken ze samen:

De Test: De Student probeert een taak te doen en faalt.
De Diagnose: De Tutor kijkt naar het falen en zegt: "Ah, je faalde omdat je de agenda-tool niet correct gebruikte," of "Je moet je redeneerstappen aanpassen."
De Bewerking: De Tutor geeft niet zomaar het antwoord; hij herschrijft de LEGO-blaauwdruk. Hij kan zeggen: "Verander de toolbeschrijving," "Pas de geheugenvoorkeuren aan," of "Twee de parameters van de hersenen."
De Poortwachter: Een strikte regel controleert: "Heeft deze verandering de Student beter gemaakt zonder hem ergens anders slechter te maken?" Zo ja, dan wordt de verandering geaccepteerd. Zo nee, dan wordt hij afgewezen.
Het Resultaat: De Student leert en verbetert zijn blaauwdruk.

Cruciaal: De Tutor helpt alleen tijdens de "zoektocht"-fase (de opzet). Zodra de blaauwdruk is geperfectioneerd, draait de Student volledig op je apparaat zonder enige cloud-aanroep. De cloud-Tutor verdwijnt en je blijft over met een geoptimaliseerde, privé, lokale assistent.

De Resultaten: Privé, Snel en Goedkoop

Het artikel testte dit op 8 verschillende real-world taken (coderen, onderzoek, plannen, enz.). Dit was wat ze vonden:

Prestatie: De geoptimaliseerde lokale assistenten presteerden bijna even goed als de dure cloud-versies. Bij 4 van de 8 tests was de lokale versie zelfs beter of gelijk. Gemiddeld waren ze slechts 3,2% minder nauwkeurig dan het beste cloud-model.
Kosten: Omdat het lokale model op je eigen hardware draait, daalden de kosten per vraag met ongeveer 800 keer. Je stopt met het betalen van het maandelijkse abonnement.
Snelheid: De lokale versie was 4 keer sneller omdat het niet hoefde te wachten tot data naar de cloud en terug reisde.
Privacy: Je gegevens verlaten je apparaat tijdens normaal gebruik nooit.

Samenvatting

OPENJARVIS is een nieuwe manier om persoonlijke AI te bouwen. In plaats van een lokale AI te dwingen te werken als een cloud-AI, splitst het het systeem op in onderdelen en gebruikt het een "Tutor" om die onderdelen specifiek voor de lokale hardware te herontwerpen. Het resultaat is een persoonlijke AI die in je zak past, je geheimen bewaakt, bijna niets kost om te draaien en bijna net zo slim is als de dure cloud-reuzen.

Technische Samenvatting: OPENJARVIS – Een Gedecomposeerde, End-to-End Optimaliseerbare Persoonlijke AI-Stack

1. Probleemstelling

Persoonlijke AI-stacks (bijv. OpenClaw, Hermes Agent) zijn centraal komen te staan in dagelijkse workflows, maar vertrouwen momenteel bijna uitsluitend op in de cloud gehoste frontier-modellen. Deze architectuur presenteert vier kritieke problemen:

Privacy: Queries bevatten vaak gevoelige lokale data die naar servers van derden worden gestuurd.
Kosten: Terugkerende API- en abonnementskosten lopen voor zware gebruikers op tot duizenden dollars per jaar.
Afhankelijkheid: Gebruikers hebben geen eigendom van de modellen en vereisen constante netwerkconnectiviteit.
Energie: Cloud-inferentie verbruikt per token een orde van grootte meer energie dan lokale uitvoering.

Hoewel consumenthardware nu open-gewicht modellen ondersteunt (1B–128B parameters) die bij persoonlijke AI-taken slechts 6–12 maanden achterlopen op frontier-modellen, faalt het simpelweg een lokaal model te substitueren in een bestaande, voor de cloud ontworpen stack. Experimenten tonen aan dat het vervangen van een cloudmodel (bijv. Claude Opus 4.6) door een lokaal model (bijv. Qwen3.5-9B) binnen frameworks zoals OpenClaw of Hermes Agent leidt tot een daling van 25–39 procentpunten (pp) in nauwkeurigheid.

De oorzaak is dat bestaande stacks monolithisch zijn: agent-prompten, tool-beschrijvingen, geheugenconfiguraties en runtime-instellingen zijn co-ontworpen en gefuseerd voor specifieke cloud-modellen. Huidige optimalisatiemethoden (bijv. prompt-optimalisators zoals GEPA of DSPy) kunnen slechts de primitieve prompt afstemmen, waardoor slechts 5 pp van de kloof wordt gedicht. Het optimaliseren van een enkele primitief in isolatie kan de misalignering in de hele stack niet aanpakken.

2. Methodologie: De OPENJARVIS Architectuur

Om lokale modellen in staat te stellen te concurreren met cloudsystemen, stellen de auteurs OPENJARVIS voor, een architectuur die persoonlijke AI-systemen decomposeert in vijf getypeerde, onafhankelijk bewerkbare primitieven.

2.1 De Spec-abstractie

OPENJARVIS stelt een persoonlijk AI-systeem voor als een getypeerde specificatie (spec) bestaande uit vijf primitieven:

Intelligentie: De taalmodelarchitectuur, gewichten en generatieparameters.
Engine: De inferentieruntime, hardware-uitvoeringspad, batching en kwantisatie-instellingen.
Agents: De redeneerlus, prompten en tool-gebruiksbeleid.
Tools & Geheugen: Externe interfaces, ophaalmechanismen en persistente gebruikersstatus.
Leren: De optimalisator die het systeem bijwerkt op basis van traces (bijv. LoRA, prompt-optimalisators of het voorgestelde zoekalgoritme).

Deze decompositie maakt het mogelijk om de hele stack te behandelen als een enkel optimaliseerbaar object, waarbij elke component wordt blootgelegd als een vrijheidsgraad.

2.2 LLM-geleide Spec-zoektocht

Het kernoptimalisatiealgoritme is LLM-geleide spec-zoektocht, een lokale–cloud-samenwerking die gezamenlijk de vier bewerkbare primitieven (Intelligentie, Engine, Agents, Tools & Geheugen) optimaliseert, terwijl de Leren-primitief wordt gebruikt om het proces aan te sturen.

Zoektijd (Cloud): Een frontier-cloudmodel (de "Leraar") fungeert als een reflecterend voorsteler. Het analyseert uitvoeringstraces van de huidige lokale spec, diagnoseert falingsclusters (bijv. "student faalt bij multi-hop agenda-opzoeking") en stelt gecoördineerde bewerkingen voor over meerdere primitieven tegelijk (bijv. het herschrijven van een tool-beschrijving en het aanpassen van een runtime-instelling).
Inferentietijd (Lokaal): De resulterende geoptimaliseerde spec draait volledig op het apparaat. Het cloudmodel is niet betrokken bij de inferentie.
De Poort: Om degradatie te voorkomen, accepteert een "poort"-mechanisme een bewerking alleen als deze de prestaties verbetert op een specifieke falingscluster zonder onaanvaardbare regressies (gedefinieerd door een tolerantie $\epsilon$ ) op andere clusters te veroorzaken.
Gezamenlijke Optimalisatie: In tegenstelling tot optimalisators voor één primitief, staat deze methode toe dat een enkele bewerking meerdere primitieven beslaat, waardoor gekoppelde effecten worden vastgelegd (bijv. het updaten van modelgewichten om te matchen met een nieuwe promptstructuur).

3. Belangrijkste Bijdragen

OPENJARVIS Architectuur: Een nieuw raamwerk dat persoonlijke AI decomposeert in vijf getypeerde primitieven, waardoor de stack end-to-end optimaliseerbaar en meetbaar wordt tegen nauwkeurigheid, kosten en latentie.
LLM-geleide Spec-zoektocht: Een zoekalgoritme dat frontier-cloud-modellen benut om bewerkingen voor te stellen aan lokale specs tijdens de zoektijd, waardoor de lokale–cloud-nauwkeurigheidskloof wordt gedicht met 13–32 pp bij 7–11× lagere optimalisatiekosten dan baselines voor één primitief.
Pareto-optimale Lokale Configuraties: Empirisch bewijs dat geoptimaliseerde on-device specs op 4 van de 8 benchmarks de cloudnauwkeurigheid kunnen evenaren of overtreffen, terwijl de marginale API-kosten met ~800× worden gereduceerd en de end-to-end latentie met 4×.
Uitgebreide Analyse: Een ablatiestudie die aantoont dat de winst voortkomt uit zowel de voorsteler (LLM-diagnose versus evolutionaire/willekeurige zoektocht) als de beweegruimte (het optimaliseren van alle vier primitieven versus slechts één).

4. Experimentele Resultaten

De auteurs hebben OPENJARVIS geëvalueerd over 8 benchmarks (waaronder PinchBench, GAIA, LiveCodeBench en DeepResearchBench), 11 lokale modellen uit 4 families en 7 hardwareplatforms.

Herstel van Draagbaarheid: Het simpelweg vervangen van een lokaal model in een cloudframework laat de nauwkeurigheid met 24–39 pp dalen. Het gebruik van de OPENJARVIS-spec met hetzelfde lokale model herstelt 56–77% van deze daling, waardoor de resterende kloof wordt gereduceerd tot 5,6–16,5 pp.
Nauwkeurigheid versus Cloud: De beste enkele on-device spec (Qwen3.5-122B) bereikt 80,3% gemiddelde nauwkeurigheid, binnen 3,2 pp van de beste cloudbaseline (Claude Opus 4.6 op 83,5%). Op 4 van de 8 benchmarks evenaart of overtreft het beste lokale model de cloudprestaties.
Efficiëntiewinst: Lokale configuraties bieden een ~800× reductie in marginale API-kosten en een 4× reductie in end-to-end latentie ten opzichte van cloudbaselines.
Effectiviteit van Zoeken:
- LLM-geleide spec-zoektocht verbeterde lokale modellen met 13–32 pp over benchmarks.
- Het uitbreiden van de bewerkbare set van alleen prompten naar alle vier primitieven voegde 5,5–16,5 pp toe.
- Het gebruik van een LLM-leraar om falen te diagnosticeren voegde 10,0 pp toe ten opzichte van evolutionaire zoektocht bij dezelfde beweegruimte.
- Geaccepteerde bewerkingen waren verdeeld over alle primitieven: Intelligentie (16–44%), Agents, Tools en Engine, wat bevestigt dat geen enkele component de optimalisatie domineert.

5. Betekenis en Claims

Het paper stelt dat lokale persoonlijke AI meer vereist dan alleen modelsubstitutie; het vereist een draagbare, meetbare en optimaliseerbare stack. OPENJARVIS demonstreert dat:

Lokaal-Cloud Pariteit Bereikbaar is: Met de juiste architectuur kunnen on-device systemen frontier-cloudprestaties benaderen zonder lokale eigenschappen (privacy, kosten, eigendom) op te geven.
Decompositie is Sleutel: De prestatiekloof is architecturaal, niet alleen vermogensgebonden. Door de aannames van voor de cloud ontworpen stacks bloot te leggen als bewerkbare primitieven, kunnen lokale modellen opnieuw worden geconfigureerd om hun sterktes te matchen.
Hybride Zoeken is Efficiënt: Het gebruik van cloudmodellen alleen voor de zoek fase (diagnose en voorstel) en het draaien van de geoptimaliseerde spec lokaal tijdens de inferentie fase, verplaatst frontier-vaardigheden naar lokale apparaten zonder persistente cloudafhankelijkheid.

De auteurs benadrukken dat de resulterende lokale specs geen enkele cloudoproep doen tijdens de inferentietijd. Hoewel de zoekfase een eenmalige kostenpost met zich meebrengt (geamortiseerd naar <$0,001/query na zes maanden gebruik), verschuift het operationele model van een terugkerende cloudabonnement naar een eenmalige optimalisatie gevolgd door lokale uitvoering.

Beperkingen opgemerkt door de auteurs:

Statistische precisie is beperkt door 5 onafhankelijke runs per configuratie.
Potentiële LLM-rechterbias (gebruik van GPT-5-mini) kan GPT-familie-outputs begunstigen.
Evaluatie is momenteel beperkt tot single-machine implementaties.
Sommige cloudbaselines vertoonden onverwacht lage scores door tool-integratieproblemen in de evaluatieharnas.