💻 computer science

OpenJarvis: Personal AI, On Personal Devices

OpenJarvis introduce un'architettura di AI personale decomposta e tipizzata che sfrutta la ricerca di specifiche guidata da LLM per ottimizzare cinque primitive indipendenti, consentendo ai sistemi locali di raggiungere la precisione del cloud riducendo drasticamente costi e latenza delle API.

Autori originali: Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhosei

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhoseini

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente personale brillante e di livello mondiale che vive nel cloud. È incredibilmente intelligente, può risolvere problemi complessi e gestire i tuoi dati sensibili (come le tue email, il calendario e le cartelle cliniche) inviandoli a un enorme data center. Questo funziona bene, ma costa molto ogni mese, richiede una connessione internet e significa che stai affidando il tuo diario privato a uno sconosciuto da leggere.

Ora, immagina di voler che lo stesso assistente viva all'interno del tuo laptop o telefono. Vuoi che sia privato, privo di costi mensili e funzioni anche quando sei su un aereo senza Wi-Fi.

Il problema è che se prendi semplicemente il "cervello" dell'assistente cloud (un potente modello di intelligenza artificiale) e provi a eseguirlo sul tuo telefono, si blocca. È come cercare di montare un motore di una vettura da corsa di Formula 1 in una berlina compatta; l'auto non è stata costruita per quel motore. La sospensione, il sistema di alimentazione e lo sterzo dell'auto (lo stack software) sono tutti tarati per il motore più piccolo. Se sostituisci il motore senza cambiare il resto dell'auto, questa si smonta.

Questo è il problema centrale che il paper "OPENJARVIS" risolve.

Il Problema: Il Fallimento dello "Scambio del Motore"

I ricercatori hanno provato un esperimento semplice: hanno preso sistemi di IA personali esistenti (come OpenClaw o Hermes Agent) e hanno semplicemente sostituito il cervello cloud con uno locale (un modello di IA più piccolo che gira sul tuo dispositivo).

Il risultato? Il sistema è diventato terribile. L'accuratezza è calata del 25–39%.
Perché? Perché le "istruzioni", gli "strumenti" e le "impostazioni della memoria" erano stati scritti specificamente per il gigantesco cervello cloud. Quando metti un cervello locale, si confonde con le istruzioni che non era progettato a seguire.

La Soluzione: La "Mappa LEGO" (La Spec)

Gli autori hanno capito che non puoi semplicemente scambiare il cervello; devi ricostruire l'intera auto per adattarla al nuovo motore. Per fare questo, hanno creato OPENJARVIS.

Pensa a OPENJARVIS come a una mappa LEGO universale (chiamata "Spec"). Invece di un groviglio disordinato di codice, hanno scomposto il sistema di IA personale in cinque blocchi LEGO distinti e intercambiabili:

Intelligenza: Il cervello (il modello di IA).
Motore: Il motore e il cambio dell'auto (come il modello viene eseguito).
Agenti: La logica del pilota (come pensa e decide).
Strumenti e Memoria: La mappa e la cassetta degli attrezzi (come accede ai file e a internet).
Apprendimento: Il meccanico (come il sistema migliora se stesso).

Poiché questi sono blocchi separati, puoi scambiare il blocco "Intelligenza" con un modello locale e poi sintonizzare gli altri quattro blocchi per adattarli perfettamente. È come prendere un motore da corsa e regolare la sospensione, le gomme e la miscela di carburante specificamente per quel motore, invece di cercare di forzarlo in una berlina.

Il Trucco Magico: La Ricerca "Tutore e Studente"

Anche con i blocchi LEGO, un cervello locale è comunque meno intelligente di uno cloud. Come si fa a far sì che quello locale performi tanto bene quanto quello cloud?

Hanno inventato un metodo chiamato ricerca della spec guidata da LLM. Immagina una relazione Tutore-Studente:

Lo Studente: L'IA locale che gira sul tuo dispositivo.
Il Tutore: Un'IA cloud super-intelligente (come quelle per cui paghi).

Ecco come lavorano insieme:

Il Test: Lo Studente prova a svolgere un compito e fallisce.
La Diagnosi: Il Tutore guarda il fallimento e dice: "Ah, hai fallito perché non hai usato correttamente lo strumento calendario", oppure "Devi cambiare i tuoi passaggi di ragionamento".
La Modifica: Il Tutore non dà solo la risposta; riscrive la mappa LEGO. Potrebbe dire: "Cambia la descrizione dello strumento", "Regola le impostazioni della memoria" o "Modifica i parametri del cervello".
Il Guardiano: Una regola rigorosa verifica: "Ha questo cambiamento reso lo Studente migliore senza peggiorare le sue prestazioni in altre cose?". Se sì, il cambiamento è accettato. Se no, viene rifiutato.
Il Risultato: Lo Studente impara e migliora la sua mappa.

Crucialmente: Il Tutore aiuta solo durante la fase di "ricerca" (l'allestimento). Una volta perfezionata la mappa, lo Studente gira interamente sul tuo dispositivo senza alcuna chiamata al cloud. Il Tutore cloud scompare e ti rimane un assistente locale altamente ottimizzato, privato e sicuro.

I Risultati: Privato, Veloce ed Economico

Il paper ha testato questo su 8 diversi compiti del mondo reale (programmazione, ricerca, pianificazione, ecc.). Ecco cosa hanno scoperto:

Prestazioni: Gli assistenti locali ottimizzati hanno performato quasi tanto bene quanto quelli cloud costosi. Su 4 test su 8, la versione locale è stata effettivamente migliore o uguale. In media, erano solo 3,2% meno accurati del miglior modello cloud.
Costo: Poiché il modello locale gira sul tuo hardware, il costo per query è sceso di circa 800 volte. Smetti di pagare l'abbonamento mensile.
Velocità: La versione locale era 4 volte più veloce perché non doveva aspettare che i dati viaggiassero verso il cloud e ritorno.
Privacy: I tuoi dati non lasciano mai il tuo dispositivo durante l'uso normale.

Riepilogo

OPENJARVIS è un nuovo modo per costruire IA personali. Invece di forzare un'IA locale a funzionare come un'IA cloud, scompone il sistema in parti e utilizza un "Tutore" per ridisegnare quelle parti specificamente per l'hardware locale. Il risultato è un'IA personale che vive nella tua tasca, mantiene i tuoi segreti, costa quasi nulla da eseguire ed è quasi intelligente quanto i giganti cloud costosi.

Riepilogo Tecnico: OPENJARVIS – Una Pila AI Personale Decomposta e Ottimizzabile End-to-End

1. Enunciato del Problema

Le pile AI personali (ad esempio, OpenClaw, Hermes Agent) sono diventate centrali nei flussi di lavoro quotidiani, ma attualmente si affidano quasi esclusivamente a modelli all'avanguardia ospitati nel cloud. Questa architettura presenta quattro problemi critici:

Privacy: Le query spesso contengono dati locali sensibili instradati verso server di terze parti.
Costo: I costi ricorrenti delle API e degli abbonamenti ammontano a migliaia di dollari all'anno per gli utenti intensivi.
Dipendenza: Gli utenti non possiedono i modelli e richiedono una connettività di rete costante.
Energia: L'inferenza nel cloud consuma ordini di grandezza più energia per token rispetto all'esecuzione locale.

Sebbene l'hardware consumer supporti ora modelli a pesi aperti (1B–128B parametri) che rimangono indietro rispetto ai modelli all'avanguardia solo di 6–12 mesi nelle attività di AI personale, la semplice sostituzione di un modello locale in una pila esistente progettata per il cloud fallisce. Gli esperimenti dimostrano che sostituire un modello cloud (ad esempio, Claude Opus 4.6) con uno locale (ad esempio, Qwen3.5-9B) all'interno di framework come OpenClaw o Hermes Agent causa un calo di 25–39 punti percentuali (pp) nella precisione.

La causa radice è che le pile esistenti sono monolitiche: prompt degli agenti, descrizioni degli strumenti, configurazioni della memoria e impostazioni di runtime sono co-progettati e fusi per specifici modelli cloud. I metodi di ottimizzazione attuali (ad esempio, ottimizzatori di prompt come GEPA o DSPy) possono sintonizzare solo il primitivo del prompt, colmando meramente 5 pp del divario. Ottimizzare un singolo primitivo in isolamento non può affrontare il disallineamento in tutta la pila.

2. Metodologia: L'Architettura OPENJARVIS

Per consentire ai modelli locali di competere con i sistemi cloud, gli autori propongono OPENJARVIS, un'architettura che scompone i sistemi AI personali in cinque primitivi tipizzati, indipendentemente modificabili.

2.1 L'Astrazione della Specifica

OPENJARVIS rappresenta un sistema AI personale come una specifica tipizzata (spec) composta da cinque primitivi:

Intelligenza: L'architettura del modello linguistico, i pesi e i parametri di generazione.
Motore: Il runtime di inferenza, il percorso di esecuzione hardware, il batching e le impostazioni di quantizzazione.
Agenti: Il ciclo di ragionamento, i prompt e le politiche di utilizzo degli strumenti.
Strumenti e Memoria: Interfacce esterne, meccanismi di recupero e stato persistente dell'utente.
Apprendimento: L'ottimizzatore che aggiorna il sistema dai tracciati (ad esempio, LoRA, ottimizzatori di prompt o l'algoritmo di ricerca proposto).

Questa decomposizione permette di trattare l'intera pila come un singolo oggetto ottimizzabile, esponendo ogni componente come un grado di libertà.

2.2 Ricerca di Specifica Guidata da LLM

L'algoritmo di ottimizzazione centrale è la ricerca di specifica guidata da LLM, una collaborazione locale–cloud che ottimizza congiuntamente i quattro primitivi modificabili (Intelligenza, Motore, Agenti, Strumenti e Memoria) utilizzando il primitivo Apprendimento per guidare il processo.

Tempo di Ricerca (Cloud): Un modello cloud all'avanguardia (il "Docente") agisce come propositore riflessivo. Analizza i tracciati di esecuzione dalla specifica locale corrente, diagnostica i cluster di fallimento (ad esempio, "lo studente fallisce nelle ricerche di calendario multi-hop") e propone modifiche coordinate su più primitivi simultaneamente (ad esempio, riscrivendo una descrizione dello strumento e regolando una impostazione di runtime).
Tempo di Inferenza (Locale): La specifica ottimizzata risultante viene eseguita interamente sul dispositivo. Il modello cloud non è coinvolto nell'inferenza.
Il Gate: Per prevenire il degrado, un meccanismo "gate" accetta una modifica solo se migliora le prestazioni su un specifico cluster di fallimento senza causare regressioni inaccettabili (definite da una tolleranza $\epsilon$ ) su altri cluster.
Ottimizzazione Congiunta: A differenza degli ottimizzatori a singolo primitivo, questo metodo permette a una singola modifica di abbracciare più primitivi, catturando effetti accoppiati (ad esempio, aggiornare i pesi del modello per adattarsi a una nuova struttura di prompt).

3. Contributi Chiave

Architettura OPENJARVIS: Un nuovo framework che scompone l'AI personale in cinque primitivi tipizzati, rendendo la pila ottimizzabile end-to-end e misurabile rispetto a precisione, costo e latenza.
Ricerca di Specifica Guidata da LLM: Un algoritmo di ricerca che sfrutta modelli cloud all'avanguardia per proporre modifiche alle specifiche locali al momento della ricerca, colmando il divario di precisione locale–cloud di 13–32 pp a un costo di ottimizzazione 7–11 volte inferiore rispetto alle baseline a singolo primitivo.
Configurazioni Locali Pareto-Otimali: Evidenza empirica che mostra che le specifiche ottimizzate sul dispositivo possono eguagliare o superare la precisione del cloud su 4 dei 8 benchmark, riducendo i costi marginali delle API di ~800 volte e la latenza end-to-end di 4 volte.
Analisi Completa: Uno studio di ablazione che dimostra che i guadagni derivano sia dal propositore (diagnosi LLM vs. ricerca evolutiva/casuale) sia dallo spazio di movimento (ottimizzare tutti e quattro i primitivi vs. solo uno).

4. Risultati Sperimentali

Gli autori hanno valutato OPENJARVIS su 8 benchmark (inclusi PinchBench, GAIA, LiveCodeBench e DeepResearchBench), 11 modelli locali provenienti da 4 famiglie e 7 piattaforme hardware.

Recupero della Portabilità: Sostituire semplicemente un modello locale in un framework cloud fa calare la precisione di 24–39 pp. Utilizzando la specifica OPENJARVIS con lo stesso modello locale si recupera il 56–77% di questo calo, riducendo il divario residuo a 5,6–16,5 pp.
Precisione vs. Cloud: La migliore singola specifica sul dispositivo (Qwen3.5-122B) raggiunge una precisione media dell'80,3%, entro 3,2 pp dalla migliore baseline cloud (Claude Opus 4.6 all'83,5%). Su 4 dei 8 benchmark, il miglior modello locale eguaglia o supera le prestazioni cloud.
Guadagni di Efficienza: Le configurazioni locali offrono una riduzione di ~800 volte nel costo marginale delle API e una riduzione di 4 volte nella latenza end-to-end rispetto alle baseline cloud.
Efficacia della Ricerca:
- La ricerca di specifica guidata da LLM ha migliorato i modelli locali di 13–32 pp attraverso i benchmark.
- Espandere l'insieme modificabile da solo i prompt a tutti e quattro i primitivi ha aggiunto 5,5–16,5 pp.
- Utilizzare un docente LLM per diagnosticare i fallimenti ha aggiunto 10,0 pp rispetto alla ricerca evolutiva a parità di spazio di movimento.
- Le modifiche accettate sono state distribuite su tutti i primitivi: Intelligenza (16–44%), Agenti, Strumenti e Motore, confermando che nessun singolo componente domina l'ottimizzazione.

5. Significato e Affermazioni

Il documento afferma che l'AI personale locale richiede più della semplice sostituzione del modello; richiede una pila portatile, misurabile e ottimizzabile. OPENJARVIS dimostra che:

La Parità Locale-Cloud è Raggiungibile: Con la giusta architettura, i sistemi sul dispositivo possono avvicinarsi alle prestazioni cloud all'avanguardia senza rinunciare alle proprietà locali (privacy, costo, proprietà).
La Decomposizione è Fondamentale: Il divario di prestazioni è architetturale, non solo limitato dalle capacità. Esponendo le assunzioni delle pile progettate per il cloud come primitivi modificabili, i modelli locali possono essere riconfigurati per adattarsi ai loro punti di forza.
La Ricerca Ibrida è Efficiente: Utilizzare modelli cloud solo per la fase di ricerca (diagnosi e proposta) ed eseguire la specifica ottimizzata localmente al momento dell'inferenza trasferisce le capacità all'avanguardia ai dispositivi locali senza dipendenza persistente dal cloud.

Gli autori sottolineano che le specifiche locali risultanti fanno zero chiamate al cloud al momento dell'inferenza. Sebbene la fase di ricerca comporti un costo una tantum (ammortizzato a <0,001 $/query dopo sei mesi di utilizzo), il modello operativo passa da un abbonamento cloud ricorrente a un'ottimizzazione una tantum seguita da esecuzione locale.

Limitazioni notate dagli autori:

La precisione statistica è limitata da 5 esecuzioni indipendenti per configurazione.
Un potenziale bias del giudice LLM (utilizzo di GPT-5-mini) potrebbe favorire output della famiglia GPT.
La valutazione è attualmente limitata a distribuzioni su singola macchina.
Alcune baseline cloud hanno mostrato punteggi inaspettatamente bassi a causa di problemi di integrazione degli strumenti nell'ambiente di valutazione.