Phoenix-VL 1.5 Medium Technical Report
Phoenix-VL 1.5 Medium è un modello fondazionale nativamente multimodale e multilingue con 123 miliardi di parametri, specificamente adattato al contesto di Singapore attraverso un preaddestramento e un allineamento localizzati estesi, che ottiene prestazioni all'avanguardia su benchmark regionali mantenendo al contempo competitività globale nell'intelligenza generale.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
L'idea di fondo: Un "super-cervello" da "esperto locale"
Immagina di avere un professore brillante, viaggiato in tutto il mondo, che sa tutto su scienza, matematica e storia globale. Questo è il modello Mistral Medium 3.1 con cui i ricercatori hanno iniziato. È incredibilmente intelligente, ma se gli chiedi di una legge specifica di Singapore o del nome di un parco giochi famoso nel quartiere di Toa Payoh, potrebbe sbagliare a indovinare o dare una risposta generica.
Phoenix-VL 1.5 Medium è ciò che succede quando prendi quel professore viaggiato e lo mandi a un rigoroso "Bootcamp di Immersione Singapore" di 12 mesi. L'obiettivo era creare un'IA Sovrana—un cervello digitale che appartiene a Singapore, ne comprende la cultura e le leggi uniche, e può lavorare in sicurezza senza dover consultare internet (come un sistema "air-gapped" che non parla con il mondo esterno).
La ricetta dell'addestramento: Come l'hanno fatto
I ricercatori non hanno semplicemente scaricato un mucchio di libri sul modello. Hanno usato una specifica ricetta di cottura in quattro passaggi per cuocere questa nuova IA:
Il livello base (Pre-addestramento continuato):
Pensa a questo come a nutrire il modello con una biblioteca massiccia e specializzata. Gli hanno fornito 1 trilione di token (un token è come una parola o una parte di parola) di dati. Non si trattava di testo internet casuale; era un mix curato, pesante su leggi singaporeane, lingue regionali (come malese, tamil e cinese) e cultura locale.- L'analogia: Immagina il professore che legge ogni giornale singaporeano, la gazzetta governativa e ogni romanzo locale per un anno, mantenendo intatte le sue conoscenze globali.
L'estensione della lettura lunga (Contesto lungo):
Hanno insegnato al modello a ricordare enormi quantità di informazioni tutte insieme. Hanno esteso la sua "memoria a breve termine" per contenere 131.072 token (circa le dimensioni di un romanzo spesso).- L'analogia: Il professore può ora leggere un intero documento legale di 500 pagine in una sola seduta e ricordare i dettagli dalla pagina 1 quando arriva alla pagina 400, senza dimenticare l'inizio.
Il perfezionamento (Addestramento per istruzioni e dominio):
È qui che il modello ha imparato come comportarsi. Gli hanno mostrato esempi specifici su come rispondere a domande sulle politiche governative singaporeane e come descrivere scene locali (come un "Parco giochi del Drago di Toa Payoh" invece di un semplice "parco giochi" generico).- L'analogia: Il professore sta ora seguendo un corso di "Servizio Clienti ed Etichetta Locale". Ha imparato che quando un singaporeano chiede informazioni su una legge, ha bisogno di una risposta precisa, non di un vago indovinello. Ha anche imparato a guardare foto di punti di riferimento locali e a descriverli con precisione.
La rifinitura (Ottimizzazione diretta delle preferenze online):
Infine, insegnanti umani hanno revisionato le risposte del modello e le hanno classificate. Se il modello era troppo chiacchierone, allucinava (inventava cose) o era scortese, gli insegnanti lo correggevano.- L'analogia: Una "prova generale" finale dove il professore si esercita a rispondere alle domande e una giuria di giudici gli fornisce feedback per assicurarsi che sia utile, onesto e sicuro prima di salire sul palco.
Cosa lo rende speciale?
Il documento evidenzia tre superpoteri principali di questo nuovo modello:
- È una leggenda locale: Nei test specificamente progettati per Singapore (come conoscere i nomi di tutti i 16 ministeri governativi o comprendere le leggi locali sulla sicurezza), Phoenix-VL 1.5 Medium ha battuto modelli molto più grandi e famosi.
- Il risultato: Ha ottenuto punteggi più alti rispetto a modelli con 400 miliardi di parametri (come Llama 4 Maverick) nelle conoscenze locali. Questo dimostra che un addestramento locale approfondito è più importante del semplice avere un cervello più grande.
- Non ha dimenticato il mondo: Una paura comune è che insegnare a un modello un argomento specifico lo faccia dimenticare tutto il resto. Il documento afferma che Phoenix-VL 1.5 Medium ha mantenuto la sua intelligenza generale. È ancora eccellente in matematica, programmazione e ragionamento generale, tanto quanto gli altri modelli di fascia alta.
- Vede e comprende: A differenza dei modelli più vecchi che leggevano solo testo, questo è "multimodale". Può guardare un'immagine di una scena stradale singaporeana o di un grafico complesso e spiegarla nel contesto locale.
Sicurezza: Il filtro "Onestà"
I ricercatori hanno costruito un quadro di sicurezza speciale su misura per le regole di Singapore.
- La regola "Non inventare cose": In contesti legali o governativi, inventare un fatto è pericoloso. Il modello è stato addestrato a dire "Non lo so" invece di indovinare.
- La regola "Nessun attore malintenzionato": Il modello è resistente ai "jailbreak" (trucchi che le persone usano per far fare cose cattive all'IA) e non rilascerà le sue istruzioni segrete.
- L'analogia: Pensaci come a un funzionario pubblico molto disciplinato che sa esattamente cosa gli è permesso dire e cosa deve rifiutarsi di rispondere, assicurandosi di non violare mai accidentalmente la legge o diffondere disinformazione.
La conclusione
Phoenix-VL 1.5 Medium è un modello di IA con 123 miliardi di parametri che dimostra che non serve il modello più grande al mondo per essere il più intelligente esperto locale. Curando attentamente i dati e addestrando specificamente per le leggi, le lingue e la cultura uniche di Singapore, i creatori hanno costruito un modello che è:
- Profondamente informato su Singapore (meglio dei giganti).
- Competitivo a livello globale nell'intelligenza generale.
- Sicuro e protetto per l'uso nei settori pubblico e privato senza bisogno di internet.
È un "asset sovrano", il che significa che è uno strumento digitale costruito specificamente per le esigenze di Singapore, di proprietà e controllato dalla nazione.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.