OliveGemma: A 3 Billion Visual Language Model for Recognising the Mediterranean & European Diet

Immaginate un mondo in cui il vostro telefono potesse guardare una foto del vostro pranzo e sapere istantaneamente esattamente cosa avete mangiato, fino alle erbe specifiche nella salsa. Questo non è solo un trucco da festa divertente; è una potenziale rivoluzione per il modo in cui monitoriamo la nostra salute. Per decenni, gli scienziati hanno cercato di insegnare ai computer a riconoscere il cibo, ma è un lavoro notoriamente complicato. Pensatelo come cercare di smistare un mucchio di gemelli dall'aspetto identico: una pizza con extra formaggio sembra quasi uguale a una con meno formaggio, e un "insalata greca" in un paese potrebbe apparire totalmente diversa da un'altra "insalata greca" in un altro. I programmi informatici tradizionali, che sono come rigorosi seguaci di regole, spesso si confondono davanti a queste piccole differenze. Tuttavia, un nuovo tipo di tecnologia chiamato "Modello Visione-Linguaggio" (VLM) sta cambiando le regole del gioco. Invece di limitarsi a memorizzare immagini, questi modelli sono come studenti super intelligenti che hanno letto milioni di libri sul cibo e guardato milioni di foto. Possono capire che un piatto è una "pizza" non solo per la sua forma rotonda, ma perché comprendono il concetto di impasto, formaggio e salsa di pomodoro che lavorano insieme. Questo articolo approfondisce se possiamo insegnare a uno di questi studenti intelligenti come diventare un esperto di classe mondiale della cucina mediterranea ed europea senza bisogno di un supercomputer grande come una casa.

Entra in scena OliveGemma, un nuovo esperto specializzato nel riconoscimento del cibo creato dai ricercatori dell'Università di Ioannina. Potete pensare a OliveGemma come a un piccolo cervello super efficiente costruito su una massiccia base open-source chiamata PaliGemma-2-3B. Mentre il cervello originale ha circa 3 miliardi di "neuroni" (parametri), i ricercatori non volevano riaddestrare l'intera struttura — sarebbe come cercare di riscrivere un'intera enciclopedia solo per aggiornare la ricetta della lasagna. Inveve, hanno usato un trucco astuto chiamato LoRA (Low-Rank Adaptation). Immaginate che il grande cervello sia una gigantesca biblioteca, e LoRA sia un piccolo blocchetto di post-it che i ricercatori attaccano agli scaffali. Loro scrivono solo nuove note su questo blocchetto, insegnando alla biblioteca come riconoscere piatti specifici come l' "insalata greca" o il "tiramisù" senza cambiare i libri originali.

Il team ha addestrato questo cervello "a post-it" su una vasta collezione di 17.340 foto di cibo mediterraneo ed europeo, che hanno pulito e organizzato in 216 categorie specifiche. Non si sono limitati a chiedere "Cos'è questo?"; hanno insegnato a ragionare. Hanno posto domande come: "Quali ingredienti sono probabilmente presenti in questo?" e "Quali indizi visivi ti dicono che questa è una pizza e non un pane piatto?". Il risultato è un modello incredibilmente piccolo e leggero — di soli 90 megabyte circa. È così piccolo che può girare su un normale computer con un processore standard e 16 GB di RAM, il che significa che non deve inviare le foto del vostro cibo a un enorme server nel cloud per funzionare. Questo è un grande passo avanti per la privacy, specialmente negli ospedali dove i dati dei pazienti devono rimanere sicuri.

Quando i ricercatori hanno messo alla prova OliveGemma, i risultati sono stati sorprendentemente potenti. In una competizione testa a testa contro i migliori programmi tradizionali di riconoscimento delle immagini (chiamati CNN), OliveGemma ha vinto, raggiungendo un tasso di accuratezza del 92,96% nell'identificare il piatto corretto. Questo è un miglioramento del 7,31% rispetto al più forte concorrente tradizionale. Ma la vera sorpresa è arrivata quando hanno confrontato OliveGima con i "giganti" del mondo dell'IA: i massicci modelli proprietari di Google (Gemini), OpenAI (GPT) e Anthropic (Claude). Anche se quei giganti sono molto più grandi e hanno visto l'intero internet, hanno faticato quando gli è stato chiesto di scegliere tra lo stesso elenco specifico di 216 piatti. OliveGemma li ha battuti con un margine enorme, superando il migliore di loro di circa il 18% e alcuni fino al 64%.

L'articolo suggerisce che ciò accada perché i modelli giganti sono troppo generici; sono come medici di medicina generale che sanno un po' di tutto ma non sono esperti in un campo specifico. OliveGemma, al contrario, è uno specialista. È stato perfezionato specificamente per comprendere le sottili differenze tra piatti mediterranei simili. Inoltre, OliveGemma non si è limitato a indovinare il nome del piatto; poteva anche elencare gli ingredienti probabili con un'altissima precisione, azzeccando l'elenco esatto circa il 90,79% delle volte. Poteva dirvi che un "tiramisù" ha mascarpone e pan di Spagna inzuppato nel caffè, e persino indovinare gli ingredienti nascosti come i tuorli d'uovo e il Marsala, anche se non potevate vederli nella foto.

Gli autori sottolineano con cautela che, sebbene questo sia un passo avanti significativo, non è una bacchetta magica che risolve ogni problema alimentare. Il modello è attualmente limitato ai 216 piatti europei e mediterranei per cui è stato addestrato; non saprebbe identificare un tipo specifico di tagliolino dell'Asia Centrale. Tuttavia, lo studio suggerisce fortemente che non serve un supercomputer da miliardi di dollari basato sul cloud per ottenere risultati di alto livello in campi specializzati. Usando un piccolo modello open-source e insegnandogli nel modo giusto con pochi milioni di parametri, i ricercatori possono creare strumenti che siano non solo più accurati, ma anche privati, riproducibili e accessibili a chiunque con un computer standard. OliveGemma dimostra che, a volte, un piccolo specialista ben addestrato batte un gigante generalista ogni singola volta.