OliveGemma: A 3 Billion Visual Language Model for Recognising the Mediterranean & European Diet

Imagina un mundo en el que tu teléfono pudiera mirar la foto de tu almuerzo y saber instantáneamente qué comiste exactamente, hasta las hierbas específicas de la salsa. Esto no es solo un truco genial para una fiesta; es una revolución potencial para cómo rastreamos nuestra salud. Durante décadas, los científicos han intentado enseñar a las computadoras a reconocer la comida, pero es un trabajo notablemente desordenado. Piensa en ello como intentar clasificar un montón de gemelos con apariencia idéntica: una pizza con queso extra se ve casi igual a una con menos, y una "ensalada griega" en un país puede verse totalmente diferente de una "ensalada griega" en otro. Los programas informáticos tradicionales, que son como seguidores de reglas rígidas, a menudo se confunden con estas pequeñas diferencias. Sin embargo, un nuevo tipo de tecnología llamada "Modelo de Visión y Lenguaje" (VLM, por sus siglas en inglés) está cambiando las reglas del juego. En lugar de solo memorizar imágenes, estos modelos son como estudiantes superinteligentes que han leído millones de libros sobre comida y han visto millones de fotos. Pueden entender que un plato es "pizza" no solo por la forma redonda, sino porque comprenden el concepto de masa, queso y salsa de tomate trabajando juntos. Este artículo profundiza en si podemos enseñar a uno de estos estudiantes inteligentes a convertirse en un experto de clase mundial en la cocina mediterránea y europea sin necesidad de una supercomputadora del tamaño de una casa.

Presentamos OliveGemma, un nuevo experto especializado en el reconocimiento de alimentos creado por investigadores de la Universidad de Ioannina. Puedes pensar en OliveGemma como un cerebro pequeño y supereficiente construido sobre una base masiva y de código abierto llamada PaliGemma-2-3B. Mientras que el cerebro original tiene alrededor de 3 mil millones de "neuronas" (parámetros), los investigadores no querían reentrenar todo el conjunto —eso sería como intentar reescribir una enciclopedia entera solo para actualizar la receta de la lasaña. En su lugar, utilizaron un truco ingenioso llamado LoRA (Adaptación de Bajo Rango). Imagina que el gran cerebro es una biblioteca gigante, y LoRA es un pequeño bloc de notas adhesivas que los investigadores pegan a los estantes. Solo escriben notas nuevas en este bloc, enseñando a la biblioteca cómo reconocer platos específicos como "ensalada griega" o "tiramisú" sin cambiar los libros originales.

El equipo entrenó este cerebro de "notas adhesivas" en una colección masiva de 17,340 fotos de comida mediterránea y europea, que limpiaron y organizaron en 216 categorías específicas. No solo le preguntaron "¿Qué es esto?"; le enseñaron a razonar. Le hicieron preguntas como: "¿Qué ingredientes es probable que tenga esto?" y "¿Qué pistas visuales te dicen que esto es una pizza y no un pan plano?". El resultado es un modelo increíblemente pequeño y ligero —de solo unos 90 megabytes de tamaño. Esto es tan pequeño que puede ejecutarse en una computadora regular con un procesador estándar y 16 GB de RAM, lo que significa que no necesita enviar las fotos de tu comida a un servidor gigante en la nube para funcionar. Esto es algo muy importante para la privacidad, especialmente en hospitales donde los datos de los pacientes deben mantenerse seguros.

Cuando los investigadores pusieron a prueba a OliveGemma, los resultados fueron sorprendentemente poderosos. En una competencia directa contra los mejores programas tradicionales de reconocimiento de imágenes (llamados CNN), OliveGemma ganó, logrando una tasa de precisión del 92.96% en la identificación del plato correcto. Eso es una mejora del 7.31% sobre el competidor tradicional más fuerte. Pero la verdadera sorpresa llegó cuando compararon a OliveGemma con los "gigantes" del mundo de la IA: los modelos masivos y propietarios de Google (Gemini), OpenAI (GPT) y Anthentic (Claude). A pesar de que esos gigantes son mucho más grandes y han visto todo el internet, tuvieron dificultades cuando se les pidió elegir de la misma lista específica de 216 platos. OliveGemma los venció por un margen masivo, superando al mejor de ellos por aproximadamente un 18% y a algunos hasta en un 64%.

El artículo sugiere que esto sucede porque los modelos gigantes son demasiado generales; son como médicos generales que saben un poco de todo pero no son expertos en un campo específico. OliveGemma, por el contrario, es un especialista. Fue ajustado específicamente para comprender las sutiles diferencias entre platos mediterráneos similares. Además, OliveGemma no solo adivinó el nombre del plato; también podía enumerar los ingredientes probables con alta precisión, acertando la lista exacta aproximadamente el 90.79% de las veces. Podía decirte que un "tiramisú" tiene mascarpone y bizcocho empapado en café, e incluso adivinar los ingredientes ocultos como las yemas de huevo y el vino Marsala, incluso si no podías verlos en la foto.

Los autores advierten cuidadosamente que, si bien este es un paso significativo, no es una varita mágica que resuelve todos los problemas alimentarios. El modelo está limitado actualmente a los 216 platos europeos y mediterranos para los que fue entrenado; no sabría cómo identificar un tipo específico de fideo de Asia Central. Sin embargo, el estudio sugiere fuertemente que no necesitas una supercomputadora basada en la nube de mil millones de dólares para obtener resultados de primer nivel en campos especializados. Al usar un modelo pequeño de código abierto y enseñarle de la manera correcta con unos pocos millones de parámetros, los investigadores pueden crear herramientas que no solo son más precisas, sino también privadas, reproducibles y accesibles para cualquiera con una computadora estándar. OliveGemma demuestra que, a veces, un especialista pequeño y bien entrenado vence a un gigante generalista cada vez.