OliveGemma: A 3 Billion Visual Language Model for Recognising the Mediterranean & European Diet

Imagine um mundo onde o seu telefone pudesse olhar para uma foto do seu almoço e saber instantaneamente exatamente o que você comeu, até as ervas específicas no molho. Isso não é apenas um truque de festa legal; é uma revolução potencial para a forma como monitoramos nossa saúde. Por décadas, cientistas tentaram ensinar computadores a reconhecer comida, mas é um trabalho notoriamente bagunçado. Pense nisso como tentar separar uma pilha de gêmeos idênticos: uma pizza com queijo extra parece quase igual a uma com menos, e uma "salada grega" em um país pode parecer totalmente diferente de uma "salada grega" em outro. Programas de computador tradicionais, que são como seguidores de regras rígidos, frequentemente se confundem com essas pequenas diferenças. No entanto, um novo tipo de tecnologia chamada "Modelo de Visão-Linguagem" (VLM) está mudando o jogo. Em vez de apenas memorizar imagens, esses modelos são como alunos superinteligentes que leram milhões de livros sobre comida e olharam para milhões de fotos. Eles podem entender que um prato é uma "pizza" não apenas por causa do formato redondo, mas porque entendem o conceito de massa, queijo e molho de tomate trabalhando juntos. Este artigo investiga se podemos ensinar um desses alunos inteligentes a se tornar um especialista de classe mundial em culinária mediterrânea e europeia sem precisar de um supercomputador do tamanho de uma casa.

Conheça o OliveGemma, um novo especialista em reconhecimento de alimentos especializado, criado por pesquisadores da Universidade de Ioannina. Você pode pensar no OliveGemma como um cérebro pequeno e super-eficiente construído sobre uma base massiva de código aberto chamada PaliGemma-2-3B. Enquanto o cérebro original tem cerca de 3 bilhões de "neurônios" (parâmetros), os pesquisadores não queriam retreinar todo esse sistema — isso seria como tentar reescrever uma enciclopédia inteira apenas para atualizar a receita de uma lasanha. Em vez disso, eles usaram um truque inteligente chamado LoRA (Adaptação de Baixo Posto). Imagine que o grande cérebro é uma biblioteca gigante, e o LoRA é um pequeno bloco de notas adesivas que os pesquisadores fixam nas prateleiras. Eles apenas escrevem novas notas nesse bloco, ensinando a biblioteca a reconhecer pratos específicos como "salada grega" ou "tiramisu" sem alterar os livros originais.

A equipe treinou este cérebro de "notas adesivas" em uma coleção massiva de 17.340 fotos de comidas mediterrâneas e europeias, que eles limparam e organizaram em 216 categorias específicas. Eles não apenas perguntaram "O que é isto?"; eles o ensinaram a raciocinar. Eles fizeram perguntas como: "Quais ingredientes provavelmente estão presentes aqui?" e "Quais pistas visuais dizem que isso é uma pizza e não um pão achatado?". O resultado é um modelo incrivelmente pequeno e leve — com apenas cerca de 90 megabytes de tamanho. Isso é tão pequeno que pode rodar em um computador comum com um processador padrão e 16 GB de RAM, o que significa que não precisa enviar suas fotos de comida para um servidor gigante na nuvem para funcionar. Isso é um grande avanço para a privacidade, especialmente em hospitais, onde os dados dos pacientes devem permanecer seguros.

Quando os pesquisadores colocaram o OliveGemma à prova, os resultados foram surpreendentemente poderosos. Em uma competição direta contra os melhores programas tradicionais de reconhecimento de imagem (chamados de CNNs), o OliveGemma venceu, alcançando uma taxa de precisão de 92,96% na identificação do prato correto. Isso representa uma melhoria de 7,31% sobre o concorrente tradicional mais forte. Mas o verdadeiro choque veio quando compararam o OliveGemma com os "gigantes" do mundo da IA: os modelos proprietários massivos do Google (Gemini), OpenAI (GPT) e Anthropic (Claude). Mesmo que esses gigantes sejam muito maiores e tenham visto toda a internet, eles tiveram dificuldades ao serem questionados sobre a mesma lista específica de 216 pratos. O OliveGemma os venceu por uma margem enorme, superando o melhor deles em cerca de 18% e alguns em até 64%.

O artigo sugere que isso acontece porque os modelos gigantes são muito genéricos; eles são como clínicos gerais que sabem um pouco sobre tudo, mas não são especialistas em um campo específico. O OliveGema, por outro lado, é um especialista. Ele foi ajustado especificamente para entender as sutis diferenças entre pratos mediterrâneos semelhantes. Além disso, o OliveGemma não apenas adivinhava o nome do prato; ele também podia listar os prováveis ingredientes com alta precisão, acertando a lista exata cerca de 90,79% das vezes. Ele podia dizer que um "tiramisu" tem mascarpone e pão embebido em café, e até adivinhar ingredientes ocultos como gemas de ovo e vinho Marsala, mesmo que você não pudesse vê-los na foto.

Os autores ressaltam cuidadosamente que, embora este seja um passo significativo, não é uma varinha mágica que resolve todos os problemas alimentares. O modelo é atualmente limitado aos 216 pratos europeus e mediterrâneos para os quais foi treinado; ele não saberia identificar um tipo específico de macarrão da Ásia Central. No entanto, o estudo sugere fortemente que você não precisa de um supercomputador de bilhões de dólares baseado na nuvem para obter resultados de alto nível. Ao usar um modelo de código aberto pequeno e ensiná-lo da maneira correta com alguns milhões de parâmetros, pesquisadores podem criar ferramentas que são não apenas mais precisas, mas também privadas, reproduzíveis e acessíveis para qualquer pessoa com um computador padrão. O OliveGemma prova que, às vezes, um especialista pequeno e bem treinado vence um gigante generalista todas as vezes.