OliveGemma: A 3 Billion Visual Language Model for Recognising the Mediterranean & European Diet

당신의 휴대폰이 점심 식사 사진을 보고 소스에 들어간 특정 허브까지 정확하게 파악하여 무엇을 먹었는지 즉시 알 수 있는 세상을 상상해 보십시오. 이것은 단순히 멋진 파티용 기술이 아닙니다. 이는 우리가 건강을 추적하는 방식에 있어 잠재적인 혁명입니다. 수십 년 동안 과학자들은 컴퓨터에게 음식을 인식하도록 가르치려 노력해 왔지만, 이는 매우 까다로운 작업입니다. 마치 똑같이 생긴 쌍둥이 더미를 분류하려는 것과 같습니다. 치즈가 추가된 피자는 치즈가 적게 들어간 피자와 거의 똑같아 보이며, 한 나라에서의 "그리스 샐러드"는 다른 나라에서의 "그리스 샐러드"와 완전히 다르게 보일 수 있습니다. 엄격한 규칙 준수자 같은 전통적인 컴퓨터 프로그램들은 이러한 미세한 차이 때문에 종종 혼란을 겪습니다. 하지만 "시각-언어 모델(Vision-Language Model, VLM)"이라 불리는 새로운 유형의 기술이 게임의 판도를 바꾸고 있습니다. 이 모델들은 단순히 사진을 암기하는 대신, 음식에 관한 수백만 권의 책을 읽고 수백만 장의 사진을 본 아주 똑똑한 학생과 같습니다. 이들은 어떤 요리가 단순히 둥근 모양 때문이 아니라, 도우, 치즈, 토마토 소스가 어떻게 어우러지는지에 대한 개념을 이해하기 때문에 그것이 "피자"라는 것을 이해합니다. 이 논문은 우리가 이러한 똑똑한 학생에게 슈퍼컴퓨터 크기의 집을 필요로 하지 않고도 지중해 및 유럽 요리에 대한 세계적인 전문가가 되도록 가르칠 수 있는지 탐구합니다.

이오아니나 대학교(University of Ioannina)의 연구진이 만든 새로운 특화된 음식 인식 전문가, OliveGemma를 소개합니다. 여러분은 OliveGemma를 PaliGemma-2-3B라는 거대하고 오픈 소스인 기반 위에 구축된 작고 효율적인 뇌라고 생각할 수 있습니다. 원래의 뇌는 약 30억 개의 "뉴런"(파라미터)을 가지고 있지만, 연구진은 전체를 다시 학습시키고 싶지는 않았습니다. 그것은 라자냐의 레시피를 업데이트하기 위해 백과사전 전체를 다시 쓰는 것과 같기 때문입니다. 대신, 그들은 LoRA(Low-Rank Adaptation)라는 영리한 기술을 사용했습니다. 거대한 뇌를 거대한 도서관이라고 한다면, LoRA는 연구진이 서가에 붙이는 작은 포스트잇 메모지라고 상상해 보십시오. 그들은 원래의 책들을 바꾸지 않으면서도, "그리스 샐러드"나 "티라미수"와 같은 특정 요리를 인식하도록 도서관에 새로운 메모를 적어 넣는 방식으로 학습시켰습니다.

연구팀은 이 "포스트잇" 뇌를 지중해 및 유럽 음식을 찍은 17,340장의 방대한 사진 컬렉션으로 학습시켰으며, 이 사진들을 정제하고 216개의 특정 카테고리로 분류했습니다. 그들은 단순히 "이것이 무엇인가?"라고 묻지 않았습니다. 그들은 모델이 추론하도록 가르쳤습니다. "이 요리에 들어있을 가능성이 높은 재료는 무엇인가?", "무엇이 이 음식이 플랫브레드가 아닌 피자임을 알려주는 시각적 단서인가?"와 같은 질문을 던졌습니다. 그 결과, 이 모델은 매우 작고 가벼워 크기가 약 90메가바이트에 불과합니다. 이는 일반적인 프로세서와 16GB RAM을 갖춘 일반 컴퓨터에서도 실행될 수 있을 만큼 작아서, 여러분의 음식 사진을 거대한 클라우드 서버로 보낼 필요가 없음을 의미합니다. 이는 환자의 데이터 보안이 중요한 병원 환경에서 프라이버시 측면에서 매우 중요한 일입니다.

연구진이 OliveGemma를 테스트했을 때, 결과는 놀라울 정도로 강력했습니다. 최고의 전통적인 이미지 인식 프로그램(CNN이라 불리는)과의 맞대결에서 OliveGemma는 올바른 요리를 식별하는 데 **92.96%**의 정확도를 달着하며 승리했습니다. 이는 가장 강력한 전통적 경쟁자보다 7.31% 향상된 수치입니다. 하지만 진짜 충격적인 사실은 OliveGemma를 구글(Gemini), 오픈AI(GPT), 앤스로픽(Claude)의 거대한 독점 모델들과 비교했을 때 나타났습니다. 이 거인들은 훨씬 더 크고 인터넷 전체를 학습했음에도 불구하고, 동일한 216가지 요리 목록 중에서 선택하라는 요청을 받았을 때 어려움을 겪었습니다. OliveGemma는 이들을 압도하며, 최고 수준의 모델보다 약 18%, 어떤 모델보다는 무려 **64%**까지 더 높은 성능을 보였습니다.

이 논문은 이러한 현상이 거대 모델들이 너무 일반적이기 때문이라고 시사합니다. 그들은 모든 것에 대해 조금씩 알지만 한 분야의 전문가는 아닌 일반의와 같습니다. 반면 OliveGemma는 특화된 전문가입니다. 이 모델은 유사한 지중해 요리들 사이의 미묘한 차이를 이해하도록 특별히 미세 조정되었습니다. 또한, OliveGemma는 단순히 요리의 이름을 추측하는 데 그치지 않고, 높은 정확도로 예상 재료 목록을 나열할 수도 있었습니다. 재료 목록을 정확하게 맞춘 비율은 약 **90.79%**였습니다. 이 모델은 "티라미수"에 마스카포네 치즈와 커피에 적신 스펀지 케이크가 들어간다는 것을 말할 수 있었고, 심지어 사진에서 보이지 않는 계란 노른자와 마르살라 와인 같은 숨겨진 재료까지 추측할 수 있었습니다.

저자들은 이 연구가 중요한 진전이지만, 모든 음식 문제를 해결하는 마법의 지팡이는 아니라는 점을 주의 깊게 명시하고 있습니다. 현재 이 모델은 학습된 216가지의 유럽 및 지중해 요리에 국한되어 있어, 중앙아시아의 특정 종류의 국수를 식별하지는 못할 것입니다. 그러나 이 연구는 최고 수준의 전문 분야에서 성과를 내기 위해 반드시 수십억 달러 규모의 클라우드 기반 슈퍼컴퓨터가 필요한 것은 아니라는 점을 강력하게 시사합니다. 작은 오픈 소스 모델을 사용하고 수백만 개의 파라미터로 올바르게 가르친다면, 연구자들은 더 정확하면서도 프라이버시를 보호하고, 재현 가능하며, 일반 컴퓨터를 가진 누구에게나 접근 가능한 도구를 만들 수 있습니다. OliveGemma는 때때로 잘 훈련된 작은 전문가가 거대한 일반가보다 항상 승리한다는 것을 증명합니다.