기술 요약: Open-KNEAD

문제 정의

멀티모달 거대 언어 모델(MLLM)은 식사 이미지로부터 식단 평가를 수행하는 데 점점 더 많이 활용되고 있다. 역사적으로, 모델이 영양 데이터베이스에서 특정 식품 항목을 검색하여 추정치를 정교화하는 검색 증강 그라운딩(retrieval-augmented grounding)은 정확도를 높이는 것으로 입증되었다. 그러나 저자들은 현대적인 2026년형 MLLM의 경우, 직접 추정(이미지를 총 매크로 영양소로 바로 매핑하는 단일 모델 호출 방식, 분해나 검색 과정 없음)이 전체 에너지 및 매크로 영양소 정확도 측면에서 전체 검색 파이프라인의 성능과 대등하거나 이를 능가한다는 점을 관찰했다.

그럼에도 불구하고, 직접 추정 방식은 임상 도입에 필요한 두 가지 핵심 기능을 결여하고 있다:

1. 설명 가능성(Explainability): 개별 항목별로 검증 가능한 기록 대신 단일한 불투명한 숫자만을 제공한다.
2. 개인정보 보호(Privacy): 임상 배포 시 민감한 환자 이미지를 상용 API로 전송하지 않기 위해 로컬 추론이 필요하다.

본 연구가 다루는 핵심 과제는 최소한의 사용자 부담(주석이 없는 단일 이미지), 로컬 실행, 제로 트레이닝(동결된 모델 사용)이라는 엄격한 제약 조건 하에서, 직접 추정의 정확도 이점을 희생하지 않으면서도 그라운딩의 이점(항목별 기록, 추적 가능성, 보이지 않는 재료 고려 능력)을 어떻게 유지할 것인가 하는 점이다.

방법론: Open-KNEAD

Open-KNEAD는 오픈 웨이트 MLLM에서 로컬 배포가 가능하도록 설계된, 훈련이 필요 없는 지식 기반 에이전트 프레임워크이다. 이 시스템은 추정되는 특정 영양 지표에 따라 출력을 라우팅하는 이중 경로 아키텍처를 통해 작동한다.

1. 지식 베이스 (Knowledge Base)

시스템은 약 5,400개의 항목을 포함하는 **FNDDS(Food and Nutrient Database for Dietary Studies)**에서 파생된 동결된 지식 베이스를 기준으로 항목을 그라운딩한다. 각 항목은 다음을 포함한다:

• 식품 코드 및 설명.
• 100g당 영양소 벡터 (에너지, 단백질, 지방, 탄수화물).
• USDA 식품 카테고리(WWEIA) 및 사전 계산된 영양소별 분산 통계($\sigma_g$). 이를 통해 에이전트는 단순한 양(magnitude)이 아닌 카테고리 내의 영양적 모호성을 기준으로 의사결정을 제어할 수 있다.
• 이중 인덱싱: 희소 렉시컬 인덱스(BM25)와 밀집 시맨틱 인덱스(BGE-M3와 같은 오픈 웨이트 임베딩 사용).

2. 경로 A: 직접 추정 (Direct Estimate)

단일 MLLM 호출이 식사 이미지를 처리하여 총 에너지, 매크로 영양소 및 섭취량에 대한 통합적인 추정치를 생성한다. 이 경로는 베이스라인 역할을 하며, 지식 베이스가 편향을 유발할 수 있는 요리(예: 비미국식 요리)에 대한 주요 에너지 추정치를 제공한다.

3. 경로 B: 그라운드 에이전트 분해 (Grounded Agentic Decomposition)

이 경로는 항목별로 검증 가능한 기록과 섭취량 추정을 생성하는 역할을 담당한다. 다음 4단계로 진행된다:

• 분해(Decomposition): 모델은 가시적인 음식 항목을 식별하고 그 질량(g)을 추정한다.
• 레시피 우선순위(Recipe-Prior, 보이지 않는 재료): 텍스트 전용 호출을 통해 인식된 요리에 전형적으로 들어가는 "보이지 않는" 조리 추가 성분(예: 기름, 버터, 소스)을 추론한다. 이 단계는 에너지 밀도가 높은 항목(예: 생과일)에 대한 과대 추정을 방지하기 위해, 이러한 숨겨진 성분이 포함될 가능성이 높은 식사에 대해서만 활성화되는 이진 스위치($\Phi$)에 의해 제어된다.
• 선택적 검색(Selective Retrieval): 각 항목은 렉시컬 및 밀집 인덱스를 모두 쿼리한다. 후보군들은 RRF(Reciprocal Rank Fusion)를 사용하여 융합된다. 결정적으로, 시스템은 후보군의 검색 가중치 적용 분산 정규화된 분산($V_i$)을 계산한다.
  • 만약 $V_i$가 임계값($\tau$) 미만이면, 후보군들이 영양학적으로 대체 가능하다고 판단하여 추가 모델 호출 없이 가중 평균값을 확정한다.
  • 만약 $V_i \ge \tau$이면, MLLM이 호출되어 한 끼 식사당 할당된 예산($B=5$) 내에서 최적의 FNDDS 코드를 선택한다.
• 계산(Computation): 영양소는 추정된 질량에 따라 100g당 영양소 벡터를 스케일링하여 계산된다.

4. 라우팅 전략 (Routing Strategy)

최종 출력은 다음과 같이 라우팅되어 조립된다:

• 섭취량 및 항목별 기록: 항상 경로 B(분해)에서 가져온다.
• 에너지 및 매크로 영양소: 요리 유형에 따라 라우팅된다. 미국 중심의 데이터셋(Nutrition5k) 및 레시피 우선순위(recipe-prior)가 숨겨진 에너지를 복구하는 OmniFood(중국 요리)의 경우, 경로 B의 그라운디드 합계(grounded sum)를 사용한다. 반면, 미국 중심의 밀도 편향이 분해 합계를 부풀릴 수 있는 호주 데이터셋(ACETADA)과 같은 분포 외(off-distribution) 데이터셋의 경우, 분산을 최소화하기 위해 경로 A의 직접 추정치로 폴백(fallback)한다.

주요 기여

1. Open-KNEAD 프레임워크: 훈련이 필요 없고 로컬 배포가 가능한 최초의 지식 그라운딩 에이전트 프레임워크로 식사 영양 추정을 수행한다. 이는 직접 프롬프팅보다 향상된 섭취량 추정 성능을 다양한 백본과 데이터셋에서 보여준다.
2. 에이전트용 지식 베이스: 에이전트 영양 추정에 특화되어 패키징된, 이중 희소/밀집 검색 임베딩 및 카테고리별 영양 분산 통계가 추가된 FNDDS의 공개 버전.
3. 레시피 우선순위(Recipe-Prior): 정답 레시피 없이도 숨겨진 조리 추가 에너지(예: 중국 요리의 기름)를 복구하여 과소 추정을 줄이는, 누출 위험이 없는 추론 시점의 방법론.

결과

본 프레임워크는 세 가지 데이터셋(미국, 호주, 중국)과 다섯 가지 오픈 웨이트 MLLM 백본(Gemma 및 Qwen 제품군)을 대상으로 직접 프롬프팅, 셀프 컨시스턴시(self-consistency), 그리고 이전의 검색 기반 방법(DietAI24)과 비교 평가되었다.

• 섭취량 정확도: 그라운디드 에이전트는 15개 백본-데이터셋 설정 중 12개에서 직접 추정보다 개선된 섭취량 추정치를 보였다. 전문 영양사가 검증한 ACETADA 데이터셋에서, 로컬 오픈 에이전트(Gemma-31B)는 두 개의 프런티어 폐쇄형 모델(gpt-5.5 및 Gemini)의 직접 섭취량 추정치를 각각 약 30%와 53% 차이로 능가하면서도 모든 데이터를 로컬에 유지했다.
• 에너지 정확도: Open-KNEAD는 미국 및 중국 데이터셋에서 이전의 그라운딩 방식 및 직접 추정보다 우수한 성능을 보였다. 호주 데이터셋의 경우, 라우팅 전략이 직접 추정치로 폴백함으로써 분해 합계의 편향을 성공적으로 완화했다.
• 항목 수준 그라운딩: 그라운디드 에이전트는 15개 설정 중 12개에서 비그라운딩 구조적 분해보다 낮은 항목별 섭취량 오차를 달 기록했다. 결정적으로, 직접 추정으로는 제공할 수 없는 항목 $\to$ FNDDS 코드 $\to$ 영양소로 이어지는 감사 가능한 기록을 생성했다.
• 효율성: 선택적 게이팅 메커니즘은 MLLM 호출을 크게 줄였다. 시스템은 영양적 모호성이 높을 때만 코드 선택을 위해 모델을 호출했으며, "항상 선택" 방식의 베이스라인(평균 3.3회)에 비해 평균 2.8회의 호출을 기록했다.

의의 및 주장

본 논문은 현대적 MLLM이 총 에너지 정확도 측면에서는 검색을 불필요하게 만들었을지라도, 임상적 유용성을 위해서는 그라운딩이 여전히 필수적이라고 주장한다. Open-KNEAD는 다음과 같은 성과를 달성할 수 있음을 입증한다:

• 설명 가능성: 영양사에게 추적 가능한 항목별 기록을 제공한다.
• 개인정보 보호: 오픈 웨이트 모델을 사용하여 전적으로 로컬 하드웨어에서 작동한다.
• 정확도: 단일 이미지 입력의 속도와 단순성을 희생하지 않으면서 섭취량 추정을 개선하고 숨겨진 에너지 성분을 복구한다.

저자들은 본 연구를 더 무거운 인지 도구나 학습된 추정기를 사용하기에 앞서, 고유한 역량을 테스트하는 "의도적으로 최소화된" 실험으로 규정한다. 또한 미국 중심의 지식 베이스 의존성(라우팅으로 완화됨), 레시피 우선순위를 위한 요리 수준의 게이팅 필요성, 단일 이미지에서의 기하학적 단서 활용 불가 등의 한계를 인정한다.