Evaluation of LLMs in retrieving food and nutritional context for RAG systems

이 논문은 자연어 쿼리를 메타데이터 필터로 변환하는 LLM 기반 RAG 시스템이 식품 영양 데이터 검색에서 높은 성능을 보이지만, 메타데이터 표현 범위를 초과하는 복잡한 제약 조건이 포함된 질문에서는 신뢰할 수 있는 검색에 한계가 있음을 평가했습니다.

핵심

🍎 1. 문제 상황: "거대한 냉장고 속의 숨은 보물"

연구진들은 슬로베니아의 거대한 음식 영양 데이터베이스를 가지고 있었습니다. 이 데이터베이스는 3 만 2 천 개 이상의 음식 정보가 담긴 거대한 냉장고와 같습니다.

• 과거의 방식: 영양사나 전문가가 이 냉장고에서 "단백질이 12g 이상인 치즈"를 찾으려면, 직접 복잡한 검색어를 입력하거나 전문가의 도움을 받아야 했습니다. 마치 도서관에서 책 제목을 모르고 서가 전체를 뒤져야 하는 것과 비슷했죠.
• 새로운 방식 (RAG 시스템): 연구진은 **"자연어 (일상적인 말) 로 질문하면, AI 가 알아서 정확한 위치를 찾아주는 비서"**를 만들었습니다.

🤖 2. 해결책: "AI 비서의 두 가지 능력"

이 시스템은 두 가지 단계로 작동합니다.

1. 명령 해석 (메타데이터 필터 생성):

   • 사용자가 **"단백질이 12g 이상인 음식은 뭐가 있어?"**라고 묻습니다.
   • AI 비서 (LLM) 는 이 말을 듣고 **"아, '단백질'이라는 칸에서 '12'보다 큰 값만 찾아야겠다"**라고 번역합니다. 이를 정교한 필터라고 부릅니다.
   • 이 필터는 냉장고 문을 열어 '단백질' 서랍만 골라내는 마법 지팡이와 같습니다.

2. 정밀 검색 (벡터 데이터베이스):

   • 필터로 범위를 좁힌 뒤, AI 는 남은 음식들 중에서 질문의 의미와 가장 비슷한 것을 찾아냅니다.

🧪 3. 실험: "네 명의 AI 비서 대결"

연구진은 Gemini, GPT, Claude, Mistral이라는 네 명의 유명한 AI 비서를 불러모아 이 작업을 시켰습니다. 그리고 질문의 난이도를 세 가지로 나누어 테스트했습니다.

• 쉬운 질문 (Easy): "단백질이 12g 이상인 음식은?"

  • 결과: 완벽했습니다! (성공률 99.9% 이상)
  • 비유: "빨간 사과만 줘"라고 하면, AI 비서는 빨간 사과만 쏙쏙 골라냅니다. 모든 AI 가 이 정도는 척척 해냈습니다.

• 중간 난이도 (Medium): "칼륨이 0.5g 이상이고, 지방이 5g 미만인 음식은?"

  • 결과: 매우 훌륭했습니다.
  • 비유: "빨간 사과면서, 당도가 10 이상인 것만 줘"라고 해도 AI 비서는 논리적으로 잘 따져서 찾아냈습니다.

• 어려운 질문 (Hard): "닭고기 중에서 콜레스테롤보다 단백질이 더 많은 음식은?" 또는 "단백질과 지방을 더했을 때 80g 을 넘는 음식은?"

  • 결과: 아쉬웠습니다. (성공률 약 40~45%)
  • 비유: "단백질과 지방을 더해서 80g 이 넘으면?" 같은 질문은 AI 비서가 **"음... 이걸 계산해서 필터로 만들 수는 없는데?"**라고 고민하다가 헷갈려 합니다.
  • 이유: AI 는 "A 가 B 보다 크다"거나 "A+B 가 C 보다 크다"는 복잡한 계산이나 비교를 필터로 변환하는 데는 아직 약점이 있습니다.

📉 4. 중요한 발견: "완벽하지 않지만, 충분히 유용하다"

• 성공: 일상적인 질문이나 단순한 조건이 붙은 질문에는 AI 가 압도적인 성능을 보여줍니다. 영양사나 일반인이 복잡한 데이터베이스를 몰라도, 말로만 물어보면 원하는 정보를 바로 얻을 수 있게 되었습니다.
• 한계: 하지만 너무 복잡하거나 계산이 필요한 질문에는 AI 가 실수를 합니다. 이때는 AI 가 "정확한 필터"를 못 만들면, "가장 비슷한 것들"을 대충 찾아주는 백업 모드로 전환합니다. 하지만 이 경우 정확한 답을 찾는 데는 한계가 있습니다.

💡 5. 결론: "미래는 밝지만, 아직 갈 길이 멀다"

이 연구는 **"AI 가 전문가들의 업무를 얼마나 쉽게 만들어줄 수 있는가"**를 보여줍니다.

• 장점: 이제 영양사나 일반인도 기술적인 지식 없이도, **"자연스럽게 말"**로 복잡한 영양 데이터를 찾을 수 있게 되었습니다. 이는 시간과 노력을 획기적으로 줄여주는 혁신입니다.
• 과제: 하지만 AI 가 수학 문제나 복잡한 논리를 완벽하게 처리하지는 못합니다. 앞으로는 AI 가 더 복잡한 질문을 이해하고, 정확한 답을 찾아낼 수 있도록 계속 발전시켜야 합니다.

한 줄 요약:

"이 연구는 AI 비서가 복잡한 음식 데이터베이스를 일상적인 말로 검색하게 만들어, 전문가들의 일을 획기적으로 편하게 해줬다는 것을 증명했습니다. 다만, 너무 복잡한 계산이 필요한 질문에는 아직 약점이 있어, 앞으로 더 발전해야 합니다."

기술 요약

논문 요약: RAG 시스템을 위한 식품 및 영양 데이터 검색을 위한 LLM 평가

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 식품 및 영양 데이터의 양과 복잡성이 증가함에 따라, 기존 데이터베이스 및 지식 관리 시스템은 전문가 (영양사, 식품 컴파일러 등) 가 통합된 다차원 정보에 쉽게 접근하는 데 한계가 있습니다.
• 문제점:
  • 기존 시스템은 데이터의 세분화, 완전성, 상호작용성이 부족하여 비기술적 사용자의 요구를 충족하지 못합니다.
  • 영양 전문가들은 현재 디지털 도구가 구식이며, 지역적 맥락에 부적합하다고 보고합니다.
  • 복잡한 식품 조성 데이터를 검색하기 위해 전문적인 기술 지식 (SQL 등) 이 필요하여 접근성이 낮습니다.
• 목표: 자연어 질의 (Natural Language Queries) 를 통해 전문적인 식품 조성 데이터베이스에 직접 접근할 수 있는 검색 증강 생성 (RAG) 시스템의 유효성을 평가하고, 특히 검색 (Retrieval) 단계에서 LLM 이 구조화된 메타데이터 필터를 생성하는 능력을 검증하는 것입니다.

2. 방법론 (Methodology)

가. 시스템 아키텍처

• 데이터 소스: 슬로베니아 식품 조성 데이터베이스 (FCDB) 를 사용하며, NutriBase 시스템으로 관리됩니다.
  • 브랜드 식품: 시중 제품 (대략 8 가지 주요 성분).
  • 일반 식품: 실험실 분석 기반 (최대 366 가지 성분 포함, 미량 영양소 등).
• 데이터 전처리:
  • 구조화된 영양 데이터를 자연어 설명으로 변환 (예: "치즈 프로볼론은 치즈 그룹에 속하며, 100g 당 에너지는 365.30kcal...").
  • 임베딩: gemini-embedding-001 모델을 사용하여 3072 차원의 벡터로 변환 후 Chroma 벡터 데이터베이스에 저장.
• 검색 메커니즘 (2 단계 프로세스):
  1. 메타데이터 필터 생성: LLM 이 사용자의 자연어 질의를 Chroma 메타데이터 필터 (구조화된 쿼리) 로 변환합니다. (필터 실패 시 'Food Group'만 필터링하는 Loose Filtering 또는 순수 의미 검색으로 폴백).
  2. 검색 실행: 생성된 필터로 검색 공간을 축소하고, 축소된 집합 내에서 의미적 유사성 (Semantic Similarity) 검색을 수행합니다.
• 평가 프레임워크:
  • 모델: 4 가지 LLM 평가 (Gemini-2.0-Flash, GPT-4o, Claude-Sonnet-4, Mistral Medium 3).
  • 데이터셋: 150 개의 질문 (쉬움 50, 중간 50, 어려움 50).
    • 쉬움: 1~2 개 조건.
    • 중간: 3~4 개 조건, 중첩된 AND/OR 로직, 범위 쿼리.
    • 어려움: 비교 질문 (예: 단백질 > 콜레스테롤), 집계 계산 (예: 단백질 + 지방 > 80g) 등 고급 추론 필요.
  • 지표: 정밀도 (Precision), 재현율 (Recall), F1 점수를 사용하여 검색된 결과와 정답 (Ground Truth) 을 비교.
  • 유사도 임계값: 의미적 검색 시 최적의 임계값을 찾기 위해 벡터 간 코사인 거리 분포의 평균 ($\mu$) 과 표준 편차 ($\sigma$) 를 기반으로 $\mu-\sigma$, $\mu$, $\mu+\sigma$ 세 가지 전략을 테스트.

3. 주요 기여 (Key Contributions)

• 도메인 특화 RAG 파이프라인 검증: 식품 조성 데이터와 같은 복잡한 구조화된 데이터를 자연어로 검색하는 LLM 기반 메타데이터 필터링의 실용성을 입증했습니다.
• 비기술적 사용자 접근성 향상: 영양 전문가들이 기술적 지식 없이도 복잡한 데이터베이스를 자연어로 검색할 수 있는 체계를 제시했습니다.
• 성능 한계 및 폴백 전략 분석:
  • 단순 및 중간 복잡도 질의에서는 높은 정확도를 보였으나, 비교/집계 추론이 필요한 '어려운' 질의에서는 LLM 의 필터 생성 한계를 확인했습니다.
  • 엄격한 필터 실패 시, 'Loose Filtering(식품군만 필터링)' 및 'Pure Semantic Fallback' 전략이 부분적인 검색 성공을 가능하게 함을 보였습니다.
• 다국어 및 리소스 부족 환경에서의 LLM 능력 입증: 슬로베니아어 (리소스가 부족한 언어) 로도 비파인튜닝된 LLM 이 높은 성능을 발휘함을 보여주었습니다.

4. 실험 결과 (Results)

• 쉬운 (Easy) 및 중간 (Medium) 질의:
  • 모든 모델이 F1 점수 0.999 이상의 매우 높은 성능을 기록했습니다.
  • 특히 중간 복잡도 질의에서 Gemini 와 Claude 는 F1 1.000을 달성하여, 현재 LLM 이 구조화된 필터 생성에 매우 효과적임을 입증했습니다.
• 어려운 (Hard) 질의:
  • 모든 모델의 성능이 급격히 하락했습니다 (평균 F1 점수 약 0.40~0.45).
  • 최고 성능: Claude 모델이 중간 유사도 임계값 ($\mu \approx 0.613$) 에서 F1 0.450을 기록했습니다.
  • 임계값 영향: 모델 간 평균을 내었을 때, 가장 엄격한 임계값 ($\mu-\sigma \approx 0.539$) 이 Hard 카테고리에서 평균 F1 을 약 0.424 로 높여주어, 엄격한 유사도 기준이 폴백 검색의 견고성을 높이는 것으로 나타났습니다.
• 모델 비교:
  • Open-source 인 Mistral 도 폐쇄형 모델 (GPT, Claude) 과 유사한 수준의 높은 성능을 보여, 비용 효율적인 대안이 될 수 있음을 시사했습니다.
  • GPT-4o 는 다른 모델들에 비해 Hard 카테고리에서 상대적으로 낮은 점수를 기록했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: LLM 기반 메타데이터 필터링은 식품 및 영양 전문가들이 복잡한 데이터를 접근하는 데 있어 혁신적인 도구로, 수동 작업과 기술적 장벽을 크게 낮춥니다.
• 한계점:
  • 복잡한 추론의 한계: 비교 (A 가 B 보다 큰가?) 나 집계 (합계 계산) 와 같이 메타데이터 형식으로 명시적으로 표현하기 어려운 제약 조건이 포함된 질의에서는 신뢰할 수 있는 검색이 어렵습니다.
  • 데이터베이스 제한: Chroma 데이터베이스에서 대량의 필터링된 결과를 처리할 때 일부 누락 현상이 관찰되었습니다.
  • 모델 버전 문제: 최신 모델 (Gemini-2.5-Pro) 이 이전 모델보다 성능이 떨어지는 등, 모델 업데이트에 따른 성능 변동성을 고려해야 합니다.
• 향후 과제:
  • NL2SQL 연구에서의 프롬프트 최적화 및 오류 수정 전략을 메타데이터 필터 생성에 적용.
  • 다양한 벡터 데이터베이스 비교 연구.
  • 모델별 가격 - 성능 비율 분석 및 새로운 모델 버전의 체계적 평가.

종합적으로, 이 연구는 LLM 이 구조화된 식품 데이터 검색의 핵심 단계인 '컨텍스트 검색'에서 매우 유망한 도구임을 입증했으나, 복잡한 추론이 필요한 질의 처리를 위해서는 추가적인 기술적 발전이 필요함을 강조합니다.