Fusing Semantic, Lexical, and Domain Perspectives for Recipe Similarity Estimation

이 논문은 재료, 조리법, 영양소 정보를 결합하여 시맨틱, 어휘, 도메인 관점에서 요리 유사성을 평가하고 전문가 검증을 통해 의사결정에 가장 영향력 있는 요소를 규명함으로써 개인화 식단 및 자동 조리법 생성 시스템 개발에 기여하는 방법을 제시합니다.

핵심

이 논문은 **"요리 레시피가 서로 얼마나 비슷한지, 그리고 우리가 그걸 어떻게 더 똑똑하게 판단할 수 있는지"**에 대한 연구입니다.

기존의 방법들은 단순히 "재료가 같은지"만 보거나, "만드는 방법이 비슷한지"만 봤는데, 이 연구는 이 모든 것을 합쳐서 **3 가지 눈 (Semantic, Lexical, Domain)**으로 레시피를 분석하는 새로운 방식을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🍳 요리 레시피의 '친구 찾기' 프로젝트

이 연구는 마치 수천 개의 요리 레시피들 사이에서 진짜 '친구' (비슷한 요리) 를 찾아주는 중매쟁이를 상상해 보세요.

1. 세 가지 눈으로 보는 레시피 (3 가지 관점)

이 중매쟁이는 레시피를 볼 때 세 가지 다른 안경을 끼고 봅니다.

• ① 단어 눈 (Lexical): "재료 목록 비교"

  • 비유: 두 사람의 옷장을 열어본 거예요.
  • "너도 감자, 나도 감자 있네? 우리 비슷해!"라고 판단하는 거죠.
  • 하지만 여기서 중요한 건, '감자'라고만 적힌 게 아니라 '흰 감자', '고구마'처럼 세부 종류까지 따져본다는 점입니다. (예: '검은 후추'와 '붉은 후추'는 100% 같진 않지만, '후추'라는 큰 카테고리에서 비슷하다고 점수를 줍니다.)

• ② 의미 눈 (Semantic): "만드는 과정의 뉘앙스"

  • 비유: 두 사람의 행동 패턴을 관찰하는 거예요.
  • 재료가 달라도, "다 같이 섞어서 흔들어라"라고 하면 두 요리가 비슷하다고 느낄 수 있죠.
  • AI 가 레시피의 **만드는 방법 (지시문)**을 읽고, "아, 이 두 요리는 만드는 과정이 비슷하구나"라고 문맥을 이해합니다.

• ③ 영양 눈 (Domain): "몸에 미치는 영향"

  • 비유: 두 요리를 먹었을 때 체중계와 혈당계가 어떻게 반응하는지 보는 거예요.
  • 재료가 달라도 칼로리, 단백질, 지방 함량이 비슷하면 "이건 건강적으로 비슷한 요리군"이라고 판단합니다.

2. 왜 이 세 가지를 다 합쳐야 할까요? (혼란스러운 상황들)

연구팀은 실제 데이터를 분석하다가 재미있는 (혹은 엉뚱한) 상황들을 발견했습니다.

• 상황 A: "우연의 일치" (영양 눈의 함정)

  • 예시: '콩을 끓인 잼'과 '진한 칵테일'이 있습니다.
  • 재료를 보면 전혀 다르지만, 우연히 칼로리와 영양 성분이 비슷하게 나옵니다.
  • 만약 영양 눈만 믿으면 "이 두 요리는 친구야!"라고 잘못 판단할 수 있죠. (연구팀은 이를 '거짓 긍정'이라고 부릅니다.)

• 상황 B: "표면적인 유사성" (단어 눈의 한계)

  • 재료가 비슷해도 만드는 방법이 완전히 다르면 (예: 생선 구이 vs 생선 탕), 진짜 친구가 아닙니다.
  • 그래서 단어 눈만 믿으면 안 된다는 걸 깨달았습니다.

• 해결책: "3 인 4 각" (Ensemble)

  • 이 연구는 이 세 가지 눈을 모두 합쳐서 최종 점수를 매깁니다.
  • "영양은 비슷하지만, 재료도 다르고 만드는 방법도 다르다면?" → 비슷하지 않음으로 결론 내립니다.
  • 이렇게 여러 눈을 합치면, 한 눈이 실수해도 다른 눈이 잡아내어 정확한 판단을 내릴 수 있습니다.

3. 전문가들의 검증 (사람의 눈)

컴퓨터가 계산한 결과가 맞는지 확인하기 위해 요리 전문가 2 명에게 318 쌍의 레시피를 보여주고 "비슷한가요?"라고 물었습니다.

• 전문가들은 80% 의 경우 서로 동의했습니다.
• 이 '사람의 판단'을 기준으로 컴퓨터 모델을 훈련시켰더니, **재료의 유사성 (단어 눈)**이 가장 중요한 요소라는 것을 발견했습니다.
  • 비유: 요리가 비슷하려면 결국 주재료가 비슷해야 한다는 거죠. 만드는 방법이 비슷하거나 영양이 비슷해도, 재료가 완전히 다르면 우리는 "다른 요리"라고 느끼기 때문입니다.

4. 결론: 더 똑똑한 요리 추천 시스템

이 연구를 통해 얻은 교훈은 다음과 같습니다.

1. 단순한 재료 비교만으로는 부족하다: "감자가 들어갔으니까 비슷해"라고만 하면 안 됩니다.
2. 다각도의 접근이 필요하다: 재료를 보고, 만드는 과정을 읽고, 영양까지 따져봐야 진짜 비슷한 요리를 찾을 수 있습니다.
3. 미래의 가능성: 이 기술은 앞으로 개인 맞춤형 식단을 추천해주거나, 새로운 요리를 자동으로 만들어주는 AI를 개발하는 데 큰 도움이 될 것입니다.

한 줄 요약:

"요리 레시피의 친구를 찾을 때는 **재료 (옷장), 만드는 법 (행동), 영양 (체질)**을 모두 종합적으로 봐야, 우연의 일치나 착각 없이 진짜 비슷한 요리를 찾아낼 수 있다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

기존의 레시피 유사도 연구는 주로 단일 관점 (예: 재료의 어휘적 겹침, 조리법의 의미론적 유사성, 또는 영양소 정보) 에 의존하는 경향이 있었습니다. 그러나 레시피는 다면적 (multi-faceted) 인 특성을 가지며, 하나의 관점만으로는 레시피 간의 복잡한 관계를 완전히 포착할 수 없습니다.

• 한계점: 재료만 비슷하다고 해서 레시피가 유사한 것은 아니며 (예: 같은 재료를 다른 요리에 사용), 조리 과정이 비슷해도 재료가 다르면 다른 요리가 될 수 있습니다. 또한, 영양소 프로필이 우연히 비슷할 수 있어 (False Positive) 영양 정보만으로는 정확한 매칭이 어렵습니다.
• 목표: 어휘적 (Lexical), 의미론적 (Semantic), 도메인 지식 기반의 영양학적 (Nutritional/Domain) 세 가지 관점을 통합하여 인간 전문가의 판단과 일치하는 더 정확하고 포괄적인 레시피 유사도 평가 방법론을 개발하는 것.

2. 방법론 (Methodology)

이 연구는 Recipe1M 데이터셋을 기반으로 하며, 세 가지 독립적인 유사도 지표를 계산한 후 이를 가중치 합으로 융합하는 다중 뷰 (Multi-view) 접근법을 제시합니다.

A. 유사도 측정 지표 (Three Perspectives)

1. 어휘적 유사성 (Lexical Similarity):
   • 방법: 재료의 계층적 구조 (예: 'wheat flour' -> 'white' -> 'all-purpose') 를 반영한 수정된 Jaccard 유사도를 사용합니다.
   • 알고리즘: 주 레시피와 비교 레시피의 모든 재료 쌍에 대해 유사도 행렬을 생성하고, 할당 알고리즘 (Hungarian Algorithm) 을 적용하여 최적의 1:1 재료 매칭을 찾아 총 유사도를 최대화합니다.
2. 의미론적 유사성 (Semantic Similarity):
   • 방법: 조리 지시문 (Instructions) 을 기반으로 한 Transformer 기반 임베딩을 사용합니다. (재료는 지시문에 포함되어 있으므로 별도로 추가하지 않음).
   • 모델: DistilRoBERTa (성능 중심) 와 MiniLM-L6 (속도 중심) 두 모델을 벤치마크하여 코사인 유사도를 계산하고 평균화합니다.
3. 도메인 유사성 (Domain/Nutritional Similarity):
   • 방법: 영양소 (당, 소금, 포화지방, 에너지, 단백질, 지방) 를 6 차원 벡터로 표현합니다.
   • 구분:
     • 레시피 단위: 전체 레시피의 영양소 벡터 간 코사인 유사도.
     • 재료 단위: 각 재료의 영양소 벡터 간 유사도를 계산한 후, 할당 알고리즘을 통해 최적 매칭된 재료 쌍의 평균 유사도를 산출합니다.

B. 융합 (Fusion)

• 세 가지 관점 (의미론적, 어휘적, 영양학적) 의 점수를 가중치 합 (Weighted Sum) 으로 결합하여 최종 유사도 점수 (0~1) 를 도출합니다. 초기 가중치는 동일하게 설정됩니다.

3. 주요 기여 및 실험 결과 (Key Contributions & Results)

A. 사례 분석 및 지표 특성

• 다양한 시나리오 검증: 높은 전반적 유사도, 높은 의미론적/낮은 어휘적 유사성 (조리법 유사), 높은 영양/낮은 어휘적 유사성 (우연한 일치) 등 다양한 사례를 분석하여 단일 지표의 한계를 입증했습니다.
• 상관관계 분석: 세 가지 지표 간의 상관관계가 낮음 (Semantic vs Lexical: ~0.54, Semantic vs Nutritional: ~0.25) 을 확인하여, 각 지표가 레시피 유사성의 고유한 차원을 포착함을 증명했습니다.
• 실패 사례 (Failure Cases): 영양소 지표가 높은 가짜 양성 (False Positive) 을 많이 발생시키는 경향이 있음을 확인했습니다 (예: 콩 잼과 마티니가 영양소 프로필은 비슷하지만 전혀 다른 요리).

B. 인간 - 컴퓨터 상호작용 (HCI) 평가 및 검증

• 데이터셋 구축: 도메인 전문가 2 명이 318 개의 레시피 쌍을 평가하여 255 개 (80%) 에서 일치하는 'Ground Truth' 데이터셋을 구축했습니다.
• 머신러닝 모델 성능:
  • 로지스틱 회귀 (Logistic Regression): 정확도 89%.
  • 랜덤 포레스트 (Random Forest): 정확도 89%.
  • 두 모델 모두 비유사 레시피 (Class 0) 를 매우 정확하게 식별했으나, 유사 레시피 (Class 1) 의 경우 클래스 불균형으로 인해 약간 낮은 재현율을 보였습니다.

C. 특징 중요도 (Feature Importance) 분석

모델을 통해 도출된 인간 전문가의 판단 기준은 다음과 같습니다:

1. 어휘적 유사성 (재료 중첩): 두 모델 모두에서 가장 중요한 예측 변수로 나타났습니다 (로지스틱 회귀: 92.9%, 랜덤 포레스트: 42.6%). 재료가 겹치는 정도가 유사성 판단의 핵심입니다.
2. 도메인 지식 (영양소): 두 번째로 중요한 요소로, 의미론적 정보보다 더 큰 영향을 미쳤습니다.
3. 의미론적 유사성 (조리법): 세 가지 요소 중 상대적으로 중요도가 낮았으나 (20%), 조리 과정의 뉘앙스를 포착하는 데 기여했습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 통합적 접근의 필요성: 단일 지표 (특히 영양소나 재료만) 에 의존할 경우 오작동이 발생할 수 있음을 입증하고, 하이브리드 접근법 (Lexical + Semantic + Nutritional) 이 인간 전문가의 판단을 가장 잘 모사함을 보였습니다.
• 실용적 응용: 이 연구 결과는 맞춤형 식단 추천, 영양 권장 시스템, 자동 레시피 생성 시스템 등 식품 산업 전반에 적용 가능하여, 사용자의 건강 목표와 선호도를 동시에 고려한 정교한 추천이 가능해집니다.
• 향후 과제: 더 큰 데이터셋과 고급 모델 아키텍처를 탐구하며, 분자 구조 기반의 재료 분석이나 사용자별 동적 가중치 조정 등을 통해 개인화 수준을 높일 수 있을 것으로 기대됩니다.

요약하자면, 본 논문은 레시피 유사도 평가에 있어 재료 (어휘), 조리 과정 (의미), 영양 정보 (도메인) 를 통합한 다각적인 분석 프레임워크를 제시하고, 이를 통해 인간 전문가의 판단과 높은 일치도를 보이는 강력한 예측 모델을 개발했다는 점에서 의의가 있습니다.