Losses that Cook: Topological Optimal Transport for Structured Recipe Generation

1. 문제 정의 (Problem)

기존의 언어 모델 (LLM) 을 이용한 요리 레시피 생성은 단순히 유창한 텍스트를 생성하는 것을 넘어, 사실적 정확성 (factual correctness), 수치적 타당성 (numerical plausibility), **절차적 일관성 (procedural coherence)**을 동시에 만족해야 하는 복잡한 과제입니다.

• 기존 접근법의 한계: 표준적인 교차 엔트로피 (Cross-Entropy, CE) 손실 함수는 모든 토큰을 동등하게 취급합니다. 그러나 레시피 생성에서는 '계란', '온도', '시간'과 같은 핵심 토큰의 오류가 전체 레시피의 무용지화를 초래하는 반면, 접속사나 연결어는 상대적으로 덜 중요합니다.
• 발생하는 오류: CE 기반 학습은 유창성은 유지하더라도 주요 재료 누락, 비현실적인 양/온도/시간, 논리적으로 틀린 조리 순서 등의 오류를 자주 발생시킵니다.
• 평가 지표의 부재: 기존 NLG 평가 지표 (ROUGE, BERTScore 등) 는 텍스트의 유창성과 의미 유사성만 측정할 뿐, 레시피의 구조적 정확성 (재료 구성, 수치 정확도) 을 직접적으로 평가하지 못합니다.

2. 방법론 (Methodology)

데이터셋 및 태스크

• 데이터셋: RECIPE-NLG 코퍼스에서 파스타, 밥, 샌드위치 관련 5,000 개의 레시피를 추출하여 사용했습니다.
• 데이터 증강: 재료 식별, 대체, 레시피 확장 (스케일링), 양/시간/온도 추론 등을 위한 235 개의 수동 큐레이션 질문을 추가하여 모델의 수치 추론 능력을 강화했습니다.
• 목표: 자연어 프롬프트를 입력받아 JSON 형식의 구조화된 레시피 (재료 목록 및 조리 단계) 를 생성하는 것입니다.

제안된 손실 함수 (Proposed Loss Functions)

기존 CE 손실 함수를 기반으로 하여, 레시피의 구조적 특성을 반영한 새로운 손실 함수들을 도입했습니다.

1. Topological Loss (위상적 손실):

   • 핵심 아이디어: 재료 목록을 임베딩 공간 (embedding space) 의 **점 구름 (point cloud)**으로 표현합니다. 의미적으로 유사한 재료 목록은 임베딩 공간에서 기하학적으로 유사한 형태를 가져야 한다는 가정을 기반으로 합니다.
   • 구현: 모델의 출력 로짓 (logits) 을 소프트맥스하여 가중치를 부여한 임베딩 평균 (soft embedding) 을 계산하고, 이를 정답 (ground truth) 의 임베딩과 비교합니다.
   • 손실 측정: Sinkhorn divergence (최적 수송 거리, Optimal Transport) 를 사용하여 예측된 재료 점 구름과 정답 점 구름 간의 기하학적 불일치를 최소화합니다. 이는 토큰 단위의 정확도를 넘어 재료 집합의 구조적 일관성을 보장합니다.

2. Dice Loss:

   • 집합 수준의 중첩 (overlap) 을 최적화하여 중요한 토큰 (재료, 수치) 의 누락을 방지하고 정확도를 높이는 데 초점을 맞춥니다.

3. Focal Loss:

   • 학습이 쉬운 예제의 가중치를 줄이고 어려운 예제에 집중하도록 하여 토큰 빈도 불균형을 해소합니다.

4. 혼합 손실 (Mixed Loss):

   • 유창성 (CE) 과 구조적 정확성 (Topological, Dice) 의 균형을 맞추기 위해 L = 0.6L_CE + 0.2L_Dice + 0.2L_Topological 형태의 복합 목적 함수를 사용합니다.

평가 지표 (Evaluation Metrics)

• 기존 지표: ROUGE-1, BERTScore (유창성 및 의미 유사성).
• 레시피 특화 지표:
  • Ingredient Recall (IR): 정답 재료의 회수율.
  • Quantity Precision (QP): 재료 양의 정확도.
  • Action Precision (AP): 조리 동작 (삶기, 볶기 등) 의 정확도.
  • Time/Temperature Precision (TiP/TeP): 시간 및 온도 값의 정확도.
  • Edit Distance (AD/SD): 조리 동작 및 단계 시퀀스의 편집 거리 (절차적 정확성).

3. 주요 기여 (Key Contributions)

1. 위상적 손실 (Topological Loss) 도입: 레시피의 재료 목록을 임베딩 공간의 점 구름으로 모델링하고 Sinkhorn divergence 를 통해 최적 수송 거리를 최소화하는 새로운 손실 함수를 제안했습니다. 이는 토큰 단위 오류를 넘어 재료 집합의 구조적 일관성을 학습하게 합니다.
2. 구조적 정확성 향상을 위한 손실 함수 조합: CE 기반 학습의 한계를 극복하기 위해 Dice Loss 와 Topological Loss 를 결합한 복합 목적 함수를 설계하고, 수치 정확도와 재료 구조 간의 시너지 효과를 입증했습니다.
3. 레시피 특화 평가 체계 구축: 유창성뿐만 아니라 재료, 양, 시간, 온도, 절차적 논리성을 정량적으로 평가하는 새로운 메트릭 세트를 제안하고 이를 실험에 적용했습니다.
4. 소규모 언어 모델 (SLM) 에 대한 유효성 검증: 대규모 모델 없이도, 잘 설계된 손실 함수와 파인튜닝을 통해 레시피 생성의 사실성과 실행 가능성을 크게 향상시킬 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 모델 설정: Qwen3-4B 모델을 LoRA (Low-Rank Adaptation) 를 통해 파인튜닝하여 실험했습니다. (Gemini 2.0 Flash 및 Qwen3-14B 와 비교)
• 정량적 평가:
  • Topological Loss: 재료 회수율 (IR), 양 정확도 (QP), 행동 정밀도 (AP) 에서 CE 대비 가장 일관된 개선을 보였습니다. 또한 절차적 오류 (Edit Distance) 를 가장 크게 줄였습니다.
  • Dice Loss: 시간 (TiP) 과 온도 (TeP) 의 수치적 정확도에서 가장 우수한 성능을 보였습니다.
  • 혼합 손실 (Topo+Dice): 모든 지표에서 가장 균형 잡힌 성능을 보였습니다. 특히 양 정확도와 시간 정확도에서 시너지 효과를 발휘하여 CE 및 단일 커스텀 손실 대비 우수한 결과를 기록했습니다.
  • 일반 LLM 대비 우위: 파인튜닝되지 않은 대형 모델 (Gemini 2.0, Qwen3-14B) 보다 파인튜닝된 소형 모델이 레시피 특화 지표에서 더 높은 성능을 보였습니다.
• 정성적 평가 (Human Evaluation):
  • 3 명의 전문가 평가자 (요리사, 베이커 등) 가 64 개의 레시피를 비교 평가했습니다.
  • Topo+Dice 모델은 CE 모델 대비 **전체 품질에서 62%**의 선호도를 얻었습니다 (동점 제외 시 승률 84%).
  • 오류 감소: 생성 오류가 24.0% (CE) 에서 7.8% (Topo+Dice) 로 67.5% 감소했습니다. 특히 단계 불일치, 재료 누락, 환각 (Hallucination) 이 거의 제거되었습니다.

5. 의의 및 결론 (Significance)

이 연구는 손실 함수 (Loss Function) 의 재설계가 대규모 모델의 크기를 늘리지 않고도 구조화된 텍스트 생성의 정확도를 획기적으로 높일 수 있음을 입증했습니다.

• 구조적 일관성 강조: 단순한 토큰 예측을 넘어, 임베딩 공간에서의 기하학적 구조 (위상) 를 고려함으로써 레시피와 같은 복잡한 구조적 데이터 생성에 필수적인 '전체적 구성 (holistic composition)' 능력을 향상시켰습니다.
• 실용적 가치: 제안된 방법은 계산 비용이 적게 들며 (학습 시에만 추가 오버헤드 발생), 추론 속도는 동일하게 유지됩니다. 이는 실제 요리 애플리케이션 등 안전과 정확성이 중요한 분야에서 소규모 언어 모델을 효과적으로 활용할 수 있는 길을 열었습니다.
• 향후 과제: 더 다양한 요리 문화로 확장하고, 안전성 및 영양학적 검증 단계를 통합하는 방향으로 연구가 진행될 예정입니다.

요약하자면, 이 논문은 **"요리 레시피 생성은 유창함보다 정확성이 중요하며, 이를 위해 토큰 단위가 아닌 집합 및 위상 구조를 고려한 손실 함수가 필요하다"**는 점을 강력하게 주장하고 이를 실험적으로 입증한 연구입니다.