Losses that Cook: Topological Optimal Transport for Structured Recipe Generation

Titre : Losses that Cook : Transport Optimal Topologique pour la Génération de Recettes Structurées

1. Problématique

La génération de recettes de cuisine par des modèles de langage (LLM) présente un défi unique qui dépasse la simple fluidité textuelle. Une recette utilisable doit être non seulement grammaticalement correcte, mais aussi factuellement précise (ingrédients appropriés), numériquement fiable (quantités, temps, températures plausibles) et procéduralement cohérente (étapes logiques).

Les méthodes d'entraînement standard basées sur la perte d'entropie croisée (Cross-Entropy - CE) échouent souvent dans ce contexte car :

• Elles traitent tous les tokens de manière égale, ne distinguant pas les tokens critiques (ingrédients, quantités, actions) des mots de liaison.
• Elles favorisent la fluidité sémantique au détriment de la structure factuelle, conduisant à des erreurs critiques comme l'omission d'ingrédients essentiels, des quantités irréalistes ou des séquences d'instructions incohérentes.
• Les métriques d'évaluation standard (ROUGE, BERTScore) mesurent la similarité textuelle mais ne capturent pas la précision des contraintes structurales et numériques.

2. Méthodologie

Les auteurs proposent une approche centrée sur l'optimisation de la fonction de perte (loss function) pour des Petits Modèles de Langage (SLM) finement ajustés sur le corpus RECIPE-NLG (spécifiquement pour les pâtes, le riz et les sandwichs).

A. Architecture et Données

• Modèle : Utilisation de Qwen3-4B (et d'autres modèles pour validation) avec adaptation LoRA (Low-Rank Adaptation).
• Données : Un sous-ensemble de 5 000 recettes augmenté de 235 questions manuellement curatées couvrant l'identification d'ingrédients manquants, les substitutions, le scaling de recettes, et le raisonnement sur les quantités/temps/températures.
• Format de sortie : JSON structuré contenant la liste des ingrédients et les étapes d'instruction.

B. Nouvelles Fonctions de Perte (Loss Functions)
L'article introduit et compare plusieurs objectifs d'entraînement :

1. Perte Topologique (Contribution Principale) :
   • Concept : Représente les listes d'ingrédients comme des nuages de points dans l'espace d'embedding.
   • Mécanisme : Au lieu de comparer token par token, le modèle calcule une divergence de Sinkhorn (une approximation différentiable de la distance de Wasserstein/Transport Optimal) entre le nuage de points des ingrédients prédits et celui de la vérité terrain.
   • Avantage : Encourage la cohérence structurelle et sémantique globale de l'ensemble des ingrédients, pénalisant les décalages sémantiques (ex: "sel" vs "poivre") et structurels (ex: "œuf" vs "œufs") que la CE ignore.
2. Perte Dice : Optimise le chevauchement au niveau de l'ensemble (set-level) pour améliorer la précision des tokens critiques et réduire les omissions.
3. Perte Focal : Réduit le poids des exemples faciles pour se concentrer sur les tokens rares ou difficiles.
4. Perte Mixte : Combinaison de la CE, de la perte Dice et de la perte Topologique pour équilibrer fluidité, précision numérique et structure sémantique.

C. Métriques d'Évaluation
Outre ROUGE-1 et BERTScore, les auteurs définissent une suite de métriques spécifiques aux recettes :

• Rappel des ingrédients (IR) : Fraction d'ingrédients corrects générés.
• Précision des quantités (QP) : Exactitude des nombres pour les ingrédients rappelés.
• Précision des actions (AP) : Exactitude des verbes de cuisson.
• Distances d'édition (AD/SD) : Mesure de la divergence procédurale entre les étapes générées et la référence.
• Précision du temps et de la température (TiP/TeP).

3. Résultats Clés

Les expériences montrent que l'ajout de pertes personnalisées améliore significativement la génération structurée par rapport à la seule entropie croisée (CE) :

• Performance de la Perte Topologique : Elle obtient les meilleurs résultats en termes de rappel d'ingrédients (IR), de précision des actions (AP) et de quantités (QP). Elle réduit également les distances d'édition (AD/SD), indiquant une meilleure cohérence procédurale.
• Performance de la Perte Dice : Elle excelle spécifiquement sur la précision des temps et températures, surpassant la CE et la perte topologique sur ces métriques numériques pures.
• Configuration Mixte (Topo + Dice) : Cette combinaison offre le meilleur compromis global. Elle atteint les scores les plus élevés en ROUGE-1, BERTScore, QP et TiP, tout en maintenant les meilleures distances d'édition. Elle démontre des gains synergiques, combinant la force de la Dice sur les nombres et celle de la Topologie sur la structure sémantique.
• Évaluation Humaine : Sur 64 recettes évaluées par des experts, le modèle entraîné avec la perte mixte (Topo+Dice) est préféré dans 62 % des cas (contre 11 % pour la CE). L'analyse des erreurs montre une réduction de 67,5 % des erreurs de génération, éliminant presque totalement les incohérences critiques (mismatches d'étapes, hallucinations).
• Généralisation : Les tendances se maintiennent sur des architectures et des tailles de modèles différentes (SmolLM3-3B, Qwen2.5-1.5B), confirmant que la méthode n'est pas spécifique à un seul modèle.

4. Contributions Principales

1. Introduction d'une perte topologique : Une nouvelle fonction de perte basée sur le transport optimal (Sinkhorn) qui modélise les listes d'ingrédients comme des nuages de points dans l'espace d'embedding, capturant la structure globale au-delà de la simple correspondance token par token.
2. Cadre d'évaluation spécialisé : Développement d'une suite de métriques spécifiques aux recettes (ingrédients, quantités, temps, étapes) pour évaluer la faisabilité réelle des recettes générées.
3. Preuve de l'efficacité des pertes composites : Démonstration que combiner des pertes orientées structure (Topologie) et des pertes orientées ensemble (Dice) permet de surmonter les limites de l'entropie croisée sans augmenter la taille du modèle ni la complexité à l'inférence.

5. Signification et Impact

Ce travail démontre que la qualité des modèles de langage pour des tâches structurées et contraintes ne dépend pas uniquement de la taille du modèle ou de la quantité de données, mais aussi de la conception intelligente des fonctions de perte.

• Efficacité des SLM : Il est possible d'obtenir des performances supérieures à des modèles commerciaux plus grands (comme Gemini 2.0 Flash) en utilisant des modèles plus petits (4B) finement ajustés avec des objectifs adaptés.
• Passage de la fluidité à la faisabilité : L'étude marque un changement de paradigme, passant de l'optimisation de la similarité textuelle à l'optimisation de la cohérence procédurale et factuelle, essentielle pour les applications réelles (cuisine, médecine, ingénierie).
• Faible coût computationnel : L'ajout de ces pertes n'augmente pas la complexité à l'inférence et n'ajoute qu'un surcoût marginal à l'entraînement (environ 6,7 % de temps supplémentaire), rendant la méthode très pratique.

En conclusion, l'article "Losses that Cook" fournit une feuille de route robuste pour améliorer la génération de texte structuré en intégrant la géométrie de l'espace d'embedding et les propriétés d'ensemble dans le processus d'apprentissage.