MFP3D: Monocular Food Portion Estimation Leveraging 3D Point Clouds

Ce papier présente MFP3D, un nouveau cadre utilisant une seule image monoculaire pour estimer avec précision les portions alimentaires en reconstruisant un nuage de points 3D et en combinant ces données avec des caractéristiques d'image 2D pour prédire le volume et l'énergie.

L'essentiel

🍎 MFP3D : Le "Super-Regard" qui compte vos calories

Imaginez que vous prenez une photo de votre assiette avec votre téléphone. Pour une intelligence artificielle (IA), cette photo est comme un dessin en 2D : elle voit les couleurs et les formes, mais elle a perdu la profondeur. C'est comme essayer de deviner le volume d'une boîte de conserve en ne regardant que son étiquette plate : on ne sait pas si elle est petite et profonde, ou large et plate.

C'est là que le problème commence : pour savoir combien de calories vous avez mangées, il faut connaître le volume de la nourriture, pas juste son apparence.

L'équipe de chercheurs de Purdue University (aux États-Unis) et de l'Université de l'Anhui (en Chine) a créé MFP3D, une nouvelle méthode pour résoudre ce casse-tête. Voici comment cela fonctionne, expliqué avec des analogies simples.

1. Le Problème : La photo est un "mensonge"

Quand vous prenez une photo, l'information 3D (la hauteur, la profondeur) disparaît.

• L'analogie : C'est comme si vous regardiez l'ombre d'un éléphant sur un mur. Vous voyez une grande forme, mais vous ne savez pas si c'est un éléphant géant ou un petit éléphant très proche du mur.
• Les anciennes méthodes : Pour deviner la taille, les anciennes IA demandaient des trucs compliqués : un objet de référence dans la photo (comme une règle ou une pièce de monnaie), ou plusieurs photos prises sous différents angles. C'est gênant dans la vraie vie !

2. La Solution MFP3D : La "Machine à Remonter le Temps"

MFP3D est un système qui prend une seule photo (monoculaire) et fait deux choses magiques :

• Étape 1 : La Reconstruction (Le sculpteur invisible)
  L'IA regarde la photo et imagine comment la nourriture se présente en 3D. Elle crée un nuage de points.

  • L'analogie : Imaginez que l'IA prend votre photo plate et la transforme en une sculpture faite de millions de petits grains de sable virtuels. Chaque grain a une position précise dans l'espace. Même si la photo est plate, ce "nuage de points" a du volume.

• Étape 2 : Le Duo Dynamique (Les deux yeux)
  L'IA ne se contente pas de ce nuage de points. Elle regarde aussi la photo originale.

  • L'analogie : C'est comme si l'IA avait deux yeux.
    • L'œil gauche (le nuage de points) voit la forme et le volume (combien de place ça occupe).
    • L'œil droit (la photo couleur) voit la texture et les ingrédients (est-ce que c'est de la crème glacée ou du brocoli ?).
      En combinant ces deux regards, l'IA comprend beaucoup mieux ce qu'elle regarde.

• Étape 3 : Le Calculateur (Le chef cuisinier)
  Une fois qu'elle a compris la forme et la texture, un petit cerveau mathématique (un modèle de régression) calcule le volume exact et en déduit les calories.

3. Pourquoi c'est révolutionnaire ?

Dans leurs tests, les chercheurs ont comparé leur méthode à d'autres.

• Avant : Il fallait souvent une caméra spéciale, plusieurs photos, ou un objet de référence sur la table.
• Aujourd'hui (MFP3D) : Vous prenez juste une photo normale avec votre smartphone. Pas besoin de règle, pas besoin de deuxième photo.

Le résultat ?
Sur un grand jeu de données de nourriture (MetaFood3D), MFP3D a été beaucoup plus précis que les méthodes actuelles pour estimer le volume et l'énergie.

• L'analogie finale : Si les anciennes méthodes étaient comme essayer de deviner le poids d'un gâteau en le regardant de loin, MFP3D est comme si l'IA pouvait virtuellement "peser" le gâteau en le manipulant avec ses mains numériques, tout en sachant exactement de quoi il est fait.

En résumé

MFP3D, c'est comme donner à votre téléphone la capacité de voir en 3D à partir d'une seule photo plate. En mélangeant la géométrie (la forme) et la couleur (la texture), il peut dire avec beaucoup de précision : "Attention, ce bol de pâtes contient environ 450 calories", même si vous n'avez mis aucune règle à côté de votre assiette.

C'est une étape de plus vers une santé meilleure, où suivre son alimentation devient aussi simple que de prendre une photo de son repas. 📸🥗✨

Résumé technique

1. Problématique

L'estimation précise des portions alimentaires est cruciale pour le suivi de la santé et l'évaluation de l'apport nutritionnel. Bien que les méthodes basées sur l'analyse d'images (évaluation diététique par image) remplacent progressivement les méthodes traditionnelles (comme les rappels de 24 heures), l'estimation précise de la nutrition à partir d'images reste un défi majeur.

Le problème fondamental réside dans la perte d'information 3D lors du passage d'un monde en 3D à un plan d'image 2D. Estimer le volume ou l'énergie d'un aliment à partir d'une seule image monoculaire est un problème mal posé (ill-posed). Les méthodes existantes souffrent de limitations pratiques :

• Elles nécessitent souvent des objets de référence physiques (ex: motifs en damier) dans l'image.
• Elles dépendent de cartes de profondeur de haute qualité (capteurs RGBD) difficiles à obtenir dans des scénarios réels.
• Elles requièrent des vues multiples ou des vidéos, ce qui n'est pas toujours disponible.

L'objectif est donc de développer un système capable d'estimer avec précision le volume et l'énergie d'un aliment à partir d'une seule image monoculaire RGB, sans informations supplémentaires.

2. Méthodologie : Le Framework MFP3D

Les auteurs proposent MFP3D, un pipeline d'estimation de portions en trois étapes qui reconstruit une représentation 3D (nuage de points) à partir d'une image 2D et fusionne les caractéristiques 2D et 3D.

A. Module de Reconstruction 3D (Étape 1)

L'objectif est de générer un nuage de points 3D à partir de l'image d'entrée.

1. Segmentation : L'image est d'abord traitée par le modèle Segment Anything (SAM) pour isoler l'aliment du fond et obtenir un masque.
2. Reconstruction : L'image masquée est entrée dans un modèle de reconstruction. Les auteurs explorent deux approches pour générer le nuage de points :
   • Nuages de points basés sur la profondeur : Utilisation de ZoeDepth pour estimer une carte de profondeur, qui est ensuite combinée aux coordonnées 2D de l'image pour former un nuage de points.
   • Nuages de points basés sur les maillages (TripoSR) : Utilisation du modèle TripoSR pour reconstruire directement une maillage 3D à partir de l'image monoculaire, puis échantillonnage de ce maillage pour obtenir un nuage de points.

B. Module d'Extraction de Caractéristiques (Étape 2)

Ce module utilise une approche multimodale pour extraire et fusionner les informations :

1. Extraction 2D : Un réseau ResNet50 (pré-entraîné sur ImageNet) extrait les caractéristiques visuelles de l'image RGB (texture, ingrédients, bords).
2. Extraction 3D : Un réseau CurveNet (spécialisé pour les nuages de points) extrait les caractéristiques géométriques (forme, taille, structure locale) du nuage de points.
3. Fusion : Les vecteurs de caractéristiques 2D et 3D sont concaténés pour former un vecteur de caractéristiques complet. Cette fusion permet de combiner la richesse visuelle de l'image avec les détails géométriques du nuage de points.

C. Module de Régression de la Portions (Étape 3)

Le vecteur de caractéristiques fusionné est transmis à un réseau de régression profond (couche linéaire) qui prédit les valeurs cibles :

• Le volume de l'aliment.
• La teneur énergétique (en kcal).
  Le modèle est entraîné de bout en bout (end-to-end) en utilisant la perte L1 (erreur absolue moyenne) pour minimiser l'écart entre les prédictions et les valeurs réelles (Ground Truth).

3. Contributions Clés

• Cadre Monoculaire End-to-End : MFP3D est le premier cadre à estimer les portions alimentaires avec une grande précision en utilisant uniquement une image RGB monoculaire, éliminant le besoin d'objets de référence physiques ou de capteurs de profondeur coûteux.
• Utilisation Innovante des Nuages de Points : L'application de l'extraction de caractéristiques de nuages de points (généralement utilisée pour la classification) à la tâche de régression de portions alimentaires.
• Approche Multimodale : La démonstration que la combinaison des caractéristiques 2D (image) et 3D (nuage de points) surpasse significativement les méthodes unimodales, en capturant à la fois la géométrie et la composition visuelle.

4. Résultats Expérimentaux

Le modèle a été évalué sur le jeu de données MetaFood3D (637 objets, 108 catégories) et SimpleFood45.

• Estimation de l'Énergie :
  • Sur MetaFood3D, MFP3D atteint une erreur absolue moyenne (MAE) de 77,98 kcal et une erreur absolue moyenne en pourcentage (MAPE) de 68,05 %.
  • Cela surpasse nettement les méthodes de base (Baseline), les approches "RGB Only", et même les méthodes assistées par des références physiques ou des cartes de densité.
• Estimation du Volume :
  • Sur MetaFood3D, MFP3D obtient un MAE de 62,60 ml et un MAPE de 41,43 %.
  • Le modèle surpasse des méthodes complexes comme la reconstruction stéréo (qui nécessite deux vues) et la reconstruction par voxels (qui nécessite des cartes de profondeur réelles).
• Études d'Ablation :
  • L'ajout de l'image RGB en complément du nuage de points améliore systématiquement les performances, en particulier pour l'estimation de l'énergie (baisse du MAPE de plus de 40 % pour les nuages de points basés sur la profondeur).
  • Les résultats montrent que l'échelle réelle (facteur de mise à l'échelle) contenue dans les données 3D est critique, mais que MFP3D parvient à estimer cela efficacement même sans échelle absolue parfaite, grâce à la fusion multimodale.

5. Signification et Impact

Ce travail démontre qu'il est possible de surmonter la perte d'information 3D dans les images alimentaires sans recourir à du matériel spécialisé ou à des annotations complexes.

• Déploiement Pratique : En ne nécessitant qu'une simple photo prise avec un smartphone, MFP3D ouvre la voie à des applications grand public pour le suivi diététique précis.
• Avancement Scientifique : Il établit un nouveau standard pour l'estimation de portions en prouvant que la reconstruction 3D à partir d'une seule image, couplée à l'apprentissage multimodal, est une voie viable et supérieure aux approches actuelles.

En conclusion, MFP3D offre une solution robuste, précise et accessible pour transformer les images alimentaires en données nutritionnelles quantitatives fiables.