💻 computer science

HACI-Net: A Hybrid Attention and Channel Interaction Network for Food Image Recognition

Cet article propose HACI-Net, un réseau hybride basé sur ConvNeXt intégrant des mécanismes d'attention spatiale, de coordonnées et de canaux avec des modules d'interaction de canaux pour relever efficacement les défis de la reconnaissance d'images alimentaires, atteignant une précision de l'état de l'art sur les ensembles de données VireoFood-172 et ChineseFoodNet.

Auteurs originaux : Zhiyong Xiao, Chaoliang Liu, Zhaohong Deng

Publié 2026-09-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhiyong Xiao, Chaoliang Liu, Zhaohong Deng

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Chaque jour, des milliards de personnes font des choix concernant ce qu'elles mangent, des choix qui ont des répercussions sur leur santé, leur énergie et leur bien-être à long terme. Pendant des décennies, le suivi de ces choix a reposé sur la mémoire humaine et la saisie manuelle, un processus sujet à l'erreur et à la fatigue. Ces dernières années, les scientifiques se sont tournés vers l'informatique pour résoudre ce problème, apprenant aux machines à regarder une photographie d'un repas et à identifier exactement ce qui se trouve dans l'assiette. Ce domaine, connu sous le nom de reconnaissance d'images alimentaires, vise à automatiser le suivi de l'alimentation, aidant les gens à gérer leur poids, à prévenir les maladies chroniques et à comprendre leur apport nutritionnel sans le fardeau d'une saisie manuelle constante. Cependant, apprendre à un ordinateur à distinguer deux plats très similaires est notoirement difficile. Un bol de nouilles peut paraître différent selon l'éclairage, l'angle de la caméra ou l'encombrement d'une cuillère et d'une serviette en arrière-plan. De plus, les indices visuels que les humains utilisent pour distinguer les aliments — tels que la texture spécifique d'une sauce ou la disposition des ingrédients — sont souvent dispersés à travers différentes couches de données visuelles, ce qui rend difficile pour les programmes informatiques standards de les assembler en une image claire.

Pour relever ces défis persistants, des chercheurs de l'Université de Jiangnan ont développé un nouveau système appelé HACI-Net. Ce système est conçu pour regarder les images alimentaires comme le ferait un observateur attentif : en se concentrant intensément sur les parties les plus importantes du plat tout en ignorant l'arrière-plan distrayant, et en combinant soigneusement différents indices visuels pour former une compréhension complète. L'équipe a construit son système sur une base moderne appelée ConvNeXt, qui est déjà assez performante pour reconnaître les motifs dans les images. Cependant, ils ont constaté que cette base seule ne suffisait pas pour gérer les différences subtiles entre des catégories alimentaires similaires. Pour y remédier, ils ont ajouté deux outils spécifiques au système. Le premier est un mécanisme d'attention hybride, qui agit comme un projecteur. Il scanne l'image pour trouver les zones les plus significatives, telles que la portion principale de nourriture, et atténue le bruit de l'arrière-plan, comme les assiettes ou les nappes. Cela garantit que l'ordinateur regarde l'aliment lui-même, et non l'environnement qui l'entoure.

Le second outil est un module d'interaction de canaux, qui aide le système à connecter différents types d'informations visuelles. Lorsqu'un ordinateur analyse une image, il décompose l'image en de nombreux canaux distincts, chacun capturant un aspect spécifique comme la couleur, la forme ou la texture. Dans les anciens systèmes, ces canaux travaillaient souvent de manière isolée, échouant à partager ce qu'ils apprenaient les uns avec les autres. Le nouveau module force ces canaux à communiquer entre eux, permettant au système de réaliser qu'une couleur rouge spécifique et une texture lisse spécifique appartiennent au même ingrédient. En mélangeant ces signaux, le système crée une description beaucoup plus riche et précise de l'aliment. Les chercheurs ont testé cette nouvelle approche sur deux grandes collections de photographies alimentaires : l'une contenant 172 types différents de plats provenant de divers environnements de restauration, et une autre contenant 208 plats chinois courants qui sont souvent visuellement très similaires les uns aux autres.

Les résultats ont montré que cette approche combinée fonctionne nettement mieux que les méthodes précédentes. Sur la première collection d'images, le nouveau système a correctement identifié l'aliment 94,17 % du temps. Sur la seconde collection, plus difficile, où les plats se ressemblent presque de manière identique, il a atteint une précision de 85,46 %. Ces chiffres représentent une amélioration par rapport aux autres modèles informatiques de pointe, qui peinaient à atteindre de tels niveaux de précision. Les chercheurs ont vérifié ce succès en créant des cartes thermiques visuelles, qui montrent exactement où l'ordinateur regardait lorsqu'il prenait sa décision. Ces cartes ont révélé que le nouveau système se concentrait nettement sur les aliments, tandis que les anciens modèles étaient souvent distraits par les objets en arrière-plan. Bien que le système soit actuellement assez volumineux et nécessite des ordinateurs puissants pour fonctionner, les chercheurs reconnaissent que les travaux futurs porteront sur la réduction de sa taille et l'augmentation de sa vitesse afin qu'il puisse éventuellement fonctionner sur des appareils du quotidien comme les smartphones. Pour l'instant, l'étude démontre qu'en apprenant aux ordinateurs à mieux prêter attention et à partager l'information plus efficacement, nous pouvons construire des outils qui comprennent nos régimes alimentaires avec un niveau de détail auparavant jugé difficile à atteindre.

Résumé Technique : HACI-Net pour la reconnaissance d'images alimentaires

1. Énoncé du problème

La reconnaissance d'images alimentaires est une composante critique de la gestion diététique automatisée, de l'évaluation nutritionnelle et du suivi de la santé. Cependant, la tâche reste très complexe en raison de plusieurs facteurs :

Diversité et similitude visuelles : Les catégories alimentaires présentent de vastes variations intra-classes (ex. : dressage, forme, couleur) tout en partageant souvent des similitudes inter-classes subtiles, ce qui rend la distinction fine difficile.
Complexité environnementale : Les images du monde réel sont capturées sous diverses conditions d'éclairage, de points de vue et d'arrière-plans, entraînant une forte interférence de l'arrière-plan qui obscurcit les régions clés de la nourriture.
Limites des caractéristiques : Les réseaux de neurones convolutifs (CNN) existants peinent souvent à modéliser les dépendances à longue portée, tandis que les Vision Transformers (ViT) peuvent souffrir de dispersion des caractéristiques et d'une attention insuffisante aux détails fins locaux. De plus, les deux architectures manquent souvent de mécanismes efficaces d'interaction entre les canaux, ce qui entraîne des représentations redondantes et une fusion de caractéristiques sous-optimale.

2. Méthodologie

L'article propose HACI-Net (Hybrid Attention and Channel Interaction Network), une architecture d'apprentissage profond basée sur le squelette ConvNeXt. Le modèle est conçu pour créer une synergie entre les capacités d'extraction de caractéristiques locales de la convolution et des mécanismes avancés d'attention et d'interaction de canaux.

2.1 Architecture globale

HACI-Net se compose de quatre étapes d'extraction de caractéristiques hiérarchiques. Chaque étape comprend :

Une couche de sous-échantillonnage (downsampling).
Plusieurs blocs de base ConvNeXt pour l'extraction de caractéristiques centrales.
Un Module d'Attention Hybride (HAM) intégré à la fin de chaque étape pour renforcer la saillance des caractéristiques.
Après les quatre étapes, un Bloc d'Interaction de Canaux (CIB) est appliqué avant le classificateur final pour optimiser la fusion globale des caractéristiques.

2.2 Module d'Attention Hybride (HAM)

Le HAM est conçu pour supprimer le bruit de l'arrière-plan et se concentrer sur les régions alimentaires saillantes en intégrant trois mécanismes d'attention complémentaires avec des connexions résiduelles :

Attention Spatiale : Utilise un pooling moyen le long de la dimension des canaux suivi d'une convolution $7 \times 7$ pour capturer l'information contextuelle globale et identifier les emplacements spatiaux informatifs.
Attention de Coordonnées : Décompose les caractéristiques spatiales en directions horizontales et verticales à l'aide d'un pooling moyen global. Il emploie un Perceptron Multicouche (MLP) pour modéliser les dépendances directionnelles, préservant ainsi une information positionnelle précise.
Attention de Canal : Compresse les dimensions spatiales via un pooling moyen global et utilise un MLP pour apprendre les corrélations inter-canaux, repondérant les canaux selon leur importance.
Intégration Résiduelle : Les sorties de ces branches sont combinées via une multiplication élément par élément et réajoutées aux caractéristiques originales via des connexions résiduelles pour stabiliser l'entraînement et prévenir les décalages de distribution des caractéristiques.

2.3 Module d'Interaction de Canaux (CIB)

Pour remédier à la limitation de ConvNeXt dans la modélisation des dépendances inter-canaux, le CIB facilite l'échange dynamique d'informations entre les canaux :

Convolution Groupée Pointwise : Étend la dimension des canaux pour permettre une interaction préliminaire entre les canaux tout en réduisant la complexité computationnelle.
Channel Shuffle (Mélange de Canaux) : Réorganise les canaux à travers les groupes pour atténuer l'isolement des canaux et promouvoir un échange d'informations complet.
Convolution Depthwise : Capture le contexte spatial local indépendamment pour chaque canal, préservant l'indépendance des canaux et réduisant les paramètres.
MLP et Normalisation : Une seconde convolution groupée $1 \times 1$ compresse les caractéristiques, suivie d'une Normalisation de Couche (Layer Normalization), d'une connexion résiduelle et d'un MLP pour modéliser les dépendances inter-canaux non linéaires complexes.

3. Contributions Clés

Les auteurs résument leurs contributions comme suit :

Nouvelle Architecture : Proposition de HACI-Net, un réseau basé sur ConvNeXt spécifiquement adapté à la reconnaissance d'images alimentaires.
Conception d'Attention Hybride : Développement d'un module intégrant l'attention spatiale, de coordonnées et de canal avec des connexions résiduelles pour améliorer la focalisation sur les régions clés et la stabilité de l'entraînement.
Mécanisme d'Interaction de Canaux : Introduction d'un module utilisant des convolutions groupées pointwise et le mélange de canaux pour permettre un échange efficace d'informations inter-canaux.
Validation Empirique : Démonstration d'une précision compétitive et d'une forte généralisation sur deux ensembles de données majeurs.

4. Résultats Expérimentaux

Le modèle a été évalué sur deux ensembles de données publics : VireoFood-172 (172 catégories, environnements de restauration réels) et ChineseFoodNet (208 plats chinois, haute similitude visuelle).

Métriques de Performance : HACI-Net a atteint des précisions de reconnaissance de 94,17 % sur VireoFood-172 et de 85,46 % sur ChineseFoodNet.
Comparaison : Le modèle a surpassé les bases de référence de l'état de l'art, incluant ResNet, TResNet, EfficientNet, ViT, Swin Transformer et les variantes de DeiT, ainsi que les méthodes spécifiques à l'alimentaires précédentes comme MSMVFA et MVANet.
Études d'Ablation : Les expériences ont confirmé que les modules d'Attention Hybride et d'Interaction de Canaux contribuent tous deux positivement à la performance. La combinaison des deux modules a produit la précision la plus élevée, validant leur effet synergique.
Visualisation : L'analyse par carte de chaleur (Grad-CAM) a indiqué que HACI-Net se concentre plus précisément sur les composants alimentaires principaux et est moins distrait par les éléments d'arrière-plan par rapport au modèle de base ConvNeXt.

5. Signification et Travaux Futurs

L'article affirme que HACI-Net traite efficacement les défis de l'interférence de l'arrière-plan, de la similitude des classes et des faibles corrélations sémantiques dans la reconnaissance d'images alimentaires. En intégrant l'attention hybride et l'interaction de canaux, le modèle atteint un pouvoir discriminatif supérieur dans des scénarios complexes.

Limites et Directions Futures :
Les auteurs reconnaissent que HACI-Net possède une complexité de modèle relativement élevée, posant des défis pour le déploiement sur des appareils mobiles ou des périphériques (edge devices) aux ressources limitées. Des travaux futurs sont proposés pour se concentrer sur :

Conception Légère (Lightweight) : Explorer la recherche d'architecture neuronale (NAS), la distillation de connaissances, l'élagage de canaux (channel pruning) et la quantification de faible précision pour réduire les coûts de calcul.
Intégration Multimodale : Aller au-delà de l'entrée visuelle à modalité unique pour incorporer des informations auxiliaires telles que la composition des ingrédients, les étiquettes nutritionnelles et les textes de recettes en utilisant l'alignement image-texte et l'attention cross-modale. Cela vise à étendre le système d'une simple reconnaissance vers une compréhension nutritionnelle complète et des recommandations diététiques personnalisées.