💻 computer science

HugSelect: An Explainable Multi-Criteria Decision-Support Framework for foundation-model selection

Cet article introduit HugSelect, un cadre de support à la décision multicritère explicable qui construit une base de connaissances exhaustive de plus de 71 000 modèles de fondation afin de fournir des recommandations auditables, transparentes et de haute qualité en privilégiant les capacités fonctionnelles et la qualité perçue par la communauté plutôt que de simples mesures de popularité.

Auteurs originaux : Alireza Joonbakhsh (Shiraz University), Arda Canser Adalı (Utrecht University), Slinger Jansen (Utrecht University), Farshad Khunjush (Shiraz University), Siamak Farshidi (Wageningen University,Resear

Publié 2026-08-11

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alireza Joonbakhsh (Shiraz University), Arda Canser Adalı (Utrecht University), Slinger Jansen (Utrecht University), Farshad Khunjush (Shiraz University), Siamak Farshidi (Wageningen University,Research)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous pénétrez dans une bibliothèque immense et chaotique où les étagères s'élèvent vers les nuages et se perdent dans la brume. Ce n'est pas une bibliothèque de livres, mais de « modèles de fondation » — ces gigantesques circuits cérébraux réutilisables qui alimentent tout, des chatbots aux outils de diagnostic médical. Dans le monde du génie logiciel, ces modèles sont comme les moteurs d'une voiture ; vous ne pouvez pas simplement en choisir un parce qu'il est joli ou parce que c'est la marque la plus populaire. Vous devez savoir s'il s'adapte à votre châssis spécifique, s'il fonctionne avec le carburant dont vous disposez, et s'il ne tombera pas en panne quand vous rencontrerez une bosse.

Le problème est que cette bibliothèque grandit si vite qu'aucun humain ne peut lire toutes les étiquettes. Habituellement, les gens se contentent de prendre l'article le plus téléchargé ou demandent conseil à un robot super intelligent (une IA). Mais demander conseil à un robot, c'est comme demander une recette à un magicien ; il peut vous donner une réponse délicieuse, mais vous n'avez aucune idée de la façon dont il l'a préparée, et parfois, il peut simplement inventer des choses. Ce document, écrit par une équipe de chercheurs, pose une question simple mais délicate : comment choisir le bon moteur pour notre voiture quand la bibliothèque est trop grande pour être lue et que les magiciens sont un peu trop mystérieux ? Ils proposent une nouvelle méthode de sélection qui ne se contente pas de deviner, mais qui explique réellement pourquoi elle a choisi ce qu'elle a choisi, transformant un pari magique en une liste de contrôle claire et auditable.

Le Problème : Le piège du « concours de popularité »

Actuellement, si vous voulez trouver un modèle de fondation sur des plateformes comme Hugging Face, c'est un peu comme acheter un nouveau téléphone en se basant uniquement sur le nombre de personnes qui l'ont acheté. Vous voyez une liste triée par « téléchargements » ou « mentions j'aime ». Mais la popularité n'est pas la même chose que la performance. Ce n'est pas parce qu'un modèle est célèbre qu'il peut accomplir la tâche spécifique dont vous avez besoin, comme traduire des langues anciennes ou fonctionner sur un minuscule ordinateur portable.

Les auteurs soutiennent que choisir un modèle ne devrait pas être une simple recherche par mot-clé ou un concours de popularité. C'est une décision complexe de génie logiciel. Vous devez équilibrer des besoins fonctionnels (peut-il écrire du code ?), des contraintes opérationnelles (rentre-t-il dans ma mémoire ?) et des préoccupations de qualité (est-il fiable ?). Se fier uniquement à la popularité ou demander conseil à une IA « boîte noire » vous laisse dans l'obscurité quant au pourquoi un modèle a été choisi.

La Solution : HugSelect, le « Bibliothécaire Explicable »

Voyez HugSelect non pas comme une boule de cristal, mais comme un bibliothécaire super organisé et hyper logique qui a lu chaque livre de la bibliothèque et pris des notes détaillées sur chaque page.

Voici comment fonctionne HugSelect, en utilisant une analogie amusante :

Imaginez que vous cherchez un type de voiture spécifique. Vous dites au bibliothécaire : « J'ai besoin d'une voiture qui peut rouler dans la neige, qui a un toit ouvrant et qui coûte moins de 20 000 $. »

L'ancienne méthode (Popularité) : Le bibliothécaire vous désigne la voiture la plus populaire du showroom, même si c'est un cabriolet sans chauffage.
L'ancienne méthode (IA Magique) : Le bibliothécaire vous dit : « Je pense que cette voiture est géniale ! », mais ne peut pas vous dire pourquoi ni quelles sont les spécifications du moteur.
La méthode HugSelect : Le bibliothécaire sort un immense tableur. Il vérifie la colonne « Neige », la colonne « Toit ouvrant » et la colonne « Prix » pour chaque voiture. Il attribue un score à chaque voiture en fonction de sa correspondance avec vos besoins. Ensuite, il vous remet un rapport qui dit : « La Voiture A a obtenu 90 points car elle a un toit ouvrant et elle est bon marché, mais elle a perdu des points car elle n'est pas très bonne dans la neige. La Voiture B a obtenu 85 points car elle est parfaite pour la neige, mais elle est chère. »

HugSelect fait exactement cela pour les modèles d'IA. Il construit une base de connaissances massive de 71 274 modèles. Il ne se contente pas de regarder le titre ; il lit la description du modèle, vérifie le code et scanne même des milliers de discussions communautaires (comme des fils Reddit et des sites de questions-réponses) pour voir ce que les gens réels pensent de la fiabilité et de la vitesse du modèle.

Comment ça marche : Les trois ingrédients

Pour construire sa « fiche de notation » pour chaque modèle, HugSelect mélange trois types d'ingrédients :

Métadonnées : Les faits bruts, comme le type de licence (est-ce gratuit à utiliser ?) et la taille du fichier.
Caractéristiques Fonctionnelles : Ce que le modèle peut réellement faire. La description indique-t-elle qu'il peut gérer des images ? Peut-il raisonner sur des problèmes mathématiques ? HugSelect lit le texte pour identifier ces capacités.
Qualité Perçue : C'est la colonne des « potins ». Il analyse ce que la communauté dit. Si les gens se plaignent régulièrement qu'un modèle plante souvent, HugSelect le pénalise sur la « Fiabilité ». Si les gens disent qu'il est super rapide, il reçoit un bonus sur la « Performance ».

Une fois qu'il possède toutes ces données, il utilise une méthode mathématique appelée Modèle de Somme Pondérée (WSM - Weighted Sum Model). Imaginez que vous évaluez un étudiant. Si les « Mathématiques » comptent pour 50 % de la note et les « Arts » pour 10 %, HugSelect additionne les scores en fonction de ce qui vous importe le plus. Si vous dites : « Je ne me soucie pas de la vitesse, j'ai juste besoin qu'il soit fiable », HugSelect ajuste les poids et reclasse la liste instantanément.

Ce qu'ils ont trouvé : Les résultats

Les chercheurs ont testé HugSelect pour voir s'il fonctionnait réellement. Ils ne se sont pas contentés de deviner ; ils l'ont soumis à une série de tests rigoureux.

Le test de lecture : Ils ont vérifié si HugSelect pouvait lire correctement les descriptions de modèles et les avis de la communauté. Il a réussi environ 80 % du temps pour les fonctionnalités et 84 % du temps pour les attributs de qualité. C'est plutôt bien pour un robot lisant du texte humain désordonné !
Le duel : Ils ont comparé HugSelect à quatre systèmes d'IA commerciaux célèbres (comme ChatGPT, Claude et Gemini). Ils leur ont soumis 44 scénarios différents, comme « Trouver un modèle pour un bot de questions-réponses médicales ».
- HugSelect a trouvé la bonne famille de modèles 91 % du temps.
- Il a trouvé le modèle exact 61 % du temps.
- Cela était compétitif avec les grandes IA commerciales (certaines étaient légèrement meilleures pour trouver le modèle exact, d'autres légèrement moins bonnes), mais HugSelect avait un énorme avantage : la Transparence. Les IA commerciales donnaient simplement une réponse. HugSelect donnait la réponse plus le calcul mathématique derrière, montant exactement quelles caractéristiques ont fait gagner ou perdre des points au modèle.

Pourquoi c'est important

La chose la plus importante que fait HugSelect est de rendre la décision auditable. En génie logiciel, on ne peut pas simplement dire : « L'IA m'a dit d'utiliser ceci. » Il faut savoir pourquoi afin de pouvoir l'expliquer à son patron, à son client ou à un inspecteur de sécurité.

Les chercheurs ont également réalisé une « étude utilisateur » auprès de 10 personnes spécialisées en IA. Ces personnes ont trouvé HugSelect utile et facile à utiliser. Elles ont apprécié de pouvoir voir les compromis. Par exemple, elles pouvaient voir que le Modèle A était plus rapide mais moins fiable, tandis que le Modèle B était plus lent mais extrêmement solide. Cela aide les humains à prendre de meilleures décisions plutôt que de faire confiance aveuglément à une boîte noire.

L'essentiel

Ce document suggère que nous devons cesser de traiter la sélection de modèles d'IA comme un jeu de hasard ou un concours de popularité. En construissant un système qui lit les petits caractères, écoute la communauté et explique sa logique mathématique, HugSelect offre un moyen de choisir le bon outil pour la tâche avec confiance. Il ne prétend pas être parfait — les chercheurs admettent que les retours de la communauté peuvent être désordonnés et que la « vérité terrain » de ce qui constitue le « meilleur » modèle peut être complexe. Mais il prouve qu'avec le bon mélange de données et une logique claire, nous pouvons transformer la bibliothèque chaotique des modèles d'IA en une boîte à outils bien organisée et explicable.

En bref : HugSelect est le bibliothécaire qui ne se contente pas de pointer le livre le plus populaire, mais qui l'ouvre, en souligne les meilleurs passages et vous explique exactement pourquoi c'est le bon choix pour votre histoire.

Résumé Technique : HugSelect – Un cadre de support à la décision multicritère explicable pour la sélection de modèles de fondation

1. Énoncé du problème

La sélection des modèles de fondation est passée d'une activité de recherche à une décision critique de génie logiciel, car ces modèles servent de composants réutilisables dans les systèmes assistés par l'IA. Cependant, les mécanismes de sélection actuels font face à des limitations significatives :

Popularité et filtres de métadonnées : S'appuyer sur le nombre de téléchargements ou des étiquettes ne fournit que des représentations superficielles, échouant à capturer les capacités fonctionnelles ou les contraintes opérationnelles.
Recherche par mots-clés : La correspondance lexicale peine avec les sources d'informations hétérogènes et ne peut pas différencier des modèles ayant des descriptions similaires mais des capacités fonctionnelles distinctes.
Recommandeurs basés sur les LLM : Bien que capables d'interpréter des requêtes complexes, les LLM conversationnels fonctionnent souvent comme des « boîtes noires », manquant de raisonnement transparent et auditable, et sont sujets aux hallucinations.

Le problème central est l'absence d'un système de support à la décision explicable et à l'échelle d'un dépôt (repository-scale) qui traite la sélection de modèles de fondation comme une tâche de sélection de composants logiciels explicite et auditable, impliquant des exigences fonctionnelles, des préoccupations de qualité non fonctionnelles et des contraintes opérationnelles.

2. Méthodologie : Le cadre HugSelect

HugSelect est un cadre axé sur les données, fondé sur la recherche en science de la conception (Design Science Research - DSR) et la prise de décision multicritère (MCDM). Il opérationnalise la sélection de modèles via un pipeline unifié qui intègre des sources de données hétérogènes dans une base de connaissances et applique un algorithme de classement transparent.

A. Intégration des données et construction de la base de connaissances
Le système construit une base de connaissances de 71 274 modèles Hugging Face en synthétisant trois sources de preuves complémentaires :

Métadonnées du dépôt ( $F_M$ ) : Attributs structurés (étiquettes de tâches, licence, taille des paramètres, nombre de téléchargements).
Caractéristiques fonctionnelles ( $F_F$ ) : Capacités extraites des modèles de cartes (model cards) et des fichiers README non structurés à l'aide de techniques de TAL (filtrage de groupes nominaux, analyse de dépendance). Elles sont catégorisées par modalité, tâche et famille de modèles.
Attributs de qualité perçue ( $F_Q$ ) : Signaux non fonctionnels dérivés des discussions de la communauté (Hugging Face, Reddit, Stack Overflow). Ils sont cartographiés vers les caractéristiques de qualité ISO/IEC 25010 (ex: fiabilité, efficacité de performance) en utilisant l'analyse de sentiment et la classification basée sur les LLM.

B. Moteur de décision et explicabilité

Extraction d'intention : Les requêtes en langage naturel des utilisateurs sont traitées pour extraire des critères structurés et des poids. Le système utilise un schéma de priorisation MoSCoW (Must-have, Should-have, Could-have, Won't-have) pour assigner des poids d'importance aux critères.
Algorithme de classement : Le cadre utilise le Modèle de Somme Pondérée (WSM/SAW). Pour un modèle candidat $m_i$ et une requête $q$ , le score est calculé comme suit :
$R(m_i, q) = \sum_{j=1}^{k} w_j \cdot s_{ij}$
Où $w_j$ est le poids du critère et $s_{ij}$ est le score normalisé.
Explicabilité : Contra l'imitation des récommandeurs « boîte noire », HugSelect décompose le score final en contributions par niveau de critère ( $w_j \cdot s_{ij}$ ), lie les scores aux preuves sources (ex: extraits de commentaires spécifiques) et visualise les compromis entre les variantes de modèles via un graphe de connaissances.

3. Principales contributions

L'article revendique quatre contributions primaires :

Support à la décision à l'échelle d'un dépôt : Une formulation de la sélection de modèles de fondation comme une décision de sélection de composant logiciel auditable, allant au-delà de la simple recherche ou du classement par popularité.
Pipeline de synthèse de preuves intégré : Un pipeline automatisé qui récolte les métadonnées, les capacités fonctionnelles et les signaux de qualité dérivés de la communauté dans une base de connaissances unifiée de plus de 71 000 modèles.
Moteur de décision explicable : Un moteur basé sur WSM/SAW qui cartographie les exigences de l'utilisateur vers des critères structurés et décompose les recommandations en contributions de score inspectables par niveau de critère.
Évaluation empirique complète : Une évaluation multi-facettes incluant la validation du pipeline, des études de cas comparatives par rapport aux bases commerciales, une analyse d'ablation et une étude utilisateur auprès de praticiens.

4. Résultats de l'évaluation

Le cadre a été évalué via trois approches complémentaires :

Validation du pipeline (RQ1) :
- Extraction des caractéristiques fonctionnelles : A atteint un score F1 de 0,801 et un IoU de 0,668 par rapport à une vérité de terrain validée par des humains.
- Cartographie des attributs de qualité : A atteint une précision de 0,84 dans la cartographie des extraits de commentaires vers les attributs de qualité ISO/IEC 25010.
- Résultat : L'extraction automatisée est efficace à grande échelle, bien que des défis subsistent avec l'hétérogénéité de la documentation des développeurs.
Études de cas comparatives (RQ2) :
- Évalué contre quatre bases de LLM commerciales (ChatGPT, Claude, Gemini, Perplexity) à travers 44 scénarios dérivés de la littérature.
- Couverture au niveau du modèle @10 (Model-Level Coverage@10) : HugSelect a atteint 0,61, surpassant Gemini (0,39) et Perplexity (0,52), et performant de manière comparable à Claude (0,64) et ChatGPT (0,52).
- Couverture au niveau de la famille @10 (Family-Level Coverage@10) : HugSelect a atteint 0,91, indiquant une forte capacité à identifier les familles de modèles pertinentes même si les identifiants de modèles exacts diffèrent.
- Signification statistique : HugSelect a significativement surpassé Gemini ( $p < 0,05$ ) mais n'a montré aucune différence statistiquement significative par rapport à ChatGPT ou Claude concernant la qualité globale du classement.
- Résultat qualitatif : Contrairement aux bases LLM qui présentent souvent un biais de popularité, HugSelect fournit un raisonnement structuré et traçable.
Étude d'ablation :
- La suppression des caractéristiques fonctionnelles a provoqué la plus forte baisse de la couverture au niveau du modèle (0,61 $\to$ 0,23), les identifiant comme le principal moteur de la récupération de modèles exacts.
- La suppression des attributs de qualité a réduit la discrimination au niveau de la famille (0,91 $\to$ 0,77).
- Les approches basées uniquement sur les métadonnées ont donné les performances les plus faibles (0,09 de couverture au niveau du modèle).
Étude utilisateur (RQ3) :
- Une étude exploratoire avec 10 participants basée sur le Modèle d'Acceptation de la Technologie (TAM).
- Les participants ont jugé le système très positivement pour l'Utilité Perçue (Moyenne = 1,62) et la Facilité d'Utilisation Perçue (Moyenne = 1,48), suggérant que l'approche structurée et transparente est intuitive et précieuse.

5. Signification et affirmations

L'article positionne HugSelect non pas comme un système qui identifie toujours le modèle « optimal » unique, mais comme un outil qui rend le rationnel de sélection explicite et auditable.

Transparence plutôt qu'opacité : La principale signification réside dans le passage d'un conseil conversationnel opaque à un processus de décision traçable où les utilisateurs peuvent inspecter pourquoi un modèle est recommandé et quels compromis (ex: performance vs licence) ont dicté le classement.
Perspective de génie logiciel : Il recadre la sélection de modèles de fondation comme un problème standard de sélection de composant logiciel, intégrant les exigences non fonctionnelles (licences, contraintes de déploiement) aux côtés des capacités fonctionnelles.
Faisabilité : Les résultats fournissent une preuve préliminaire que le minage de dépôts et la décision multicritère peuvent être combinés avec succès pour soutenir une sélection de modèles transparente et à grande échelle, offrant une alternative pratique aux recommandations basées purement sur la popularité ou les IA « boîtes noires ».

Les auteurs reconnaissent des limites, notamment l'utilisation des choix rapportés dans la littérature comme vérité de terrain par procuration, le recours à des mesures de qualité perçues plutôt qu'objectives, et la nature exploratoire de l'étude utilisateur. Ils concluent que, bien que HugSelect soit compétitif par rapport aux bases commerciales en termes de qualité de récupération, sa valeur distincte réside dans la fourniture d'un raisonnement stable, traçable et inspectable pour les ingénieurs logiciels.