💻 computer science

HugSelect: An Explainable Multi-Criteria Decision-Support Framework for foundation-model selection

Dit artikel introduceert HugSelect, een uitlegbaar multi-criteria besluitvormingsondersteunend framework dat een uitgebreide kennisbank van meer dan 71.000 foundation models construeert om auditeerbare, transparante en hoogwaardige aanbevelingen te bieden door functionele capaciteiten en door de gemeenschap waargenomen kwaliteit te prioriteren boven eenvoudige populariteitsmetrieken.

Oorspronkelijke auteurs: Alireza Joonbakhsh (Shiraz University), Arda Canser Adalı (Utrecht University), Slinger Jansen (Utrecht University), Farshad Khunjush (Shiraz University), Siamak Farshidi (Wageningen University,Resear

Gepubliceerd 2026-08-11

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alireza Joonbakhsh (Shiraz University), Arda Canser Adalı (Utrecht University), Slinger Jansen (Utrecht University), Farshad Khunjush (Shiraz University), Siamak Farshidi (Wageningen University,Research)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, chaotische bibliotheek binnenloopt waar de planken tot in de wolken reiken en verdwijnen in de mist. Dit is geen bibliotheek van boeken, maar van "foundation models"—de gigantische, herbruikbare hersencircuits die alles aandrijven, van chatbots tot medische diagnostische tools. In de wereld van software engineering zijn deze modellen als de motoren van een auto; je kunt er niet zomaar één kiezen omdat hij er cool uitziet of omdat het het meest populaire merk is. Je moet weten of hij past bij jouw specifieke chassis, of hij rijdt op de brandstof die jij hebt, en of hij niet kapot gaat als je een hobbel overrijdt.

Het probleem is dat deze bibliotheek zo snel groeit dat geen mens elk label kan lezen. Meestal pakken mensen gewoon het meest gedownloade item of vragen ze een superintelligent robot (een AI) om advies. Maar een robot om advies vragen is als een tovenaar om een recept vragen; ze geven je misschien een heerlijk antwoord, maar je hebt geen idee hoe ze het gemaakt hebben, en soms verzinnen ze gewoon dingen aan. Dit artikel, geschreven door een team van onderzoekers, stelt een simpele maar lastige vraag: Hoe kiezen we de juiste motor voor onze auto wanneer de bibliotheek te groot is om te lezen en de tovenaars een beetje te mysterieus zijn? Ze stellen een nieuwe manier van kiezen voor die niet alleen gokt, maar ook uitlegt waarom het heeft gekozen wat het heeft gekozen, waardoor een magische gok verandert in een heldere, controleerbare checklist.

Het Probleen: De "Populariteitswedstrijd"-valstrik

Op dit moment is het vinden van een foundation model op platforms zoals Hugging Face een beetje alsof je een nieuwe telefoon koopt op basis van alleen hoeveel mensen hem hebben gekocht. Je ziet een lijst gesorteerd op "downloads" of "likes". Maar populariteit is niet hetzelfde als prestatie. Alleen omdat een model beroemd is, betekent niet dat het de specifieke taak kan uitvoeren die jij nodig hebt, zoals het vertalen van oude talen of het draaien op een kleine laptop.

De auteurs betogen dat het kiezen van een model geen eenvoudige zoekopdracht met trefwoorden of een populariteitswedstrijd zou moeten zijn. Het is een complexe software engineering-beslissing. Je moet een balans vinden tussen functionele behoeften (kan het code schrijven?), operationele beperkingen (past het in mijn geheugen?) en kwaliteitszorgen (is het betrouwbaar?). Alleen vertrouwen op populariteit of een "black box" AI om advies vragen, laat je in het duister over waarom een model is gekozen.

De Oplossing: HugSelect, de "Verklarende Bibliothecaris"

Maak kennis met HugSelect. Zie HugSelect niet als een magische 8-ball, maar als een supergeorganiseerde, hyperlogische bibliothecaris die elk boek in de bibliotheek heeft gelezen en gedetailleerde aantekeningen heeft gemaakt bij elke pagina.

Zo werkt HugSelect, met behulp van een leuke analogie:

Stel je voor dat je op zoek bent naar een specifiek type auto. Je zegt tegen de bibliothecaris: "Ik wil een auto die op sneeuw kan rijden, een zonnedak heeft en minder dan $20.000 kost."

De Oude Manier (Populariteit): De bibliothecaris wijst naar de populairste auto in de showroom, zelfs als het een cabriolet is zonder verwarming.
De Oude Manier (Magische AI): De bibliothecaris zegt: "Ik denk dat deze auto geweldig is!" maar kan je niet vertellen waarom of wat de specificaties van de motor zijn.
De HugSelect-Manier: De bibliothecaris pakt een enorme spreadsheet erbij. Ze controleren de kolom "Sneeuw", de kolom "Zonnedak" en de kolom "Prijs" voor elke auto. Ze geven elke auto een score op basis van hoe goed deze aansluit bij jouw behoeften. Vervolgens overhandigen ze je een rapport dat zegt: "Auto A kreeg 90 punten omdat hij een zonnedak heeft en goedkoop is, maar verloor punten omdat hij niet erg goed is in sneeuw. Auto B kreeg 85 punten omdat hij perfect is voor sneeuw, maar duur is."

HugSelect doet precies dit voor AI-modellen. Het bouwt een enorme "kennisbank" van 71.274 modellen. Het kijkt niet alleen naar de titel; het leest de beschrijving van het model, controleert de code en scant zelfs duizenden community-discussies (zoals Reddit-threads en Q&A-sites) om te zien wat echte mensen vinden van de betrouwbaarheid en snelheid van het model.

Hoe het werkt: De Drie Ingrediënten

Om zijn "scorekaart" voor elk model op te stellen, mengt HugSelect drie soorten ingrediënten:

Metadata: De harde feiten, zoals het licentietype (is het gratis te gebruiken?) en de bestandsgrootte.
Functionele Kenmerken: Wat het model daadwerkelijk kan doen. Stond er in de beschrijving dat het afbeeldingen kan verwerken? Kan het redeneren door wiskundige problemen? HugSelect leest de tekst om deze mogelijkheden te vinden.
Waargenomen Kwaliteit: Dit is de "roddelkolom". Het analyseert wat de community zegt. Als mensen steeds klagen dat een model vaak vastloopt, haalt HugSelect punten af voor "Betrouwbaarheid". Als mensen zeggen dat het super snel is, krijgt het een boost op "Prestatie".

Zodra het al deze gegevens heeft, gebruikt het een wiskundige methode genaamd de Weighted Sum Model (WSM). Stel je voor dat je een leerling beoordeelt. Als "Wiskunde" voor 50% meetelt en "Kunst" voor 10%, telt HugSelect de scores op op basis van wat jij het belangrijkst vindt. Als je zegt: "Ik geef niet om snelheid, ik heb alleen een betrouwbaar model nodig," past HugSelect de gewichten aan en rangschikt de lijst direct opnieuw.

Wat ze vonden: De Resultaten

De onderzoekers testten HugSelect om te zien of het daadwerkelijk werkt. Ze gokten niet alleen; ze onderwierpen het aan een reeks tests.

De Leestest: Ze controleerden of HugSelect in staat was om modelbeschrijvingen en community-reviews correct te lezen. Het had het ongeveer 80% van de tijd bij de functies en 84% van de tijd bij de kwaliteitskenmerken goed. Dat is behoorlijk goed voor een robot die rommelige menselijke tekst leest!
De Confrontatie: Ze vergeleken HugSelect met vier beroemde commerciële AI-systemen (zoals ChatGPT, Claude en Gemini). Ze gaven ze allemaal 44 verschillende scenario's, zoals: "Vind een model voor een medische Q&A-bot."
- HugSelect vond de juiste familie van modellen 91% van de tijd.
- Het vond het exacte model 61% van de tijd.
- Dit was concurrerend met de grote commerciële AI's (sommigen waren iets beter in het vinden van het exacte model, anderen iets slechter), maar HugSelect had één groot voordeel: Transparantie. De commerciële AI's gaven alleen een antwoord. HugSelect gaf het antwoord plus de wiskunde erachter, waarbij precies werd getoond welke kenmerken ervoor zorgden dat het model punten won of verloor.

De "Waarom het ertoe doet"-factor

Het belangrijkste wat HugSelect doet, is de beslissing controleerbaar maken. In software engineering kun je niet simpelweg zeggen: "De AI zei dat ik dit moest gebruiken." Je moet weten waarom, zodat je het aan je baas, je klant of een veiligheidsinspecteur kunt uitleggen.

De onderzoekers voerden ook een "gebruikersstudie" uit met 10 mensen die verstand hebben van AI. Deze mensen vonden HugSelect nuttig en gemakkelijk in gebruik. Ze vonden het prettig dat ze de afwegingen konden zien. Bijvoorbeeld: ze konden zien dat Model A sneller was maar minder betrouwbaar, terwijl Model B langzamer was maar zeer solide. Dit helpt mensen om betere beslissingen te nemen in plaats van blind te vertrouwen op een black box.

De Conclusie

Dit artikel suggereert dat we moeten stoppen met het behandelen van AI-modelselectie als een spel van kans of een populariteitswedstrijd. Door een systeem te bouelt dat de kleine lettertjes leest, luistert naar de community en zijn wiskunde uitlegt, biedt HugSelect een manier om met vertrouwen het juiste gereedschap voor de klus te kiezen. Het beweert niet perfect te zijn — de onderzoekers geven toe dat community-feedback soms rommelig is en dat de "ground truth" van wat het "beste" model is, lastig kan zijn. Maar het bewijst dat we met de juiste mix van data en heldere logica de chaotische bibliotheek van AI-modellen kunnen veranderen in een goed georganiseerde, uitlegbare gereedschapskist.

Kortom: HugSelect is de bibliothecaris die niet alleen naar het populairste boek wijst, maar het opent, de beste delen markeert en je precies vertelt waarom het de juiste keuze is voor jouw verhaal.

Technische Samenvatting: HugSelect – Een verklaarbaar Multi-Criteria Beslissingsondersteunend Framework voor de Selectie van Foundation Models

1. Probleemstelling

De selectie van foundation models is geëvolueerd van een onderzoeksactiviteit naar een cruciale software engineering-beslissing, aangezien deze modellen dienen als herbruikbare componenten in AI-gestuurde systemen. De huidige selectiemechanismen kampen echter met significante beperkingen:

Populariteit en Metadata-filters: Het vertrouwen op downloadaantallen of tags biedt slechts een oppervlakkige representatie en slaagt er niet in om functionele capaciteiten of operationele beperkingen te vatten.
Trefwoordextractie (Keyword Retrieval): Lexicale matching heeft moeite met heterogene informatiebronnen en kan het onderscheid niet maken tussen modellen met vergelijkbare beschrijvingen maar verschillende functionele capaciteiten.
LLM-gebaseerde Aanbevelers: Hoewel ze in staat zijn complexe queries te interpreteren, opereren conversionele LLM's vaak als "black boxes", waarbij ze een gebrek hebben aan transparante, controleerbare redenering en vatbaar zijn voor hallucinaties.

Het kernproblein is het gebrek aan een verklaarbaar, repository-schaal beslissingsondersteunend systeem dat de selectie van foundation models behandelt als een expliciete, controleerbare software-componentselectie waarbij functionele vereisten, niet-functionele kwaliteitsaspecten en operationele beperkingen betrokken zijn.

2. Methodologie: Het HugSelect Framework

HugSelect is een datagedreven framework geworteld in Design Science Research (DSR) en Multi-Criteria Decision Making (MCDM). Het operationaliseert modelselectie via een uniforme pipeline die heterogene databronnen integreert in een kennisbank en een transparant rankingsalgoritme toepast.

A. Dataintegratie en Constructie van de Kennisbank
Het systeem construeert een kennisbank van 71.274 Hugging Face-modellen door drie complementaire bewijsvormen te synthetiseren:

Repository Metadata ( $F_M$ ): Gestructureerde attributen (taak-tags, licentie, aantal parameters, downloadaantallen).
Functionele Kenmerken ( $F_F$ ): Capaciteiten geëxtraheerd uit ongestructureerde model cards en README-bestanden middels NLP-technieken (zelfstandig naamwoord-filtering, dependency parsing). Deze worden gecategoriseerd in modaliteit, taak en modelfamilie.
Waargenomen Kwaliteitsattributen ( $F_Q$ ): Niet-functionele signalen afgeleid uit community-discussies (Hugging Face, Reddit, Stack Overflow). Deze worden gekoppeld aan ISO/IEC 25010 kwaliteitskenmerken (bijv. betrouwbaarheid, prestatie-efficiëntie) middels sentimentanalyse en LLM-gebaseerde classificatie.

B. Decision Engine en Verklaarbaarheid

Intent Extractie: Gebruikersqueries in natuurlijke taal worden verwerkt om gestructureerde criteria en gewichten te extraheren. Het systeem hanteert een MoSCoW-prioriteringsschema (Must-have, Should-have, Could-have, Won't-have) om belangheidsgewichten aan criteria toe te kennen.
Ranking Algoritme: Het framework maakt gebruik van het Weighted Sum Model (WSM/SAW). Voor een kandidaat-model $m_i$ en query $q$ wordt de score berekend als:
$R(m_i, q) = \sum_{j=1}^{k} w_j \cdot s_{ij}$
Waarbij $w_j$ het criteriumgewicht is en $s_{ij}$ de genormaliseerde score.
Verklaarbaarheid: In tegen tegenstelling tot black-box aanbevelers, deelt HugSelect de uiteindelijke score op in bijdragen per criterium ( $w_j \cdot s_{ij}$ ), koppelt scores terug aan bronbewijs (bijv. specifieke tekstfragmenten uit reviews) en visualiseert trade-offs tussen modelvarianten via een kennisgrafiek.

3. Belangrijkste Bijdragen

Het artikel claimt vier primaire bijdragen:

Beslissingsondersteuning op Repository-schaal: Een formulering van foundation-modelselectie als een controleerbare software-componentbeslissing, wat verder gaat dan eenvoudige zoekopdrachten of populariteitsranking.
Geïntegreerde Evidence-Synthese Pipeline: Een geautomatiseerde pipeline die metadata, functionele capaciteiten en community-afgeleide kwaliteitssignalen oogst in een uniforme kennisbank van meer dan 71.000 modellen.
Verklaarbare Decision Engine: Een WSM/SAW-gebaseerde engine die gebruikersvereisten mapt naar gestructureerde criteria en aanbevelingen deelt op in inspecteerbare, criterium-specifieke scorebijdragen.
Omvattende Empirische Evaluatie: Een veelzijdige evaluatie inclusief pipeline-validatie, vergelijkende casestudy's tegenover commerciële baselines, ablatie-analyse en een gebruikerstudie voor practitioners.

4. Evaluatieresultaten

Het framework werd geëvalueerd via drie complementaire benaderingen:

Pipeline Validatie (RQ1):
- Extractie van Functionele Kenmerken: Behaalde een F1-score van 0,801 en een IoU van 0,668 ten opzichte van een door mensen gevalideerde grondwaarheid.
- Mapping van Kwaliteitsattributen: Behaalde 0,84 nauwkeurigheid in het mappen van review-fragmenten naar ISO/IEC 25010 kwaliteitskenmerken.
- Bevinding: Geautomatiseerde extractie is effectief op schaal, hoewel uitdagingen blijven bestaan bij heterogene ontwikkelaarsdocumentatie.
Vergelijkende Casestudy's (RQ2):
- Geëvalueerd tegen vier commerciële LLM-baselines (ChatGPT, Claude, Gemini, Perplexity) over 44 uit de literatuur afgeleide scenario's.
- Model-Level Coverage@10: HugSelect behaalde 0,61, waarmee het Gemini (0,39) en Perplexity (0,52) versloeg, en vergelijkbaar presteerde met Claude (0,64) en ChatGPT (0,52).
- Family-Level Coverage@10: HugSelect behaalde 0,91, wat duidt op een sterk vermogen om relevante modelfamilies te identificeren, zelfs wanneer exacte model-ID's verschillen.
- Statistische Significantie: HugSelect presteerde significant beter dan Gemini ( $p < 0,05$ ), maar vertoonde geen statistisch significant verschil met ChatGPT of Claude wat betreft de algehele kwaliteit van de ranking.
- Kwalitatieve Bevinding: In tegen tegenstelling tot de LLM-baselines, die vaak een populariteitsbias vertoonden, bood HugSelect gestructureerde, traceerbare redenering.
Ablatie-studie:
- Het verwijderen van functionele kenmerken veroorzaakte de grootste daling in model-level coverage (0,61 $\to$ 0,23), wat hen identificeert als de primaire drijfveer voor exacte model-retrieval.
- Het verwijderen van kwaliteitsattributen verminderde de discriminatie op family-level (0,91 $\to$ 0,77).
- Benaderingen met enkel metadata leverden de laagste prestaties op (0,09 model-level coverage).
Gebruikersstudie (RQ3):
- Een exploratieve studie met 10 deelnemers gebaseerd op het Technology Acceptance Model (TAM).
- Deelnemers beoordeelden het systeem hoog op Perceived Usefulness (Gemiddelde = 1,62) en Perceived Ease of Use (Gemiddelde = 1,48), wat suggereert dat de gestructureerde, transparante aanpak intuïtief en waardevol is.

5. Betekenis en Claims

Het artikel positioneert HugSelect niet als een systeem dat altijd het enkele "optimale" model identificeert, maar als een tool die de selectierationale expliciet en controleerbaar maakt.

Transparantie boven Opaciteit: De primaire betekenis ligt in de verschuiving van opake conversationele adviezen naar een traceerbaar besluitvormingsproces waarbij gebruikers kunnen inspecteren waarom een model wordt aanbevolen en welke trade-offs (bijv. prestatie vs. licentie) de ranking hebben bepaald.
Software Engineering Perspectief: Het herformuleert de selectie van foundation models als een standaard probleem van software-componentselectie, waarbij niet-functionele vereisten (licenties, deployment-beperkingen) worden geïntegreerd naast functionele capaciteiten.
Haalbaarheid: De resultaten bieden voorlopig bewijs dat repository mining en MCDM succesvol gecombineerd kunnen worden om transparante, grootschalige modelselectie te ondersteunen, wat een praktisch alternatief biedt voor louter populariteitsgebaseerde of black-box AI-aanbevelingen.

De auteurs erkennen beperkingen, waaronder het gebruik van in de literatuur gerapporteerde keuzes als proxy voor de grondwaarheid, de afhankelijkheid van waargenomen in plaats van objectieve kwaliteitsmetrieken, en het exploratieve karakter van de gebruikersstudie. Zij concluderen dat hoewel HugSelect concurrerend is met commerciële baselines in retrieval-kwaliteit, de unieke waarde ligt in het bieden van stabiele, traceerbare en inspecteerbare redenering voor software engineers.