💻 computer science

HugSelect: An Explainable Multi-Criteria Decision-Support Framework for foundation-model selection

Dieses Paper stellt HugSelect vor, ein erklärbares Multi-Kriterien-Entscheidungsunterstützungs-Framework, das eine umfassende Wissensdatenbank aus über 71.000 Foundation-Modellen konstruiert, um durch die Priorisierung funktionaler Fähigkeiten und der von der Community wahrgenommenen Qualität gegenüber einfachen Popularitätsmetriken auditierbare, transparente und hochwertige Empfehlungen bereitzustellen.

Ursprüngliche Autoren: Alireza Joonbakhsh (Shiraz University), Arda Canser Adalı (Utrecht University), Slinger Jansen (Utrecht University), Farshad Khunjush (Shiraz University), Siamak Farshidi (Wageningen University,Resear

Veröffentlicht 2026-08-11

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alireza Joonbakhsh (Shiraz University), Arda Canser Adalı (Utrecht University), Slinger Jansen (Utrecht University), Farshad Khunjush (Shiraz University), Siamak Farshidi (Wageningen University,Research)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten eine riesige, chaotische Bibliothek, in der die Regale bis in die Wolken ragen und im Nebel verschwinden. Dies ist keine Bibliothek von Büchern, sondern von „Foundation Models“ – den gigantischen, wiederverwendbaren Gehirnschaltkreisen, die alles von Chatbots bis hin zu medizinischen Diagnosetools antreiben. In der Welt des Software-Engineerings sind diese Modelle wie die Motoren eines Autos; man kann sich nicht einfach für eines entscheiden, nur weil es gut aussieht oder die beliebteste Marke ist. Man muss wissen, ob es in das spezifische Fahrgestell passt, ob es mit dem vorhandenen Treibstoff läuft und ob es nicht zusammenbricht, wenn man über einen Schlagloch fährt.

Das Problem ist, dass diese Bibliothek so schnell wächst, dass kein Mensch mehr jedes Etikett lesen kann. Normalerweise schnappt man sich einfach das meistgeladene Objekt oder fragt einen superintelligenten Roboter (eine KI) um Rat. Aber einen Roboter zu fragen, ist wie einen Magier nach einem Rezept zu fragen; er mag Ihnen eine köstliche Antwort geben, aber Sie haben keine Ahnung, wie er sie zubereitet hat, und manchmal erfindet er auch einfach Dinge dazu. Dieses Paper, geschrieben von einem Team von Forschern, stellt eine einfache, aber knifflige Frage: Wie wählen wir den richtigen Motor für unser Auto aus, wenn die Bibliothek zu groß ist, um sie zu lesen, und die Magier ein wenig zu geheimnisvoll sind? Sie schlagen einen neuen Weg der Auswahl vor, der nicht nur rät, sondern tatsächlich erklärt, warum er sich für etwas entschieden hat – und verwandelt so eine magische Vermutung in eine klare, prüfbare Checkliste.

Das Problem: Die Falle des „Popularitätswettbewerbs“

Wenn man heute ein Foundation Model auf Plattformen wie Hugging Face finden möchte, ist das ein bisschen so, als würde man ein neues Handy nur danach kaufen, wie viele Leute es bereits gekauft haben. Man sieht eine Liste, die nach „Downloads“ oder „Likes“ sortiert ist. Aber Popularität ist nicht dasselbe wie Leistung. Nur weil ein Modell berühmt ist, bedeutet das nicht, dass es die spezifische Aufgabe erfüllen kann, die man benötigt, wie etwa das Übersetzen antiker Sprachen oder das Laufen auf einem winzigen Laptop.

Die Autoren argumentieren, dass die Auswahl eines Modells keine einfache Stichwortsuche oder ein Popularitätswettbewerb sein sollte. Es ist eine komplexe softwaretechnische Entscheidung. Man muss funktionale Anforderungen (kann es Code schreiben?), betriebliche Einschränkungen (passt es in meinen Speicher?) und Qualitätsaspekte (ist es zuverlässig?) gegeneinander abwägen. Sich nur auf die Popularität zu verlassen oder einen „Black Box“-KI-Rat einzuholen, lässt einen im Dunkeln darüber, warum ein Modell ausgewählt wurde.

Die Lösung: HugSelect, der „erklärbare Bibliothekar“

Hier kommt HugSelect ins Spiel. Betrachten Sie HugSelect nicht als Magic 8-Ball, sondern als einen superorganisierten, hyperlogischen Bibliothekar, der jedes einzelne Buch in der Bibliothek gelesen und auf jeder Seite detaillierte Notizen gemacht hat.

So funktioniert HugSelect, unter Verwendung einer lustigen Analogie:

Stellen Sie sich vor, Sie suchen eine ganz bestimmte Art von Auto. Sie sagen dem Bibliothekar: „Ich brauche ein Auto, das auf Schnee fahren kann, ein Schiebedach hat und weniger als 20.000 $ kostet.“

Der alte Weg (Popularität): Der Bibliothekar zeigt auf das beliebteste Auto im Showroom, selbst wenn es ein Cabrio ohne Heizung ist.
Der alte Weg (Magische KI): Der Bibliothekar sagt: „Ich glaube, dieses Auto ist großartig!“, kann Ihnen aber nicht sagen, warum oder wie die Motorspezifikationen lauten.
Der HugSelect-Weg: Der Bibliothekar holt eine riesige Tabelle heraus. Er prüft die Spalte „Schnee“, die Spalte „Schiebedach“ und die Spalte „Preis“ für jedes einzelne Auto. Er gibt jedem Auto eine Punktzahl basierend darauf, wie gut es Ihren Bedürfnissen entspricht. Dann überreicht er Ihnen einen Bericht, der besagt: „Auto A erhielt 90 Punkte, weil es ein Schiebedach hat und günstig ist, verlor aber Punkte, weil es nicht besonders gut bei Schnee ist. Auto B erhielt 8-5 Punkte, weil es perfekt für Schnee ist, aber teuer ist.“

HugSelect macht genau das für KI-Modelle. Es baut eine massive „Wissensdatenbank“ aus 71.274 Modellen auf. Es schaut nicht nur auf den Titel; es liest die Beschreibung des Modells, prüft den Code und scannt sogar tausende Community-Diskussionen (wie Reddit-Threads und Q&A-Seiten), um zu sehen, was echte Menschen über die Zuverlässigkeit und Geschwindigkeit des Modells denken.

Wie es funktioniert: Die drei Zutaten

Um seine „Bewertungsliste“ für jedes Modell zu erstellen, mischt HugSelect drei Arten von Zutaten:

Metadaten: Die harten Fakels, wie die Lizenzart (ist es kostenlos nutzbar?) und die Dateigröße.
Funktionale Merkmale: Was das Modell tatsächlich kann. Stand in der Beschreibung, dass es Bilder verarbeiten kann? Kann es mathematische Probleme lösen? HugSelect liest den Text, um diese Fähigkeiten zu finden.
Wahrgenommene Qualität: Das ist die „Klatsch und Tratsch“-Spalte. Es analysiert, was die Community sagt. Wenn Leute ständig darüber beschweren, dass ein Modell oft abstürzt, zieht HugSelect die Bewertung bei „Zuverlässigkeit“ nach unten. Wenn Leute sagen, dass es super schnell ist, erhält es einen Bonus bei der „Performance“.

Sobald es all diese Daten hat, verwendet es eine mathematische Methode namens Weighted Sum Model (WSM). Stellen Sie sich vor, Sie bewerten einen Schüler. Wenn „Mathe“ zu 50 % in die Note einfließt und „Kunst“ nur zu 10 %, rechnet HugSelect die Punktzahlen basierend darauf auf, was Ihnen am wichtigsten ist. Wenn Sie sagen: „Die Geschwindigkeit ist mir egal, ich brauche es nur zuverlässig“, passt HugSelect die Gewichtungen an und sortiert die Liste sofort neu.

Was sie herausgefunden haben: Die Ergebnisse

Die Forscher haben HugSelect getestet, um zu sehen, ob es tatsächlich funktioniert. Sie haben nicht nur geraten; sie haben es einem Testlauf unterzogen.

Der Lesetest: Sie prüften, ob HugSelect in der Lage war, die Modellbeschreibungen und Community-Bewertungen korrekt zu lesen. Es lag bei den Funktionen zu etwa 80 % richtig und bei den Qualitätsattributen zu etwa 84 %. Das ist ziemlich gut für einen Roboter, der unordentlichen menschlichen Text liest!
Das Duell: Sie verglichen HugSelect mit vier berühmten kommerziellen KI-Systemen (wie ChatGPT, Claude und Gemini). Sie gaben allen Systemen 44 verschiedene Szenarien, wie zum Beispiel: „Finde ein Modell für einen medizinischen Q&A-Bot.“
- HugSelect fand die richtige Familie von Modellen in 91 % der Fälle.
- Es fand das exakte Modell in 61 % der Fälle.
- Dies war wettbewerbsfähig mit den großen kommerziellen KIs (einige waren etwas besser darin, das exakte Modell zu finden, andere etwas schlechter), aber HugSelect hatte einen riesigen Vorteil: Transparenz. Die kommerziellen KIs lieferten einfach nur eine Antwort. HugSelect lieferte die Antwort plus die Mathematik dahinter und zeigte genau auf, welche Merkmale dazu führten, dass das Modell Punkte gewann oder verlor.

Der Faktor „Warum es wichtig ist“

Das Wichtigste, was HugSelect leistet, ist, die Entscheidung prüfbar zu machen. Im Software-Engineering können Sie nicht einfach sagen: „Die KI hat mir gesagt, ich soll das verwenden.“ Sie müssen wissen, war Warum, damit Sie es Ihrem Chef, Ihrem Kunden oder einem Sicherheitsinspektor erklären können.

Die Forscher führten auch eine „Nutzerstudie“ mit 10 Personen durch, die sich mit KI auskennen. Diese Personen fanden HugSelect nützlich und einfach zu bedienen. Sie mochten es, dass sie die Kompromisse sehen konnten. Zum Beispiel konnten sie sehen, dass Modell A schneller, aber weniger zuverlässig war, während Modell B langsamer, aber absolut solide war. Dies hilft Menschen, bessere Entscheidungen zu treffen, an statt blind einer Black Box zu vertrauen.

Das Fazit

Dieses Paper legt nahe, dass wir aufhören müssen, die Auswahl von KI-Modellen wie ein Glücksspiel oder einen Popularitätswettbewerb zu behandeln. Indem es ein System baut, das das Kleingedruckte liest, der Community zuhört und seine Mathematik erklärt, bietet HugSelect einen Weg, das richtige Werkzeug für die Aufgabe mit Zuversicht auszuwählen. Es behauptet nicht, perfekt zu sein – die Forscher geben zu, dass das Community-Feedback manchmal unordentlich ist und die „Ground Truth“ dessen, was das „beste“ Modell ist, schwierig sein kann. Aber es beweist, dass wir mit der richtigen Mischung aus Daten und klarer Logik den chaotischen Bibliotheksbestand an KI-Modellen in einen gut organisierten, erklärbaren Werkzeugkasten verwandeln können.

Kurz gesagt: HugSelect ist der Bibliothekar, der nicht nur auf das populärste Buch zeigt, sondern es aufschlägt, die besten Teile hervorhebt und Ihnen genau erklärt, warum es die richtige Wahl für Ihre Geschichte ist.

Technische Zusammenfassung: HugSelect – Ein erklärbares Multi-Kriterien-Entscheidungsunterstützungs-Framework für die Auswahl von Foundation-Modellen

1. Problemstellung

Die Auswahl von Foundation-Modellen hat sich von einer Forschungsaktivität zu einer kritischen Software-Engineering-Entscheidung entwickelt, da diese Modelle als wiederverwendbare Komponenten in KI-gestützten Systemen dienen. Aktuelle Selektionsmechanismen weisen jedoch erhebliche Einschränkungen auf:

Popularität und Metadaten-Filter: Die Abhängigkeit von Download-Zahlen oder Tags liefert nur oberflächliche Repräsentationen und erfasst weder funktionale Fähigkeiten noch operative Einschränkungen.
Schlüsselwort-Abfrage (Keyword Retrieval): Lexikalisches Matching scheitert an heterogenen Informationsquellen und kann nicht zwischen Modellen mit ähnlichen Beschreibungen, aber unterschiedlichen funktionalen Kapazitäten, unterscheiden.
LLM-basierte Empfehlungssysteme: Obwohl konversationelle LLMs in der Lage sind, komplexe Abfragen zu interpretieren, agieren sie oft als „Black Boxes“, denen es an transparenter, auditierbarer Argumentation mangelt, und sie sind anfällig für Halluzinationen.

Das Kernproblem ist das Fehlen eines erklärbaren, Repository-weiten Entscheidungsunterstützungssystems, das die Auswahl von Foundation-Modellen als eine explizite, auditierbare Auswahl von Softwarekomponenten behandelt, die funktionale Anforderungen, nicht-funktionale Qualitätsaspekte und operative Einschränkungen umfasst.

2. Methodik: Das HugSelect-Framework

HugSelect ist ein datengesteuertes Framework, das auf Design Science Research (DSR) und Multi-Criteria Decision Making (MCDM) basiert. Es operationalisiert die Modellselektion durch eine einheitliche Pipeline, die heterogene Datenquellen in eine Wissensbasis integriert und einen transparenten Ranking-Algorithmus anwendet.

A. Datenintegration und Konstruktion der Wissensbasis
Das System konstruiert eine Wissensbasis aus 71.274 Hugging Face-Modellen, indem es drei komplementäre Evidenzquellen synthetisiert:

Repository-Metadaten ( $F_M$ ): Strukturierte Attribute (Task-Tags, Lizenz, Parametergröße, Download-Zahlen).
Funktionale Merkmale ( $F_F$ ): Fähigkeiten, die aus unstrukturierten Model Cards und README-Dateien mittels NLP-Techniken (Noun-Phrase-Filterung, Dependency Parsing) extrahiert wurden. Diese werden in Modalität, Task und Modellfamilie kategorisiert.
Wahrgenommene Qualitätsattribute ( $F_Q$ ): Nicht-funktionale Signale, die aus Community-Diskussionen (Hugging Face, Reddit, Stack Overflow) abgeleitet wurden. Diese werden unter Verwendung von Sentiment-Analyse und LLM-basierter Klassifizierung den ISO/IEC 25010 Qualitätsmerkmalen (z. B. Zuverlässigkeit, Effizienz der Ausführung) zugeordnet.

B. Entscheidungs-Engine und Erklärbarkeit

Intentionsextraktion: Nutzerabfragen in natürlicher Sprache werden verarbeitet, um strukturierte Kriterien und Gewichtungen zu extrahieren. Das System verwendet ein MoSCoW-Priorisierungsschema (Must-have, Should-have, Could-have, Won't-have), um die Wichtigkeit der Kriterien zuzuweisen.
Ranking-Algorithmus: Das Framework nutzt das Weighted Sum Model (WSM/SAW). Für ein Kandidatenmodell $m_i$ und eine Abfrage $q$ wird der Score wie folgt berechnet:
$R(m_i, q) = \sum_{j=1}^{k} w_j \cdot s_{ij}$
Wobei $w_j$ das Kriteriumsgewicht und $s_{ij}$ der normalisierte Score ist.
Erklärbarkeit: Im Gegensatz zu Black-Box-Empfehlern zerlegt HugSelect den finalen Score in kriterienbasierte Beiträge ( $w_j \cdot s_{ij}$ ), verknüpft die Scores mit der Quell-Evidenz (z. B. spezifische Rezensions-Snippets) und visualisiert Trade-offs zwischen Modellvarianten über einen Knowledge Graph.

3. Zentrale Beiträge

Das Paper beansprucht vier primäre Beiträge:

Repository-weite Entscheidungsunterstützung: Eine Formulierung der Foundation-Modell-Selektion als auditierbare Software-Komponenten-Entscheidung, die über einfaches Suchen oder Popularitäts-Ranking hinausgeht.
Integrierte Evidenz-Synthese-Pipeline: Eine automatisierte Pipeline, die Metadaten, funktionale Fähigkeiten und Community-abgeleitete Qualitätssignale in eine einheitliche Wissensbasis von über 71.000 Modellen überführt.
Erklärbare Entscheidungs-Engine: Eine WSM/SAW-basierte Engine, die Nutzeranforderungen auf strukturierte Kriterien abbildet und Empfehlungen in inspizierbare, kriterienbasierte Score-Beiträge zerlegt.
Umfassende empirische Evaluierung: Eine facettenreiche Evaluierung einschließlich Pipeline-Validierung, vergleichender Fallstudien gegen kommerzielle Baselines, Ablationsanalyse und einer Practitioner-Nutzerstudie.

4. Evaluierungsergebnisse

Das Framework wurde durch drei komplementäre Ansätze evaluiert:

Pipeline-Validierung (RQ1):
- Extraktion funktionaler Merkmale: Erzielte einen F1-Score von 0,801 und einen IoU von 0,668 gegenüber einer durch Menschen validierten Ground Truth.
- Mapping von Qualitätsattributen: Erzielte eine Genauigkeit von 0,84 bei der Zuordnung von Rezensions-Snippets zu ISO/IEC 25010 Qualitätsattributen.
- Ergebnis: Die automatisierte Extraktion ist im großen Maßstab effektiv, wenngleich Herausforderungen bei heterogener Entwicklerdokumentation bestehen bleiben.
Vergleichende Fallstudien (RQ2):
- Evaluierung gegen vier kommerzielle LLM-Baselines (ChatGPT, Claude, Gemini, Perplexity) über 44 aus der Literatur abgeleitete Szenarien.
- Modell-Ebene Coverage@10: HugSelect erreichte 0,61, übertraf damit Gemini (0,39) und Perplexity (0,52) und zeigte eine vergleichbare Leistung zu Claude (0,64) und ChatGPT (0,52).
- Familien-Ebene Coverage@10: HugSelect erreichte 0,91, was auf eine starke Fähigkeit hindeutet, relevante Modellfamilien zu identifizieren, selbst wenn die exakten Modell-IDs abweichen.
- Statistische Signifikanz: HugSelect übertraf Gemini signifikant ( $p < 0,05$ ), zeigte jedoch keinen statistisch signifikanten Unterschied zu ChatGPT oder Claude hinsichtlich der allgemeinen Ranking-Qualität.
- Qualitatives Ergebnis: Im Gegensatz zu den LLM-Baselines, die oft einen Popularitäts-Bias aufwiesen, lieferte HugSelect eine strukturierte, rückverfolgbare Argumentation.
Ablationsstudie:
- Das Entfernen der funktionalen Merkmale verursachte den größten Rückgang der Modell-Ebene Coverage (0,61 $\to$ 0,23), was sie als primären Treiber für die exakte Modell-Retrieval identifiziert.
- Das Entfernen der Qualitätsattribute reduzierte die Differenzierungsfähigkeit auf Familien-Ebene (0,91 $\to$ 0,77).
- Ansätze, die nur auf Metadaten basieren, lieferten die niedrigste Performance (0,09 Modell-Ebene Coverage).
Nutzerstudie (RQ3):
- Eine explorative Studie mit 10 Teilnehmern basierend auf dem Technology Acceptance Model (TAM).
- Die Teilnehmer bewerteten das System hoch hinsichtlich Wahrgenommener Nützlichkeit (Mittelwert = 1,62) und Wahrgenommener Benutzerfreundlichkeit (Mittelwert = 1,48), was darauf hindeutet, dass der strukturierte, transparente Ansatz intuitiv und wertvoll ist.

5. Bedeutung und Ansprüche

Das Paper positioniert HugSelect nicht als ein System, das immer das eine „optimale“ Modell identifiziert, sondern als ein Werkzeug, das die Begründung der Auswahl explizit und auditierbar macht.

Transparenz statt Undurchsichtigkeit: Die primäre Bedeutung liegt im Wechsel von intransparenter konversationeller Beratung zu einem rückverfolgbaren Entscheidungsprozess, bei dem Nutzer inspizieren können, warum ein Modell empfohlen wurde und welche Trade-offs (z. B. Performance vs. Lizenz) das Ranking beeinflusst haben.
Software-Engineering-Perspektive: Es definiert die Auswahl von Foundation-Modellen als ein Standardproblem der Auswahl von Softwarekomponenten um und integriert nicht-funktionale Anforderungen (Lizenzierung, Deployment-Einschränkungen) neben den funktionalen Fähigkeiten.
Machbarkeit: Die Ergebnisse liefern vorläufige Belege dafür, dass Repository-Mining und MCDM erfolgreich kombiniert werden können, um eine transparente, groß angelegte Modellselektion zu unterstützen, und bieten eine praktische Alternative zu rein popularitätsbasierten oder Black-Box-KI-Empfehlungen.

Die Autoren räumen Einschränkungen ein, darunter die Verwendung von in der Literatur berichteten Entscheidungen als Proxy-Ground-Truth, die Abhängigkeit von wahrgenommenen statt objektiven Qualitätsmetriken und den explorativen Charakter der Nutzerstudie. Sie kommen zu dem Schluss, dass HugSelect zwar in der Retrieval-Qualität mit kommerziellen Baselines konkurrenzfähig ist, sein eigentlicher Wert jedoch in der Bereitstellung einer stabilen, rückverfolgbaren und inspizierbaren Argumentation für Software-Ingenieure liegt.