Technische Samenvatting: CodeXHug – Een dataset om Model Cards te verbeteren met Code Gebruikspatronen

1. Probleemstelling

Pre-trained modellen (PTM's) zijn integraal geworden aan software engineering, gefaciliteerd door repositories zoals Hugging Face (HF). De werkelijke adoptie van deze modellen in echte projecten blijft echter een openstaande vraag, waarbij veel gevallen van gebruik beperkt blijven tot "toy projects" of louter spiegels van de HF-repository. Een kritische barrière voor adoptie is het gebrek aan concrete, verklarende codepatronen in bestaande model cards. Hoewel model cards metadata en installatie-instructies bieden, missen ze vaak praktische gebruiksvoorbeelden, wat integratie uitdagend maakt voor niet-expert ontwikkelaars. Bovendien ontbreken in de huidige documentatie vaak cruciale informatie zoals licentiegegevens of gegevens over de CO2-uitstoot. Het identificeren van nuttige codefragmenten voor specifieke PTM's binnen het enorme GitHub-ecosysteem is moeilijk vanwege de prevalentie van kwalitatief laagwaardige of irrelevante repositories.

2. Methodologie

De auteurs stellen CodeXHug voor, een gecureerde dataset die Hugging Face PTM's koppelt aan hun werkelijke gebruikspatronen in GitHub-repositories. Het proces van gegevensverzameling bestaat uit vier primaire fasen:

1. Gegevensreiniging en Steekproefname:

   • Het proces begint met de nieuwste Hugging Face dump (juni 2024), die 681.682 modellen bevat.
   • Modellen met een null-inhoud (ontbrekende tags of model cards) worden eruit gefilterd, waardoor de set wordt teruggebracht naar 262.670 PTM's.
   • Een steekproef van de top 10% meest populaire modellen op basis van downloadaantallen wordt geselecteerd (20.545 PTM's) om te waarborgen dat de dataset de realiteit van het werkelijke gebruik weerspiegelt.

2. Tag Filtering:

   • Om diversiteit te garanderen, identificeren de auteurs 13 representatieve pipeline-categorieën (bijv. text-generation, fill-mask, image-classification).
   • Deze stap balanceert de dataset door zowel zeer populaire als minder populaire tags op te nemen, wat resulteert in 17.760 PTM's.

3. GitHub Mapping:

   • Met behulp van de PyGithub bibliotheek doorzoeken de auteurs het GitHub-platform naar repositories geschreven in Python die de geselecteerde PTM's refereren.
   • Queries worden verfijnd door de inhoud van README te controleren op pipeline-tags om fout-positieven te verminderen.
   • Voor elk geïdentificeerd project verzamelen de auteurs maximaal 1.000 Python bronbestanden (.py) en de README-inhoud van het project.
   • Metadata zoals commits, pull requests, forks en stars worden ook geregistreerd.

4. Gegevensopslag:

   • De uiteindelijke dataset wordt opgeslagen in een MongoDB-database om snellere toegang te faciliteren vergeleken met SQL. Het bestaat uit twee collecties: models (metadata) en files (broncode inhoud gecodeerd in UTF-8).

5. Extractie van Gebruikspatronen (Demonstratie):

   • Om het nut van de dataset te demonstreren, passen de auteurs een statistische analyse en clusteringtechniek toe om representatieve code-gebruikspatronen te extraheren.
   • Outlier Filtering: Modellen met minder dan 100 geassocieerde bestanden worden eruit gefilterd om de focus te leggen op goed gebruikte modellen, wat de set terugbrengt naar 1.064 modellen.
   • Snippet Filtering: Codefragmenten worden gefilterd op basis van lengte (met behulp van de Interquartile Range gecentreerd rond de mediaan) om triviale scripts of overmatig lange, documentatie-zware bestanden uit te sluiten.
   • Clustering: Snippets worden omgezet in 384-dimensionale vectoren met behulp van het all-MiniLM-L6-v2 embedding model. Het K-means algoritme groepeert deze vectoren om semantische gelijkenissen te identificeren.
   • Generatie: Het fragment dat het dichtst bij elk clustercentrum ligt, wordt geselecteerd als een representatief voorbeeld. Deze exemplaren worden vervolgens aan het Llama 3 model gevoed met een zero-shot prompt om gestructureerde code-gebruikspatronen te genereren (bijv. data laden, preprocessing, modeldefinitie).

6. Belangrijkste Bijdragen
   De paper presenteert drie primaire bijdragen:

• CodeXHug Dataset: Een gecureerde dataset die 7.325 verschillende Hugging Face PTM's koppelt aan 372.063 Python-bestanden verspreid over 71.748 GitHub-repositories. Dit is de eerste dataset die een uitgebreid overzicht biedt van het werkelijke gebruik van PTM's in het GitHub-ecosysteem.
• Kwalitatieve Analyse: Een analyse van de verzamelde codefragmenten om ontwikkelaars concrete gebruiksvoorbeelden te bieden, waarmee de kloof in de huidige model card-documentatie wordt gedicht.
• Gebruiksscenario: Een proof-of-concept die demonstreert hoe men representatieve code-gebruikspatronen voor specifieke PTM's kan voorspellen en genereren door statistische filtering, K-means clustering en Large Language Models (LLMs) te combineren.

4. Resultaten en Observaties

• Dataset Schaal: De uiteindelijke dataset bevat 7.325 unieke modellen en 372.063 Python-bestanden.
• Verdeling Onbalans: De bestandsverdeling over pipeline-tags is ongebalanceerd. text-generation is de meest dominante tag, gevolgd door fill-mask en image-classification, wat de populariteit van modellen zoals GPT-2 en RoBERTa reflecteert.
• Gebruikspatronen: De analyse onthult een "long-tail" effect in de populariteit van PTM's. Een klein aantal modellen (bijv. gpt-2, roberta-large, Salesforce/blip-image-captioning-large) wordt gebruikt in honderden projecten (meer dan 800), terwijl de meerderheid in zeer weinig projecten wordt gebruikt.
• Multi-Model Gebruik: Ongeveer 43,7% van de geanalyseerde repositories maakt gebruik van meer dan één PTM, wat suggereert dat ontwikkelaars vaak modellen combineren om complexe taken te ondersteunen.
• Patroon Generatie: De Llama 3-gebaseerde aanpak slaagde erin coherente codefragmenten te genereren (bijv. voor het kakaobrain/karlo-v1-alpha-image-variations model) die standaardprocedures bevatten voor dataladen, preprocessing en modelarchitectuurdefinitie, ondanks het zero-shot prompting paradigma.

5. **Betekenis en Claims
   De auteurs positioneren CodeXHug als een fundamentele bron voor de software engineering gemeenschap om de kloof tussen theoretische modelbeschikbaarheid en praktische implementatie te overbruggen. De paper claimt dat CodeXHug kan ondersteunen bij:

• Verbeterde Model Cards: Het automatisch genereren van model cards die zijn verrijkt met concrete code-gebruikvoorbeelden.
• Ontwikkelaarsondersteuning: Het bieden van API-aanbevelingen en het ophalen van code-gebruikspatronen voor ontwikkelaars die PTM's integreren.
• Onderzoeksmogelijkheden: Het mogelijk maken van studies naar codekwaliteit (bijv. het detecteren van code smells of technische schuld in AI-systemen), de impact van PTM-adoptie op projectpopulariteit, en de ontwikkeling van de volgende generatie code-assistenten.

De auteurs houden een bescheiden standpunt en erkennen dat de huidige dataset zich richt op populaire modellen en dat de clustering- en generatietechnieken die gepresenteerd worden illustratief zijn. Zij merken op dat verdere validatie en de exploratie van geavanceerdere clustering of andere LLM's noodzakelijk zijn voor bredere generaliseerbaarheid. De dataset is beschikbaar via het Zenodo open-access repository.