Tail-aware N-version Machine Learning Models for Reliable API Recommendation

1. Probleemstelling

Context: Op Machine Learning (ML) gebaseerde API-aanbevelingssystemen helpen ontwikkelaars bij het identificeren van geschikte API-methode om applicatiecode te voltooien. Deze systemen zijn echter afhankelijk van trainingsdatasets die een langstaartverdeling vertonen.

• Het Probleem: Terwijl "head"-API's (vaak gebruikt) goed vertegenwoordigd zijn in trainingsdata, kampen "tail"-API's (zelden gebruikt) met schaarste aan data.
• Gevolg: ML-modellen die op dergelijke data zijn getraind, neigen onbetrouwbare aanbevelingen te doen voor tail-API's. Het overnemen van deze onjuiste aanbevelingen kan bugs introduceren, debugkosten verhogen en de softwarebetrouwbaarheid in gevaar brengen.
• Kloof: Bestaande benaderingen behandelen vaak alle invoer gelijk. Er ontbreekt een mechanisme om specifiek "tail-gevallen" (invoer die waarschijnlijk zeldzame API's vereist) te detecteren en te hanteren, om zo het genereren van outputs met lage betrouwbaarheid of fouten te voorkomen.

2. Methodologie: NvRec

De auteurs stellen N-version API Recommendation (NvRec) voor, een raamwerk geïnspireerd door N-versie-programmering. In plaats van één monolithisch model te trainen, maakt NvRec gebruik van de diversiteit van meerdere voorgetrainde ML-modellen om onbetrouwbare outputs te filteren.

Het raamwerk werkt in twee hoofdfasen:

A. Modelprofielering (Offline-fase)

Voordat inferentie plaatsvindt, analyseert het systeem de prestaties van $N$ verschillende ML-modellen op een profileringsdataset.

• Generatie van Modelprofielen: Voor elke API-methode registreert het systeem:
  • Frequentie: Om de API te classificeren als "Head" (hoge frequentie) of "Tail" (lage frequentie).
  • Prestatiegeschiedenis: Het aantal keren dat elk model de API heeft aanbevolen en hoeveel daarvan correct waren.
• Tail-vlag: Een binaire vlag ($H$ of $T$) wordt toegewezen aan elke API-methode op basis van een cumulatieve frequentiedrempel (bijv. de top 50% is Head, de rest is Tail).

B. Inferentiepijplijn (Online-fase)

Wanneer een gebruiker een natuurlijke taalquery en broncodecontext verstrekt:

1. Tail Analyzer: Een binaire classifier voorspelt of de invoer een "tail-geval" is (waarschijnlijk vereist het tail-API's).
   • Als Tail: Het verzoek wordt direct afgewezen om onbetrouwbare aanbevelingen te onderdrukken.
   • Als Head: Het proces gaat door naar inferentie met meerdere versies.
2. Inferentie met Meerdere Versies: $N$ verschillende ML-modellen (bijv. CodeBERT, CodeT5, MulaRec) genereren onafhankelijk kandidaat-reeksen van API-methode.
3. Filtering: Kandidaten worden gefilterd op basis van het Modelprofiel:
   • Geregistreerde Filtering (R-Filter): Verwijdert reeksen die API's bevatten die niet in de geschiedenis van het model zijn gezien.
   • Head Filtering (H-Filter): Verwijdert reeksen die een API bevatten die als "Tail" is gemarkeerd.
   • RH-Filter: Een combinatie van beide.
4. Besluitvorming Output: Het uiteindelijke resultaat wordt bepaald uit de overgebleven kandidaten met behulp van een van drie strategieën:
   • Eenvoudige Afwijzing: Als er geen consensus (meerderheidsstem) wordt bereikt, worden alle opties afgewezen.
   • Op score gebaseerd: Selecteer de kandidaat met het hoogste geometrische gemiddelde van nauwkeurigheidscores afgeleid uit het modelprofiel.
   • Beste Model: Selecteer de output van het historisch best presterende model (indien beschikbaar).

3. Belangrijkste Bijdragen

1. NvRec-raamwerk: Een nieuwe architectuur die N-versie ML-modellen combineert met tail-bewuste filtering om de betrouwbaarheid van API-aanbevelingen te verbeteren.
2. Tail Analyzer: Een empirische demonstratie dat een specifieke classifier tail-gevallen effectief kan identificeren, waardoor het systeem proactief invoer kan laten vallen die waarschijnlijk tot fouten leidt.
3. Gebruik van Modelprofielen: Een methode om de specifieke prestatiekenmerken van verschillende modellen voor specifieke API-methode te registreren en te gebruiken om kandidaten dynamisch te filteren.
4. Uitgebreide Evaluatie: Een rigoureuze evaluatie op de 50K-C dataset (Java-projecten) waarbij verschillende modelcombinaties (3 versus 5 versies), filterstrategieën en beslissingsregels met elkaar worden vergeleken.

4. Experimentele Resultaten

De studie evalueerde NvRec met vijf modellen: CodeBERT, CodeT5, MulaRec, UniXcoder en CodeT5+.

• Effectiviteit van Tail Analyzer:

  • Het toepassen van alleen de Tail Analyzer verbeterde de True Accept Rate (TAR) van individuele modellen door ongeveer 51,6% van de invoer af te wijzen.
  • Voorbeeld: De TAR van MulaRec steeg van 46,3% naar 52,2%.

• Configuratie met Drie Versies (Beste Prestatie):

  • De combinatie van CodeT5, MulaRec en UniXcoder leverde de beste resultaten op.
  • Configuratie: H-Filter (Head Filtering) + Eenvoudige Afwijzing.
  • Metrieken:
    • True Accept Rate (TAR): 83,8% (Aanzienlijk hoger dan het beste enkele model, MulaRec met 46,3%).
    • Afwijzingspercentage (RR): 80,7%.
    • False Rejection Rate (FRR): 32,2%.

• Configuratie met Vijf Versies:

  • Verrassend genoeg verslechterde het toevoegen van meer modellen (5 versies) de prestaties wanneer strikte filtering werd toegepast.
  • De beste 5-versie TAR was 83,1% (met R-Filter + Eenvoudige Afwijzing), maar dit was lager dan het piekresultaat van de 3-versie.
  • Inzicht: Bij meer diverse modellen neigde strikte filtering (zoals H-Filter) ernaar om correcte kandidaten weg te gooien die alleen door zwakkere modellen konden worden voorspeld, wat de False Rejection Rate verhoogde. Voor 5 versies was het vermijden van filtering en vertrouwen op eenvoudige meerderheidsstemming effectiever.

• Beslissingsregels:

  • Eenvoudige Afwijzing (meerderheidsstem) presteerde consequent beter dan op score gebaseerde en Best Model-strategieën in termen van TAR.
  • Op score gebaseerde benaderingen verlaagden het Afwijzingspercentage, maar verlaagden de TAR aanzienlijk.

5. Betekenis en Implicaties

• Betrouwbaarheid boven Beschikbaarheid: NvRec prioriteert veiligheid. Door een hoog Afwijzingspercentage te accepteren (het laten vallen van ongeveer 80% van de verzoeken), zorgt het ervoor dat de resterende aanbevelingen zeer betrouwbaar zijn (83,8% nauwkeurigheid). Dit is cruciaal voor softwareontwikkeling met hoge eisen aan zekerheid.
• Omgaan met Langstaart-data: De benadering mitigeert het "langstaart"-probleem in ML effectief door tail-gevallen expliciet te identificeren en te onderdrukken in plaats van te proberen een model te dwingen ze nauwkeurig te voorspellen.
• Praktische Toepassing: Hoewel hoge afwijzingspercentages de beschikbaarheid van het hulpmiddel beperken, suggereren de auteurs dat afgewezen (maar potentieel nuttige) aanbevelingen aan ontwikkelaars kunnen worden gepresenteerd als "waarschuwingen met lage betrouwbaarheid" om handmatige beoordeling te ondersteunen, in plaats van ze volledig te verwerpen.
• Generaliseerbaarheid: Het N-versie-raamwerk is niet beperkt tot API-aanbeveling en kan worden toegepast op andere codegeneratietaken waarbij betrouwbaarheid van het grootste belang is.

Conclusie: Het paper toont aan dat het benutten van de diversiteit van meerdere ML-modellen, gecombineerd met een mechanisme om "tail"-invoer te detecteren en te filteren, aanzienlijk beter presteert dan state-of-the-art enkele modellen bij het genereren van betrouwbare API-reeksen, zij het ten koste van een hoger afwijzingspercentage.