Predicting Acceptance and Review Effort in Human and Agent Pull Requests
Dit artikel toont aan dat machine learning-modellen die uitsluitend gebruikmaken van kenmerken op het moment van indiening, accuraat de acceptatie van zowel menselijke als agent-pull requests kunnen voorspellen, maar moeite hebben met het voorspellen van de review-inspanning, wat suggereert dat hun beste toepassing ligt als adviserende instrumenten voor triage in plaats van als geautomatiseerde besluitvormers.
Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een bruisende softwarewerkplaats voor waar codeveranderingen lijken op pakketjes die wachten om verzonden te worden. In de oude dagen werden deze pakketjes alleen door menselijke werkers verzonden. Maar nu is er een nieuwe crew van AI-robots bij de ploeg komen werken, die hun eigen codepakketjes naast die van de mensen afleveren. De managers (genaamd "maintainers") zijn plotseling overweldigd. Ze hebben een berg pakketjes om te controleren, en ze moeten twee dingen onmiddellijk weten: Welke pakketjes zullen worden goedgekeurd en verzonden? en Welke vereisen een enorme, uitputtende inspectie?
Dit paper is als een detective die probeert dit mysterie op te lossen met alleen de aanwijzingen die zichtbaar zijn op de buitenkant van het pakketje op het moment dat het arriveert, nog voordat iemand de doos heeft geopend of erover is begonnen te praten.
De Grote Ontdekking: Het "Label op het Pakketje" Vertelt Veel
De onderzoekers ontdekten dat je een behoorlijk goede gok kunt doen over de vraag of een pakketje geaccepteerd zal worden, simpelweg door naar het label en de doos waarin het zit te kijken. Ze bouwden een slim computersysteem dat keek naar zaken zoals:
- Hoe lang de beschrijving op het label was.
- Hoeveel bestanden er in de doos zaten.
- Welk tijdstip van de dag het pakketje werd verzonden.
- De reputatie van de werkplaats waar het vandaan kwam.
Toen ze dit systeem testten, werd de computer erg goed in het herkennen van de "goedgekeurde" pakketjes. Sterker nog, de beste modellen (met behulp van een methode genaamd Random Forest) haalden een score van 0,958 op een schaal van 1,0 voor het correct identificeren van welke pakketjes geaccepteerd zouden worden. Dat is alsof een detective 96 van de 100 gevallen oplost door alleen even naar het adres te kijken!
Er is echter een addertje onder het gras. Het paper waarschuwt expliciet dat dit systeem geen magische "ja/nee"-knop is. De computer is goed in het sorteren van de "waarschijnlijke ja" van de "waarschijnlijke nee", maar het is niet perfect genoeg om zelfstandig de definitieve beslissing te nemen. De onderzoekers suggereren het te gebruiken als een behulpzame assistent die tegen managers zegt: "Hé, kijk hier eerst eens naar!" in plaats van een geautomatiseerde robot die zegt: "Verzend het maar!" zonder dat er ooit een mens naar heeft gekeken.
Het Moeilijkere Mysterie: Hoeveel Werk Zal Het Zijn?
De tweede vraag was lastiger: "Hoeveel inspanning zal het kosten om dit te beoordelen?" De onderzoekers probeerden twee dingen te voorspellen: hoeveel reacties het pakketje zou krijgen (de "chatter") en hoeveel uur het in de wachtrij zou liggen voordat het verzonden wordt (de "wachttijd").
Hier waren de resultaten veel bescheidener. De computer kon de hoeveelheid chatter raden met een foutmarge van gemiddeld ongeveer 1,00 reactie, maar het verklaarde slechts 20% van de redenen waarom sommige pakketjes meer reacties kregen dan andere. Het voorspellen van de wachttijd was zelfs nog moeilijker; de gissingen van de computer zaten er gemiddeld 24,00 uur naast, en het verklaarde slechts 12% van de variatie.
Waarom was dit zo moeilijk? Het paper suggereert dat de wachttijd niet alleen afhangt van het pakketje zelf. Het is als wachten op een bus: zelfs als je kaartje perfect is, kun je nog steeds lang moeten wachten als de buschauffeur een pauze heeft, het verkeer slecht is, of de bus vol zit. Op dezelfde manier kan een codepakketje lang wachten omdat de reviewers druk zijn, de geautomatiseerde testsystemen traag zijn, of het team gewoon een trage workflow heeft. Het paper stelt dat je deze "files" niet kunt voorspellen door alleen naar het label van het pakketje te kijken.
Mensen vs. Robots: Spelen Zij Volgens Verschillende Regels?
Het team vroeg zich ook af of de pakketjes van de AI-robots moeilijker te voorspellen waren dan die van de mensen. Ze vonden dat de AI-pakketjes eigenlijk iets makkelijker te sorteren waren omdat ze zeer nette, regelmatige patronen volgden. De menselijke pakketjes waren rommeliger en gevarieerder.
Interessant genoeg neigden de AI-pakketjes naar iets meer "chatter" (reacties) en duurden ze iets langer om te verzenden. Het paper suggereert dat dit kan komen doordat de menselijke managers extra voorzichtig zijn en het werk van de robot dubbel controleren om er zeker van te zijn dat het geen verborgen trucjes bevat. Maar ondanks deze extra nauwkeurigheid was de computer nog steeds in staat om de uitkomst voor de robots net zo goed te voorspellen als voor de mensen.
Waar het Paper "Nee" Tegen Zegt
Het is belangrijk om te weten wat deze studie niet deed. De onderzoekers sloten expliciet het gebruik van enige informatie uit die verschijnt nadat het pakketje is geopend uit. Ze keken niet naar de reacties die mensen schreven, de resultaten van de geautomatiseerde tests, of de uiteindelijke beslissing om de code samen te voegen (mergen). Als ze die informatie hadden gebruikt, zou dat zijn geweest als het proberen te voorspellen van het weer door naar de grond te kijken nadat het geregend heeft. Het hele punt was om te zien of je de uitkomst kon raden voordat de regen begint.
Ze sloten ook het idee uit dat de computer de menselijke reviewers zou kunnen vervangen. De resultaten laten zien dat hoewel de computer een geweldig "triage"-instrument is (zoals een verkeersregelaar die auto's dirigeert), het niet volledig de complexe sociale en workflow-redenen kan verklaren waarom een review zo lang duurt.
De Kernboodschap
Kortom, het paper suggereert dat we een slim systeem kunnen bouwen om managers te helpen bij het prioriteren van hun werk. Als een pakketje een duidelijk label heeft, een redelijke grootte en van een goede bron komt, kan het systeem zeggen: "Dit ziet er veilig uit, laten we dit eerst controleren." Maar wanneer het gaat om het raden hoe lang een review zal duren of hoeveel discussie er zal ontstaan, loopt het systeem tegen een muur aan. Het paper concludeert dat deze tools het beste kunnen worden gebruikt als een behulpzame zijspan bij het menselijk oordeel, en niet als een vervanging daarvan. De toekomst van deze technologie kan beter worden als we meer aanwijzingen toevoegen, zoals waar de reviewers op dit moment mee bezig zijn of hoe de code daadwerkelijk werkt, maar voor nu vertellen de aanwijzingen "aan de buitenkant van de doos" slechts een deel van het verhaal.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.