AI Policy, Disclosure, and Human in the Loop: How Are Contribution Guidelines Adapting to GenAI?
Deze empirische studie van 1.000 GitHub-repositories onthult dat hoewel de meerderheid van de open-sourceprojecten nu AI-ondersteunde bijdragen toestaat, de meeste strikte eisen stellen aan het openbaar maken van AI-gebruik en het handhaven van menselijk toezicht in het ontwikkelingsproces.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van softwareontwikkeling voor als een enorme, bruisende stad waar miljoenen mensen constant een gigantische, gedeelde wolkenkrabber genaamd "Open Source" bouwen, repareren en uitbreiden. Jarenlang draaide deze stad op een eenvoudige regel: als je een nieuwe kamer wilt toevoegen of een kapot raam wilt repareren, moet je het werk zelf doen, en controleren de vrijwillige inspecteurs van de stad (de "maintainers") je blauwdrukken om te zien of ze veilig zijn. Maar onlangs is er een nieuw soort bouwploeg gearriveerd: Generatieve AI. Denk aan deze als supersnelle, magische robots die in enkele seconden hele blauwdrukken kunnen ontwerpen. Hoewel dit als een droom klinkt, heeft het een soort verkeersopstopping veroorzaakt. De robots zijn zo snel dat ze de stad overspoelen met duizenden nieuwe blauwdrukken elke dag, wat de menselijke inspecteurs overweldigt. Sommige door robots opgestelde plannen zijn briljant, maar andere zijn "AI-slop" — slordige, kwalitatief minderwaardige concepten die er op het eerste gezicht oké uitzien, maar uit elkaar vallen wanneer je probeert ermee te bouwen. De grote vraag voor de stad is niet langer alleen "Kunnen we bouwen?", maar "Hoe laten we de robots helpen zonder dat ze de bouwplaats overnemen?"
Dit artikel duikt in die exacte vraag door te kijken naar de "regelboeken" (bijdrage-richtlijnen) van 1.000 van de populairste softwareprojecten op GitHub. De onderzoekers wilden zien hoe deze projecten zich aanpassen aan de robotarbeiders. Ze ontdekten dat de meeste projecten de robots niet verbieden; in plaats daarvan proberen ze een "Human-in-the-Loop"-systeem op te zetten. Stel je een bouwplaats voor waar de robot het beton kan mengen en de stenen kan leggen, maar een menselijke voorman direct daar moet staan, de troffel vasthoudend, elke stap begrijpend, en de opdracht moet geven voordat het onderdeel wordt van het gebouw. De studie analyseerde 118 specifieke regelboeken die AI vermelden en ontdekte een duidelijk patroon: hoewel 78% van de projecten zegt "Ja, je mag AI gebruiken", eisen ze bijna altijd twee dingen. Ten eerste moet je je hand opsteken en zeggen: "Ik heb een robot hiervoor gebruikt" (Openbaarmaking). Ten tweede moet je bewijzen dat jij, de mens, daadwerkelijk begrijpt wat de robot heeft gebouwd (Human in the Loop).
De onderzoekers vonden dat 51% van de projecten expliciet vereist dat je openbaar maakt wanneer je AI hebt gebruikt, waarbij ze het behandelen als een veiligheidslabel op een voedselverpakking. Ze willen dat de inspecteurs weten: "Hé, dit deel is door een AI opgesteld, dus controleer het even extra goed." Een ander 27% staat AI toe maar juicht er niet expliciet voor, terwijl een kleinere groep (22%) zegt: "Geen robots toegestaan; we willen 100% door mensen gemaakt code." De meest opvallende bevinding is echter dat 74% van de projecten erop staat dat er een mens "in de loop" is. Dit betekent dat zelfs als een robot de code schrijft, een mens deze moet lezen, begrijpen en de volledige verantwoordelijkheid ervoor moet dragen. Het artikel suggereert dat zonder dit menselijk toezicht, de stad het risico loopt overspoeld te worden met "AI-slop" — kwalitatief slechte code die ieders tijd verspilt.
Interessant genoeg merkt het artikel op dat hoewel veel projecten deze regels hebben, de instructies soms een beetje vaag zijn. Sommige regelboeken zeggen "vermeld het als de AI een aanzienlijk deel van het werk heeft gedaan", maar ze definiëren niet altijd precies wat "aanzienlijk" betekent. Het is alsof een leraar zegt: "Vertel me als je een rekenmachine hebt gebruikt," maar niet zegt of dat betekent voor één wiskundeprobleem of voor de hele toets. De auteurs suggereren dat projecten nauwkeuriger moeten zijn om verwarring te voorkomen. Ze waarschuwen ook dat hoewel sommige projecten proberen lage kwaliteit AI-inzendingen te blokkeren door deze automatisch te sluiten, dit per ongeluk echte menselijke bijdragers kan irriteren die toevallig AI-tools gebruiken. Uiteindelijk concludeert het artikel dat de toekomst van open source niet gaat over kiezen tussen mensen en robots, maar over ervoor zorgen dat de mens stevig in de bestuurdersstoel blijft zitten, waarbij de robot wordt gebruikt als een krachtig hulpmiddel in plaats van de mens te laten toe te staan de auto te besturen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.