What Makes Code Generation Ethically Sourced?

Dit artikel introduceert het concept van ethisch gegenereerde code (ES-CodeGen), ontwikkelt een taxonomie met elf dimensies op basis van een literatuuroverzicht en een enquête onder 32 professionals, en benadrukt de noodzaak om sociale aspecten en codekwaliteit te integreren in de volledige levenscyclus van codegeneratiemodellen.

De kern

Stel je voor dat je een gigantische, super-snelle kok hebt die voor je kookt. Deze kok is een kunstmatige intelligentie (AI) die code schrijft voor computers. Hij is ongelooflijk snel en kan in seconden programma's maken waar mensen uren over doen. Maar hier is het probleem: Waar haalt deze kok zijn ingrediënten vandaan?

Dit is precies waar het onderzoek van Zhuolin Xu en zijn team over gaat. Ze noemen dit "Ethisch Gevraagde Code" (Ethically Sourced Code Generation).

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. Het Probleem: De "Diefstal" in de Keuken

Vroeger namen deze AI-koks gewoon alles wat ze op straat (het internet) zagen. Ze plukten recepten van beroemde chefs, namen ingrediënten van kleine boeren en gebruikten zelfs geheimzinnige sauzen zonder toestemming.

• Het risico: De echte chefs (de programmeurs) worden boos omdat hun werk gestolen wordt. De boeren (de mensen die data leveren) krijgen niets terug. En soms komt er een giftig ingrediënt in de pan (privégegevens of onveilige code).
• De gevolgen: Bedrijven durven de AI niet te gebruiken uit angst voor rechtszaken, en de AI kan soms zelfs gevaarlijke code maken.

2. De Oplossing: Een Eerlijk Menu

De onderzoekers zeggen: "We moeten de hele keten van de kok ethisch maken." Ze noemen dit ES-CodeGen. Het is alsof je een restaurant opent dat alleen werkt met:

• Echte toestemming: De kok vraagt de boer of hij de tomaten mag gebruiken (in plaats van ze zomaar te plukken).
• Eerlijke betaling: De boer krijgt een eerlijk loon voor zijn tomaten.
• Veilige ingrediënten: Geen giftige chemicaliën of geheimzinnige stoffen.
• Transparantie: Je weet precies wat er in je bord zit.

3. De 11 Regels voor een Eerlijke Kok

De onderzoekers hebben met 32 experts (koks en keurmeesters) gepraat en 11 belangrijke regels opgesteld. Het zijn niet alleen regels over "niet stelen", maar ook over hoe de kok zich gedraagt:

1. Rechten van de eigenaar: Mag de kok jouw recept gebruiken? (Toestemming).
2. Gelijkheid: Gebruikt de kok recepten van mensen over de hele wereld, of alleen van rijke landen?
3. Toegang: Kan iedereen de kok gebruiken, of is hij alleen voor de superrijken?
4. Aansprakelijkheid: Wie is er verantwoordelijk als de maaltijd vergiftigd is?
5. Auteursrechten: Wordt de oorsprong van het recept genoemd?
6. Integriteit: Zijn de ingrediënten echt en niet vervalst?
7. Kwaliteit van het eten: (Een nieuwe regel!) Als de AI een recept maakt dat er goed uitziet maar giftig is, is dat ook onethisch.
8. Maatschappelijke verantwoordelijkheid: Helpt de kok de gemeenschap of maakt hij het alleen maar erger?
9. Cultuur: Respecteert de kok verschillende culturele gewoonten (bijv. geen varkensvlees voor moslims)?
10. Rechten van de werkers: Krijgen de mensen die de AI trainen (de "keukenhulpen") een eerlijk loon?
11. Milieu: Is de keuken energiezuinig? (Het maken van AI kost veel stroom).

4. Wat Vonden de Experts?

De onderzoekers hebben een enquête gedaan en ontdekten een paar verrassende dingen:

• We vergeten de mens: Experts focussen veel op auteursrechten en privacy, maar vergeten vaak de "sociale" regels, zoals eerlijke lonen voor de mensen die de AI trainen of respect voor culturen.
• De "Opt-in" eis: Veel programmeurs die hun werk zagen gebruikt worden, zeggen: "Nee, vraag eerst toestemming!" (Opt-in) in plaats van "Je mag het gebruiken tenzij je zegt dat je het niet wilt" (Opt-out). Ze willen dat hun naam erbij staat als ze het niet willen.
• Geen perfecte kok: De onderzoekers vroegen: "Welke AI-koks voldoen nu al aan deze regels?" Het antwoord was bijna unaniem: Geen enkele. De huidige AI's (zoals die van OpenAI of Meta) zijn nog niet ethisch genoeg. Ze missen transparantie en echte toestemming.
• Geen concessies aan kwaliteit: Als de AI minder goed code schrijft om ethisch te zijn, willen de experts dat niet. Ze zeggen: "We kunnen maximaal 10% minder goed worden, maar niet meer." Kwaliteit is heilig.

5. De Conclusie: Een Nieuwe Standaard

Dit onderzoek is als een keurmerk voor eerlijk eten, maar dan voor computercode.
Het zegt: "Het is niet genoeg om gewoon snel en goed te koken. Je moet ook eerlijk zijn, je bronnen respecteren en de wereld niet vervuilen."

De boodschap is duidelijk: Als we willen dat AI-programma's veilig en eerlijk zijn voor iedereen, moeten we de hele "leveringsketen" van de AI opnieuw ontwerpen. We kunnen niet meer doen alsof de ingrediënten uit de lucht vallen. We moeten weten waar ze vandaan komen, wie ze heeft betaald en of ze veilig zijn.

Kortom: Een ethische AI-kok is een kok die niet alleen smaakt, maar ook een goed mens is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "What Makes Code Generation Ethically Sourced?" in het Nederlands.

Probleemstelling

De opkomst van geautomatiseerde codegeneratiemodellen (zoals Code Llama en Codex) heeft de softwareontwikkeling versneld, maar brengt ernstige ethische risico's met zich mee. Bestaande modellen worden vaak getraind op data waarvan de licentieonduidelijkheden, auteursrechtenschendingen, privacykwesties en milieueffecten onbekend of problematisch zijn. Bedrijven zoals Apple en Samsung hebben het gebruik van dergelijke AI-tools zelfs verboden vanwege datalekken.

Er ontbreekt echter een gestructureerd raamwerk om te definiëren wat "ethisch gegenereerde code" precies inhoudt. Het concept van "ethische sourcing" (het ethisch en duurzaam beheren van de hele toeleveringsketen) is in andere domeinen zoals de economie en geneeskunde bekend, maar nog niet toegepast op generatieve AI voor code. De auteurs stellen de vraag: Wat maakt codegeneratie ethisch gesourced? en welke dimensies, stadia en artefacten zijn hierbij betrokken?

Methodologie

De auteurs hanteren een tweefasige methodologie om een taxonomie van Ethically Sourced Code Generation (ES-CodeGen) te ontwikkelen:

1. Systematische Literatuurstudie (Twee fasen):

   • Fase 1 (Breed): Een multidisciplinaire zoektocht (Google Scholar) naar "ethically sourced" in diverse domeinen (economie, geneeskunde, religie) om een breed begrip te vormen.
   • Fase 2 (Specifiek): Een gerichte zoektocht in academische databases (IEEE, ACM, Scopus) naar literatuur over LLM's en codegeneratie.
   • Snowballing: Voor- en achterwaartse snowballing werd toegepast op de meest relevante papers.
   • Resultaat: Van de 803 beoordeelde papers werden 71 geselecteerd. Via thematische analyse werden 10 initiële dimensies geïdentificeerd en gestructureerd in een taxonomie.

2. Enquête onder Praktici:

   • Deelnemers: 32 professionals, waaronder onderzoekers, ontwikkelaars en specifieke "geimpacteerde gebruikers" (ontwikkelaars die hun repositories hebben laten verwijderen uit het Stack-dataset).
   • Doel: De initieel gevonden dimensies valideren, nieuwe inzichten verzamelen, en kijken naar toepasbaarheid in de supply chain (stadia en artefacten), gevolgen van onethische sourcing, en acceptabele trade-offs.
   • Data-analyse: Open coding en betrouwbaarheidsmetingen (Cohen's Kappa) voor de analyse van open vragen.

Belangrijkste Bijdragen

Het paper introduceert het concept ES-CodeGen en levert de volgende bijdragen:

• Definitie en Taxonomie: Een definitie van ES-CodeGen als het beheer van alle processen (van datacollectie tot post-deployment) via ethische en duurzame praktijken.
• 11 Dimensies: De studie resulteert in een uitgebreide taxonomie van 11 dimensies, verdeeld over drie hoofdgroepen:
  1. Bron (Source): Subjectrechten (informed consent, privacy), Rechtvaardigheid (diversiteit, eerlijkheid, representativiteit), Toegang, Accountability (transparantie), Intellectuele Eigendom (licenties, bronvermelding), en Integriteit (verontreiniging).
  2. Samenleving (Society): Maatschappelijke verantwoordelijkheid, Maatschappelijke acceptatie (cultuur/religie), en Arbeidsrechten (eerlijk loon, werkomstandigheden).
  3. Milieu (Environment): Duurzaamheid (energieverbruik, emissies).
• Nieuwe Technische Dimensie: Een cruciale toevoeging is Code Kwaliteit. Hoewel vaak als technisch gezien, wordt dit door praktici erkend als een ethische dimensie (bijv. het genereren van foutieve code die tijd kost, of schadelijke code zoals bomtutorials).
• Supply Chain Analyse: Een mapping van deze dimensies naar de volledige levenscyclus van modellen (datacollectie, annotatie, training, evaluatie, deploy, monitoring) en artefacten (trainingsdata, dependencies, metadata, prompts, output).

Resultaten en Bevindingen

• Relevantie van Dimensies: Alle 11 dimensies worden door praktici als relevant of zeer relevant beschouwd. De meest cruciale zijn Subjectrechten, Intellectuele Eigendom en Milieu Duurzaamheid.
• Blind Vlekken: Praktici neigen om dimensies gerelateerd aan de samenleving te negeren, zoals Maatschappelijke Acceptatie, Maatschappelijke Verantwoordelijkheid en Arbeidsrechten, ondanks hun belangrijkheid.
• Inzicht van Geimpacteerde Gebruikers: Ontwikkelaars die actief hun data hebben laten verwijderen uit trainingssets (opt-out) pleiten sterk voor Opt-in Consent in plaats van Opt-out. Ze zien het huidige "scrapen zonder toestemming" als fundamenteel onethisch.
• Gevolgen van Onethische Sourcing (UnES-CodeGen): De grootste zorgen zijn juridische risico's (aanspraken op auteursrecht), veiligheidsrisico's en privacylekken. Nieuwe, door deelnemers geïdentificeerde gevolgen zijn: uitbuiting van ontwikkelaars, generatie van code van lage kwaliteit, monopolisering van generatieve AI en negatieve impact op open-source gemeenschappen.
• Trade-offs:
  • Niet acceptabel: Verlies van nauwkeurigheid (accuracy loss). De meeste deelnemers accepteren maximaal 10% verlies; geen verlies is de voorkeur.
  • Acceptabel: Meer tijd voor data-preparatie.
  • Verontreiniging: De meeste deelnemers accepteren geen verontreiniging door onbekende bronnen of data met incompatibele licenties.
• Huidige Modellen: De overgrote meerderheid van de deelnemers (68,8%) geeft aan dat geen enkel bestaand codegeneratiemodel volledig voldoet aan de definitie van ES-CodeGen. De meeste modellen missen transparantie en echte opt-in toestemming.

Significantie

Deze studie is baanbrekend omdat het voor het eerst een gestructureerd raamwerk biedt voor ethische sourcing in codegeneratie. Het verschuift de focus van alleen het evalueren van de output (de gegenereerde code) naar de hele supply chain.

De bevindingen hebben grote implicaties voor:

1. Onderzoek: Het nodigt uit tot het ontwikkelen van technieken voor transparantie, consent-management-systemen voor open-source data en methoden om codekwaliteit als ethische maatstaf te integreren.
2. Praktijk: Het waarschuwt bedrijven en ontwikkelaars voor de juridische en reputatie-risico's van onethische sourcing en biedt een checklist voor het bouwen van "verantwoordelijke AI".
3. Beleid: Het onderstreept de noodzaak van regelgeving die verder gaat dan alleen privacy, en ook arbeidsrechten, milieu en eerlijke compensatie voor data-bijdragers omvat.

Kortom, het paper stelt dat ethisch gegenereerde code niet alleen gaat over wat het model produceert, maar over hoe het model is gebouwd, van waar de data komt, en wie er bij betrokken is en betaald wordt.