Versioned Governance for Frontier AI: A Software-Engineering-Inspired Approach
Dit artikel stelt een door software engineering geïnspireerd kader voor voor AI-governance dat de "stille drift" van normatieve beleidsregels aanpakt door te pleiten voor granulaire versiebeheer, geclassificeerde wijzigingslogs en expliciete rollback-mechanismen om een transparante, controleerbare en door regelgevers geaccepteerde evolutie van beleid te waarborgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin de regels die de krachtige kunstmatige intelligentiesystemen beheersen, zijn vastgelegd in publieke documenten, vergelijkbaar met de algemene voorwaarden van een website of het veiligheidshandboek van een fabriek. Deze documenten vertellen ons wat de AI wel en niet mag doen, en hoe de makers beloven de veiligheid te waarborgen. Voor de mensen die deze systemen bouwen, zijn de regels niet statisch; ze veranderen voortdurend naarmate de technologie evolueert. Een regel die vandaag veilig leek, moet morgen misschien worden aangescherpt, of een nieuwe capaciteit kan een volledig nieuwe toestemming vereisen. Het probleem ontstaat wanneer deze wijzigingen plaatsvinden zonder een duidelijk, publiek verslag van wat er is gewijzigd, waarom het is gewijzigd en wie de autoriteit had om de wijziging door te voeren. Dit gebrek aan een duidelijke geschiedenis creëert een situatie waarin de regels in stilte verschuiven. Een buitenstaander, zoals een journalist, een rechter of een bedrijf dat de technologie wil gebruiken, kan niet zien of een zin in het document slechts werd opgepoetst voor een betere grammatica of dat het fundamenteel de grenzen heeft verschoven van wat de AI is toegestaan te doen.
Deze stilte is gevaarlijk omdat het de vertrouwensband verbreekt die nodig is om de samenleving op deze systemen te laten vertrouwen. Als een rechtbank een gebeurtenis van vorig jaar moet beoordelen, moet zij precies weten wat de regels op dat moment waren, en niet de regels zoals die vandaag de dag bestaan. Als een bedrijf zijn veiligheid heeft gecertificeerd op basis van een beleid van zes maanden geleden, moet het weten of dat beleid nog steeds hetzelfde betekent. Momenteel faalt de manier waarop deze documenten worden bijgewerkt vaak in het bieden van deze helderheid. De wijzigingen zijn echt, maar het verslag ervan ontbreekt of is verwarrend. Dit laat iedereen buiten het laboratorium gissen naar de ware aard van de regels die de technologie die zij gebruiken of reguleren, beheersen.
Een onderzoeker genaamd Zhixin Xue heeft dit probleem onderzocht en een oplossing voorgesteld die geïnspireerd is door de manier waarop software engineers code beheren. In de wereld van computerprogrammering gebruiken ontwikkelaars, wanneer zij een programma bijwerken, een strikt systeem om elke wijziging bij te houden. Ze kennen versienummers toe die gebruikers precies vertellen hoe significant een wijziging is: een verandering in het hoofdnummer betekent een grote, potentieel incompatibele update; een verandering in het minder belangrijke nummer betekent een nieuwe functie die nog steeds werkt met het oude systeem; en een patch-nummer betekent een kleine reparatie. Ze houden ook gedetailleerde logs bij die uitleggen wat er precies is veranderd en waarom. Xue betoogt dat de documenten die kunstmatige intelligentie beheersen, met dezelfde discipline behandeld moeten worden. In plaats van alleen een nieuwe versie van een beleid te plaatsen zonder context, zouden de laboratoria een gestructureerd systeem moeten gebruiken dat elke wijziging classificeert, de reden ervan uitlegt en een permanent, onveranderlijk verslag van de geschiedenis bijhoudt.
Om te testen of deze aanpak nodig is en hoe dit zou kunnen werken, heeft Xue vijf belangrijke sets regels onderzocht die de frontier AI-systemen tussen jaren 2019 en 2025 beheersen. Deze omvatten de gebruiksvoorwaarden en modelspecificaties van OpenAI, het Responsible Scaling Policy van Anthropic, de Artificial Intelligence Act van de Europese Unie en het Risk Management Framework van het Amerikaanse National Institute of Standards and Technology. De onderzoeker analyseerde hoe deze documenten in de loop van de tijd zijn herzien, waarbij werd gezocht naar tekenen van dit soort gedisciplineerde tracking. De studie vond dat hoewel sommige van deze documenten zijn begonnen met het gebruik van versienummers en gedateerde lijsten van wijzigingen, ze de meest kritieke delen van het systeem missen. Specifiek verklaren de documenten zelden of een wijziging een grote verschuiving in de regels is of slechts een kleine verduidelijking. Ze missen ook een duidelijk mechanisme om een wijziging terug te draaien als blijkt dat het een fout was.
De analyse onthulde een patroon dat de auteur "stille drift" noemt. In de onderzochte praktijkvoorbeelden vonden de meest significante wijzigingen aan de regels vaak plaats als reactie op plotselinge, externe gebeurtenissen, zoals de publieke release van een nieuw, krachtiger AI-model. De documentatie van deze wijzigingen hield echter geen gelijke tred. De lijsten van wijzigingen die wel bestonden, waren vaak slechts samenvattingen in gewone taal, die beschreven wat er gebeurde maar de belangrijkheid van de wijziging niet classificeerden. Dit dwingt de lezer om te gissen of een wijziging klein of groot is. Bovendien bevatte geen van de vijf onderzochte instrumenten een formele manier om een beleidswijziging ongedaan te maken als dat problemen veroorzaakte. Hoewel de wetten en standaarden van overheden en internationale organen beter waren in het bijhouden van hun versies dan de private bedrijven, waren zij nog steeds trager in het aanpassen en ontbrak het hen aan specifieke mechanismen om wijzigingen ongedaan te maken.
Het artikel suggereert dat de oplossing niet ligt in het uitvinden van geheel nieuwe wetten of instituten, maar in het adopteren van een specifiek, lichtgewicht kader dat elk laboratorium onmiddellijk kan gebruiken. Dit kader vereist dat elke keer dat een beleidsdocument wordt bijgewerkt, de auteur het type wijziging moet verklaren met behulp van een vierniveau-systeem: major (groot), minor (klein), patch (reparatie) of build (opbouw). Een 'major' wijziging is een wijziging die de fundamentele grenzen van wat is toegestaan of verboden verandert. Een 'minor' wijziging voegt nieuwe scenario's of procedures toe zonder de kernprincipes te veranderen. Een 'patch' is een verduidelijking of correctie die de betekenis niet verandert. Een 'build' is een versie die is aangepast voor een specifieke regio of groep. Naast deze classificatie moet de update worden vergezeld door een gedetailleerde log die de wijziging uitlegt en een plan om deze indien nodig terug te draaien.
Cruciaal is dat het artikel stelt dat het systeem de handeling van het verkeerd classificeren van een wijziging als een registreerbare gebeurtenis moet behandelen. Als een laboratorium beweert dat een wijziging slechts een kleine patch is, maar een auditor of toezichthouder later vaststelt dat het eigenlijk een grote verschuiving in de regels was, dan moet deze fout publiekelijk worden gelogd. Dit creëert een reputatiekosten voor het verbergen van de ware aard van wijzigingen. De studie merkt op dat hoewel software engineers soms niet perfect aan deze strikte versiebeheerregels voldoen, de discipline het beste werkt wanneer er consequenties zijn voor het fout doen ervan. Door de classificatie van wijzigingen een publieke, controleerbare claim te maken, beoogt het kader de "stille drift" zichtbaar en verantwoordelijk te maken.
De bevindingen wijzen erop dat de instrumenten om dit probleem op te lossen al bestaan in de softwareindustrie, maar dat ze niet volledig zijn toegepast op de documenten die AI beheersen. De kloof is niet een gebrek aan technische bekwaamheid, maar een gebrek aan prikkels en discipline. Het onderzoek concludeert dat naarmate AI-systemen krachtiger worden en hun regels frequenter veranderen, de behoefte aan een duidelijke, geversoonde geschiedenis van die regels essentieel wordt. Zonder dit blijven de regels die deze krachtige systemen beheersen opaak en moeilijk te vertrouwen. Met een gestructureerde aanpak kunnen de wijzigingen transparant worden gemaakt, waardoor toezichthouders, rechtbanken en het publiek precies kunnen begrijpen hoe de regels zijn geëvolueerd en de makers ter verantwoording kunnen roepen voor de beslissingen die zij nemen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.