Practical Principles for AI Cost and Compute Accounting
Dit artikel stelt zeven principes voor het ontwerpen van standaarden voor de boekhouding van AI-kosten en -rekenkracht om technische mazen te sluiten, strategische manipulatie te voorkomen en consistente regelgeving te waarborgen zonder verantwoord risicobeheer te ontmoedigen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Terwijl kunstmatige intelligentiesystemen krachtiger worden, zoeken overheden naar een betrouwbare manier om te beslissen welke machines strikt toezicht nodig hebben en welke niet. De uitdaging is dat deze systemen complex zijn en hun interne werking vaak verborgen blijft in de privéservers van technologiebedrijven. Om dit op te lossen, hebben beleidsmakers zich gericht op twee meetbare feiten: hoeveel geld het kost om een model te bouwen en hoeveel rekenkracht het vereist om te leren. Deze cijfers fungeren als een proxy, een vervanger voor de werkelijke intelligentie en het potentiële gevaar van het systeem. De logica is eenvoudig: als een project een enorme investering van middelen vereist, bezit het waarschijnlijk geavanceerde capaciteiten die risico's voor de samenleving kunnen vormen. Wetten in Europa en de Verenigde Staten beginnen deze drempels te gebruiken om regelgeving te activeren, uitgaande van de veronderstelling dat elk project dat een bepaalde grens van besteding of rekenkracht overschrijdt, nauwlettend in de gaten moet worden gehouden. Echter, een nieuw artikel door onderzoekers Stephen Casper, Luke Bailey en Tim Schreier stelt dat zonder duidelijke regels over hoe deze middelen te tellen, het systeem vol gaten zit die slimme ontwikkelaars zouden kunnen exploiteren.
De onderzoekers zetten zich in om de technische ambiguïteiten te verhelpen die bedrijven momenteel in staat stellen de werkelijke omvang van hun werk te verbergen. Ze identificeerden dat huidige voorstellen er vaak niet in slagen om de volledige reis van de creatie van een model mee te rekenen. Een ontwikkelaar kan bijvoorbeeld een kleiner, goedkoper model trainen door het te leren de antwoorden van een veel groter, duurder "leraar"-model na te bootsen. Als regelgeving alleen de laatste stap telt, wordt de enorme kosten van het trainen van het oorspronkelijke leraar-model genegeerd, waardoor het nieuwe project misleidend goedkoop lijkt. Op dezelfde manier kunnen bedrijven proberen hun werk te splitsen over verschillende juridische entiteiten of open-source tools gebruiken om limieten te omzeilen. Om deze problemen aan te pakken, stellen de auteurs zeven praktische principes voor voor het ontwerpen van boekhoudkundige standaarden die moeilijk te manipuleren zijn en gemakkelijk te handhaven.
Het eerste en meest cruciale principe is om elke dollar en elke eenheid aan rekenkracht te tellen die wordt uitgegeven vanaf het begin van een project tot aan het uiteindelijke systeem. Dit betekent dat het werk dat wordt gedaan om data voor te bereiden, de training van leraar-modellen die voor distillatie worden gebruikt, en zelfs de mislukte experimenten die onderweg zijn weggegooid, moet worden meegerekend. De auteurs betogen dat het beperken van de telling tot alleen de laatste trainingsronde een "distillatie-loophole" creëert, waarbij de werkelijke kosten van de intelligentie van een model worden gemaskeerd. Door een volledige verantwoording van het voorbereidende werk te eisen, kunnen toezichthouders de werkelijke investering achter de capaciteiten van een systeem zien.
Tegelijkertijd suggereren de onderzoekers dat niet alles meegeteld moet worden. Ontwikkelaars zouden de kosten van middelen die al voor iedereen gratis beschikbaar zijn, zoals open-source datasets of vooraf getrainde modellen die lang voor het huidige project publiekelijk zijn vrijgegeven, mogen uitsluiten. Dit zorgt ervoor dat de regels zich richten op de propriëtaire inspanning die een bedrijf levert, in plaats van hen te straffen voor het gebruik van het gedeelde fundament van het vakgebied. De auteurs voegen echter een cruciale kanttekening toe: als een bedrijf een gedeeltelijk voltooid model naar het publiek uitbrengt en het vervolgens snel weer oppakt om het af te maken, moet dat initiële werk nog steeds meetellen. Dit voorkomt een strategie waarbij een bedrijf probeert zijn boekhouding te "resetten" door een model kortstondig vrij te geven voordat het de ontwikkeling in het geheim voortzet.
Het kader erkent ook dat sommige werkzaamheden specifiek worden gedaan om AI veiliger te maken, niet slimmer. Activiteiten zoals het filteren van schadelijke inhoud uit trainingsdata of het testen van een model om te controleren of het weigert te helpen bij criminele plannen, zouden vrijgesteld moeten worden van de kostenberekeningen. Het doel is om ervoor te zorgen dat bedrijven niet financieel worden gestraft voor het doen van het juiste en het verminderen van risico's voor de samenleving. Om te garanderen dat deze vrijstellingen legitiem zijn, eisen de auteurs dat bedrijven gedetailleerde, gespecificeerde rapporten verstrekken. Deze rapporten zouden functioneren als een financiële audit, waardoor ontwikkelaars gedwongen worden uit te leggen wat ze precies hebben gedaan, waarom ze het deden en hoe ze hun cijfers hebben berekend, inclusief eventuele schattingen die werden gebruikt wanneer exacte gegevens niet beschikbaar waren.
Ten slotte adviseert het artikel dat regelgeving twee aparte triggers moet gebruiken: één voor de totale kosten en een andere voor de totale rekenkracht. Omdat deze twee metrieken soms onafhankelijk van elkaar gemanipuleerd kunnen worden — zoals door het gebruik van goedkope maar rekenintensieve data versus dure maar efficiënte menselijke data — maakt het hebben van beide als vangnet het veel moeilijker om het systeem te omzeilen. De auteurs benadrukken ook dat deze standaarden niet statisch kunnen zijn. Naarmate de technologie evolueert en efficiënter wordt, moeten de drempels en regels regelmatig worden bijgewerkt, wellicht elke paar maanden, om effectief te blijven. Zonder deze aanpasbaarheid kan een regel die vandaag werkt, morgen al verouderd zijn, waardoor gevaarlijke systemen door de mazen van het net glippen simpelweg omdat de boekhoudkundige regels de innovatie niet bijhielden.
De onderzoekers concluderen dat hoewel geen enkel boekhoudsysteem perfect kan zijn, deze principes een solide fundament bieden voor het creëren van regels die transparant, consistent en in lijn zijn met het publieke belang. Door de mazen te dichten die strategische manipulatie mogelijk maken en door verantwoord risicobeheer aan te moedigen, kunnen deze richtlijieden overheden helpen bij het toezicht op de meest geavanceerde kunstmatige intelligentie zonder de kleinere ontwikkelaars die niet hetzelfde niveau van risico vormen, te verstikken. Het uiteindelijke doel is om een regelgevingsmilieu te creëren waarin de werkelijke omvang van een AI-project zichtbaar is, zodat de krachtigste systemen de aandacht krijgen die ze vereisen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.