Practical Principles for AI Cost and Compute Accounting
Dieses Papier schlägt sieben Prinzipien für die Gestaltung von Standards zur Abrechnung von KI-Kosten und -Rechenleistung vor, um technische Schlupflöcher zu schließen, strategisches Gaming zu verhindern und eine konsistente regulatorische Umsetzung zu gewährleisten, ohne verantwortungsbewusste Risikominderung zu entmutigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Da künstliche Intelligenz-Systeme immer leistungsfähiger werden, suchen Regierungen nach einem zuverlässigen Weg, um zu entscheiden, welche Maschinen eine strenge Aufsicht benötigen und welche nicht. Die Herausforderung besteht darin, dass diese Systeme komplex sind und ihre inneren Abläufe oft in den privaten Servern von Technologieunternehmen verborgen liegen. Um dies zu lösen, haben sich politische Entscheidungsträger auf zwei messbare Fakten konzentriert: wie viel Geld es kostet, ein Modell zu bauen, und wie viel Rechenleistung es erfordert, um zu lernen. Diese Zahlen dienen als Stellvertreter, als Platzhalter für die tatsächliche Intelligenz und die potenzielle Gefahr des Systems. Die Logik dahinter ist simpel: Wenn ein Projekt eine massive Investition an Ressourcen erfordert, besitzt es wahrscheinlich fortgeschrittene Fähigkeiten, die Risiken für die Gesellschaft darstellen könnten. Gesetze in Europa und den USA beginnen damit, diese Schwellenwerte zu nutzen, um Regulierungen auszulösen, unter der Annahme, dass jedes Projekt, das eine bestimmte Grenze bei den Ausgaben oder der Rechenleistung überschreitet, genau beobachtet werden muss. Ein neues Paper der Forscher Stephen Casper, Luke Bailey und Tim Schreier argumentiert jedoch, dass das System voller Lücken ist, die geschickte Entwickler ausnutzen könnten, wenn es keine klaren Regeln für die Erfassung dieser Ressourcen gäbe.
Die Forscher setzten sich zum Ziel, die technischen Unklarheiten zu beheben, die es Unternehmen derzeit ermöglichen, das wahre Ausmaß ihrer Arbeit zu verbergen. Sie stellten fest, dass aktuelle Vorschläge oft versäumen, den gesamten Weg der Erstellung eines Modells zu berücksichtigen. Beispielsweise könnte ein Entwickler ein kleineres, günstigeres Modell trainieren, indem er es lehrt, die Antworten eines viel größeren, teureren „Lehrer-Modells“ nachzuahmen. Wenn Regulierungen nur den letzten Schritt zählen, wird die massiven Kosten des Trainings des ursprünglichen Lehrers ignoriert, wodurch das neue Projekt fälschlicherweise günstig erscheint. Ähnlich könnten Unternehmen versuchen, ihre Arbeit auf verschiedene juristische Einheiten aufzuteilen oder Open-Source-Tools zu verwenden, um Grenzwerte zu umgehen. Um diese Probleme anzugehen, schlagen die Autoren sieben praktische Prinzipien für die Gestaltung von Buchhaltungsstandards vor, die schwer zu manipulieren und leicht durchsetzbar sind.
Das erste und kritischste Prinzip ist, jeden Dollar und jede Einheit der Rechenleistung zu zählen, die von Beginn eines Projekts bis zum fertigen System ausgegeben wurde. Das bedeutet, die Arbeit vorzubereiten, das Training von Lehrer-Modellen, die für die Destillation verwendet werden, und sogar die gescheiterten Experimente einzubeziehen, die im Laufe des Prozesses verworfen wurden. Die Autoren argumentieren, dass die Begrenzung der Zählung auf nur den letzten Trainingslauf eine „Destillationslücke“ schafft, durch die die wahren Kosten der Intelligenz eines Modells verschleiert werden. Durch die Forderung nach einer vollständigen Abrechnung der vorgelagerten Arbeit können Regulierer die reale Investition hinter den Fähigkeiten eines Systems erkennen.
Gleichzeitig schlägt das Paper vor, dass nicht alles gezählt werden sollte. Entwickler sollten in der Lage sein, die Kosten für Ressourcen auszuschließen, die bereits für alle frei verfügbar sind, wie etwa Open-Source-Datensätze oder vortrainierte Modelle, die lange vor dem aktuellen Projekt öffentlich veröffentlicht wurden. Dies stellt sicher, dass sich die Regeln auf die proprietäre Anstrengung konzentrieren, die ein Unternehmen unternimmt, anstatt es dafür zu bestrafen, das gemeinsame Fundament des Fachbereichs zu nutzen. Die Autoren fügen jedoch eine entscheidende Einschränkung hinzu: Wenn ein Unternehmen ein teilweise fertiges Modell der Öffentlichkeit zur Verfügung stellt und es dann schnell wieder aufgreift, um es fertigzustellen, sollte diese anfängliche Arbeit dennoch mitgezählt werden. Dies verhindert eine Strategie, bei der ein Unternehmen versucht, seine Buchhaltung durch eine kurze Veröffentlichung eines Modells vor der geheimen Weiterentwicklung „zurückzusetzen“.
Das Framework erkennt auch an, dass einige Arbeiten spezifisch dazu dienen, KI sicherer zu machen, nicht intelligenter. Aktivitäten wie das Filtern von schädlichen Inhalten aus Trainingsdaten oder das Testen eines Modells, um sicherzustellen, dass es sich weigert, bei kriminellen Plänen zu helfen, sollten von den Kostenberechnungen ausgenommen werden. Das Ziel ist es, sicherzustellen, dass Unternehmen nicht finanziell dafür bestraft werden, das Richtige zu tun und Risiken für die Gesellschaft zu reduzieren. Um sicherzustellen, dass diese Ausnahmen legitim sind, bestehen die Autoren darauf, dass Unternehmen detaillierte, aufgeschlüsselte Berichte vorlegen müssen. Diese Berichte würden wie eine Finanzprüfung wirken und Entwickler dazu zwingen, genau zu erklären, was sie getan haben, warum sie es getan haben und wie sie ihre Zahlen berechnet haben, einschließlich der Schätzungen, die verwendet wurden, wenn präzise Daten nicht verfügbar waren.
Schließlich rät das Paper dazu, dass Regulierungen zwei separate Auslöser verwenden sollten: einen für die Gesamtkosten und einen für die gesamte Rechenleistung. Da diese beiden Metriken manchmal unabhängig voneinander manipuliert werden können – etwa durch die Verwendung von billigen, aber rechenintensiven Daten gegenüber teuren, aber effizienten menschlichen Daten –, macht das Vorhandensein beider Sicherheitsnetze es viel schwieriger, das System zu umgehen. Die Autoren betonen auch, dass diese Standards nicht statisch sein können. Da sich die Technologie weiterentwickelt und effizienter wird, müssen die Schwellenwerte und Regeln regelmäßig aktualisiert werden, vielleicht alle paar Monate, um effektiv zu bleiben. Oh ohne diese Anpassungsfähigkeit könnte eine Regel, die heute funktioniert, morgen schon veraltet sein, was dazu führt, dass gefährliche Systeme einfach durch die Maschen fallen, weil die Buchhaltungsregeln nicht mit der Innovation Schritt gehalten haben.
Die Forscher kommen zu dem Schluss, dass zwar kein Buchhaltungssystem perfekt sein kann, diese Prinzipien jedoch eine solide Grundlage für die Schaffung von Regeln bieten, die transparent, konsistent und im öffentlichen Interesse liegen. Durch das Schließen der Lücken, die strategische Manipulation ermöglichen, und durch die Förderung verantwortungsvollen Risikomanagements könnten diese Leitlinien Regierungen dabei helfen, die fortschrittlichsten künstlichen Intelligenzen zu überwachen, ohne kleinere Entwickler zu benachteiligen, die nicht das gleiche Risiko darstellen. Das ultimative Ziel ist es, ein regulatorisches Umfeld zu schaffen, in dem das wahre Ausmaß eines KI-Projekts sichtbar ist, um sicherzustellen, dass die leistungsfähigsten Systeme die Aufmerksamkeit erhalten, die sie benötigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.