AI Researchers' Views on Automating AI R&D and Intelligence Explosions

Een studie onder 25 toonaangevende AI-onderzoekers uit augustus en september 2025 toont aan dat hoewel er consensus bestaat over het potentieel van AI om zichzelf te automatiseren en een explosieve groei te veroorzaken, er grote onenigheid bestaat over de tijdslijnen, de mate van scepticisme tussen academici en lab-onderzoekers, en de beste governance-maatregelen.

De kern

Stel je voor dat je een kok bent die een recept voor de perfecte soep heeft. Maar nu, in plaats van dat jij de soep maakt, geef je die recepten aan een robot. Die robot is zo slim dat hij niet alleen de soep maakt, maar ook een nieuw, beter recept bedenkt voor de volgende pot. En dan gebruikt hij dat nieuwe recept om een nog slimmere robot te bouwen, die weer een nog beter recept bedenkt.

Dit is het kernidee achter het onderzoek dat in dit paper wordt besproken. Het gaat over AI die AI onderzoek doet.

Hier is een eenvoudige uitleg van wat de onderzoekers hebben ontdekt, vertaald naar alledaagse taal:

1. De Grote Droom: De "Zelfverbeterende Robot"

De onderzoekers hebben 25 top-experts geïnterviewd (van bedrijven als Google DeepMind, OpenAI en universiteiten). Ze wilden weten: Kunnen we AI zo ver brengen dat ze zelf nieuwe AI's ontwerpt?

De meeste experts zeggen: Ja, dat gaat gebeuren.
Ze zien het als een trap:

• Stap 1: AI is nu al een super-assistent. Het helpt jou sneller coderen (zoals een zeer snelle schrijfhulp).
• Stap 2: AI begint zelfstandig kleine onderdelen van onderzoek te doen, terwijl jij de grote lijnen bepaalt.
• Stap 3: De "Explosie". De AI doet het hele onderzoek zelf. Ze bedenkt nieuwe ideeën, schrijft de code, test het en bouwt een nog betere versie van zichzelf. Dit kan zo snel gaan dat het voor mensen onbegrijpelijk wordt. Dit noemen ze een "Intelligentie-explosie".

2. Het Grote Geheim: De "Gevangen in de Kelder"

Hier wordt het spannend. De onderzoekers vonden een groot verschil in wat mensen denken over hoe dit publiek wordt gemaakt.

• De Bedrijven (De "Kluis"): De experts van de grote tech-bedrijven denken dat ze hun slimste AI's niet aan de rest van de wereld zullen geven. Waarom? Omdat het hun grootste geheim is. Het is alsof je een goudmijn hebt gevonden; je gaat die niet openen voor iedereen, want dan heb je geen concurrentievoordeel meer. Ze zullen deze AI's gebruiken in hun eigen "kelders" om nog slimmere AI's te bouwen, terwijl de wereld er niets van merkt.
• De Academie (De "Twijfelaars"): De universiteitsprofessoren zijn wat sceptischer. Ze denken: "Misschien is het wel niet zo makkelijk als ze zeggen." Ze geloven dat er nog grote technische muren zijn die niet zomaar overgenomen kunnen worden.

3. Het Gevaar: De "Racetoestel"

Wat zijn de zorgen? De meeste experts zijn bang voor twee dingen:

1. De "Winnaar neemt alles"-situatie: Stel, één bedrijf (of land) krijgt deze zelfverbeterende AI het eerst. Dan kunnen ze zo snel nieuwe AI's bouwen dat niemand anders hen kan inhalen. Het wordt een eenmanswedstrijd.
2. De "Verkeersregels die te laat komen": We proberen regels te maken om dit te stoppen, maar de AI ontwikkelt zich misschien sneller dan wij regels kunnen schrijven. Het is alsof je probeert een auto te remmen terwijl de bestuurder al met 200 km/u rijdt en je hebt nog geen remmen.

4. De Strijd over de "Rode Lijnen"

Er is een grote discussie over hoe we dit moeten regelen.

• De "Rode Lijn" aanhangers: "We moeten een harde grens trekken! Als AI X doet, dan stoppen we alles."
• De "Transparantie" aanhangers: "Harde lijnen werken niet, want we weten nog niet precies wat 'X' is. Laten we beter kijken wat ze doen. Maak alles openbaar, zodat we kunnen zien wat er gebeurt, in plaats van te verbieden."

De onderzoekers merken op dat de mensen in de tech-bedrijven vaak denken dat het echt gaat gebeuren en dat ze erover praten. De mensen op de universiteiten denken vaak: "Nou, laten we eerst maar eens kijken of het wel lukt," en durven er minder over te praten uit angst om belachelijk te worden gemaakt.

Samenvatting in één zin

Dit paper vertelt ons dat de slimste mensen in de wereld bang zijn dat we binnenkort robots hebben die zichzelf steeds slimmer maken, en dat de grootste bedrijven deze robots waarschijnlijk in het geheim zullen houden om de wereld te domineren, terwijl we nog niet weten hoe we ze veilig kunnen stoppen.

De kernboodschap: We staan aan de rand van een afgrond. Sommigen rennen er al op af, anderen twijfelen of de brug wel bestaat, en bijna niemand weet zeker of we de veiligheidshekken op tijd kunnen bouwen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "AI Researchers' Perspectives on Automating AI R&D and Intelligence Explosions" in het Nederlands.

Titel: AI-onderzoekers' perspectieven op het automatiseren van AI-O&O en intelligentie-explosies

Auteurs: Severin Field, Raymond Douglas, David Krueger
Affiliatie: ML Alignment and Theory Scholars Program (MATS), Berkeley, USA
Datum: Maart 2026 (gebaseerd op de context van de interviews in augustus/september 2025)

---

1. Probleemstelling en Context

Het paper adresseert het toenemende risico dat kunstmatige intelligentie (KI) systemen in staat zijn om het proces van KI-onderzoek en -ontwikkeling (O&O) zelf te automatiseren. Dit concept, vaak aangeduid als ASARA (AI Systems for AI R&D Automation), wordt gezien als een potentiële katalysator voor een "intelligentie-explosie" (een scenario voorgesteld door I.J. Good in 1966).

In een dergelijk scenario zouden KI-systemen hun eigen capaciteiten kunnen verbeteren, wat leidt tot een positieve terugkoppelingsslag: een AI ontwerpt een betere AI, die op haar beurt een nog betere AI ontwerpt, sneller dan mensen kunnen volgen. Hoewel dit theoretisch mogelijk wordt geacht, is er geen consensus onder experts over:

• De waarschijnlijkheid en het tijdsbestek van een dergelijke explosie.
• De specifieke technische mijlpalen die hieraan voorafgaan.
• De risico's, met name de concentratie van macht en het gebrek aan transparantie als deze systemen intern worden gehouden.
• De effectiviteit van bestaande governance-mechanismen, zoals "rode lijnen" (strakke regulatoire grenzen).

Het paper stelt vast dat hoewel AI-systemen nog niet volledig recursief kunnen verbeteren, 20 van de 25 geïnterviewde onderzoekers automatisering van AI-O&O zien als een van de meest dringende risico's.

2. Methodologie

De auteurs voerden een kwalitatief onderzoek uit gebaseerd op semi-gestructureerde interviews met 25 toonaangevende onderzoekers in augustus en september 2025.

• Deelnemers: De steekproef omvatte onderzoekers van "frontier labs" (Google DeepMind, OpenAI, Anthropic, Meta, xAI), academische instellingen (UC Berkeley, Princeton, Stanford, etc.), en de industrie.
• Selectie: Deelnemers werden geselecteerd via literatuuronderzoek (auteurs van papers over recursieve zelfverbetering), conferentieworkshops (NeurIPS, ICLR) en netwerksampling (snowball sampling).
• Interviewstructuur: De gesprekken duurden 40-60 minuten en waren onderverdeeld in drie secties:
  1. Conceptualisering van ASARA (verwachtingen over de evolutie van het systeem).
  2. Organizational dynamics (intern vs. publieke deployering).
  3. Risico's en governance (rode lijnen, mitigatiestrategieën).
• Analyse: De interviews werden getranscribeerd en geanalyseerd via inductieve codering. De eerste auteur codeerde de data, waarbij AI (Claude) werd ingezet om categorische variabelen te identificeren voor de visualisatie van resultaten.

3. Belangrijkste Bijdragen en Resultaten

A. De Visie op ASARA (De Evolutie)

De onderzoekers zijn het over het algemeen eens over een drie-staps traject naar volledige automatisering:

1. Versnelling van onderzoek: AI fungeert als een krachtige tool die de productiviteit van menselijke onderzoekers verhoogt (bijv. 5x sneller coderen), maar blijft onder menselijk toezicht.
2. Collaboratie: AI voert autonome sub-taken uit binnen onderzoeksprojecten, terwijl mensen de hoogste niveau-richting bepalen.
3. Volledige cyclus-automatisering: AI-systemen voeren complete onderzoekscycli onafhankelijk uit. Op dit punt wordt de mens de bottleneck en proberen bedrijven deze te elimineren.

Een veelgebruikt meetpunt voor deze voortgang is de taakhorizon (task horizon): de duur van complexe taken die een AI-agent onafhankelijk kan voltooien (van 1-2 uur naar 40+ uur).

B. Intern vs. Publieke Deployering

Een cruciale bevinding is de verwachting dat de meest capabele ASARA-modellen intern zullen worden gehouden door frontier labs en niet publiek worden vrijgegeven.

• Redenen voor intern houden: Behoud van concurrentievoordeel, beperkte rekenkracht (die liever intern wordt gebruikt voor O&O dan voor API-diensten), en veiligheidszorgen (het risico dat capabilities worden gedistilleerd of gestolen).
• Redenen voor publieke deployering: Financiële druk om omzet te genereren, culturele factoren (open-source mentaliteit bij sommige bedrijven), en het onvermijdelijke lekken van kennis.
• Risico: 17 van de 25 deelnemers verwachtten dat geavanceerde systemen "achter gesloten deuren" zouden werken, wat leidt tot een gebrek aan externe controle en transparantie.

C. Epistemische Kloof: Frontier Labs vs. Academie

Er ontstond een duidelijke scheidslijn in perspectief:

• Frontier Lab Onderzoekers: Zien een relatief duidelijk traject naar automatisering. Ze ervaren exponentiële vooruitgang in hun dagelijkse werk en zien recursieve verbetering als een logisch gevolg van huidige trends. Ze worden binnenslands aangemoedigd om hierover na te denken.
• Academici: Uiten meer scepticisme. Ze wijzen op fundamentele obstakels (zoals het ontbreken van "research taste" of creativiteit, en het probleem van validatie van ideeën) en zien intelligentie-explosies vaak als onwaarschijnlijk of te ver weg. Ze vrezen voor professionele marginalisering als ze te optimistisch zijn over deze scenario's.

D. Risicoperceptie

De meest genoemde risico's zijn:

1. Meta-risico: ASARA versterkt alle andere AI-risico's door de snelheid van ontwikkeling te versnellen.
2. Aanpassingsachterstand: Menselijke regulatie en begrip zullen niet kunnen bijbenen met de technologische vooruitgang.
3. Machtsconcentratie: De entiteit die als eerste ASARA bereikt, krijgt een onoverkomelijke voorsprong ("winner-take-all"), wat leidt tot een permanente monopoliepositie in AI-ontwikkeling.

E. Governance en "Rode Lijnen"

Deelnemers waren verdeeld over de effectiviteit van "rode lijnen" (strakke grenzen die een grote reactie moeten triggeren):

• Uitdagingen: Het is moeilijk om een specifieke drempel te definiëren die correleert met het abstracte risico van een explosie. Verificatie en handhaving worden gezien als een nachtmerrie (vereist mogelijk autoritaire controle).
• Alternatief: Er is een sterke voorkeur voor transparantie-gebaseerde mitigaties. Deelnemers pleiten voor verplichte rapportage, monitoring van interne deployeringen en menselijk toezicht, in plaats van verboden.

4. Significantie en Implicaties

Dit onderzoek biedt een unieke blik op de huidige stand van zaken in de AI-gemeenschap, kort na de verwachte doorbraak van modellen zoals GPT-5 (in de context van het paper).

1. Bevestiging van urgentie: Zelfs onder experts die sceptisch zijn over de timing, wordt automatisering van AI-O&O erkend als een kritiek risico dat de dynamiek van het veld fundamenteel zal veranderen.
2. Beleidsgesprekken: De bevindingen suggereren dat beleidsdiscussies beide groepen (academie en industrie) moeten betrekken, aangezien hun percepties van het risico en de haalbaarheid sterk verschillen.
3. Transparantie vs. Verbod: Het paper suggereert dat rigide "rode lijnen" misschien niet haalbaar of wenselijk zijn. In plaats daarvan zou de focus moeten liggen op het waarborgen van zichtbaarheid op wat er intern gebeurt, omdat de kans groot is dat de meest geavanceerde systemen nooit publiek worden vrijgegeven.
4. Toekomstige monitoring: Het paper identificeert specifieke, waarneembare mijlpalen (zoals de taakhorizon van 40 uur, het genereren van 10.000 regels correcte code, of het verliezen van interpretatievermogen) die als vroege waarschuwingssignalen kunnen dienen voor een versnelling van de ontwikkeling.

Samenvattend waarschuwt het paper dat de automatisering van AI-O&O niet alleen een technische mijlpaal is, maar een existentiële verschuiving die de controle over de toekomst van AI kan verschuiven van menselijke instituties naar gesloten, autonome systemen.